Книга: Естествознание. Базовый уровень. 11 класс

§ 11 Свойства информации и двоичная система счисления

§ 11 Свойства информации и двоичная система счисления

Мы рассмотрели случаи, когда вероятности всех возможных исходов представляются одинаковыми. Но так бывает далеко не всегда. Очень часто один вариант представляется нам более вероятным, а другой – менее вероятным. Какова будет энтропия в этом случае? К. Шеннон вывел формулу, которая позволяет вычислить энтропию при этом условии. Предположим, что имеется всего два варианта. Вам сегодня надо сдавать экзамен, на котором могут задать 10 вопросов, из которых 9 вы знаете блестяще, а по одному совсем не подготовились. Вероятность удачной сдачи экзамена равна, таким образом, ⁹/₁₀, а провала соответственно ¹/₁₀. В назначенное время вы приходите на экзамен и получаете вопрос. Этот вопрос может либо обрадовать вас, либо расстроить. Какой будет информация в том и другом случае? Мы знаем, что информация тем больше, чем сильнее вы удивитесь, узнав результат. Естественно, удивление, а значит и полученная информация, будет больше, если вам достанется «неудачный» вопрос. Поскольку информация равна двоичному логарифму вероятности того, что полученный вопрос будет «удачным» или «неудачным», взятому с обратным знаком, то в первом случае J_удачи = -1og₂⁹/₁₀ = 0,15, а во втором J_{Неудачи} = -1og₂¹?_l0 = 0,33 Как видно, информация, полученная в случае маловероятной «неудачи», более чем в два раза выше той, которую мы получим в случае гораздо более вероятной «удачи». Теперь с учётом всего, что нам известно, подумаем, какова была для нас энтропия, касающаяся исхода экзамена. Мы знали, что, скорее всего (с вероятностью 0,9), получим небольшую информацию, но в одном случае из десяти можем получить (в нашем случае, к сожалению) информацию, значительно большую. Это означает, что, чем большей окажется информация, тем меньше её вероятность, т. е. тем реже мы будем её получать. На этом и основана формула Шеннона для энтропии. Она выражает среднюю информацию, которую мы будем получать, если повторять испытание многократно. Для двух вариантов результата она выглядит так:

H = – (Р_{удачи•}lоg₂ P_удачи+ P_{неудачи•}lоg₂ Р _{неудачи).}

Вычислим энтропию для нашего примера со сдачей экзамена. Вероятность успешной сдачи составляет 0,9, а её двоичный логарифм равен -0,15.

Вероятность провала равна 0,1, а её логарифм по основанию 2 соответствует -0,33. Значит, энтропия равна:

Н = – [0,9 (-0,15) + 0,1 • (-0,33)] ? 0,17.

Эта величина выражается в битах и означает степень нашей неосведомлённости по поводу результата экзамена.

Предположим теперь, что мы имеем дело с неизвестным учащимся, про степень подготовки которого мы абсолютно ничего не знаем. Как мы оценим вероятность его успеха или провала? Логично предположить, что надо считать и ту и другую равными 0,5, как говорится, «пятьдесят на пятьдесят». Просто у нас нет никаких оснований считать иначе. Какова будет энтропия в этом случае? Как нам известно, в случае равновероятных исходов энтропия равна двоичному логарифму их количества. Таких исходов у нас два – либо сдаст, либо не сдаст. Значит, в этом случае степень нашего незнания результата экзамена равна 1 биту, что значительно больше, чем в предыдущем случае. Почему так получилось? Потому что про второго экзаменуемого нам не было ничего известно, в то время как в отношении себя мы знали, насколько различаются вероятности успешной или неуспешной сдачи экзамена. Это знание вероятностей и снизило энтропию. На сколько? Очевидно, на величину разницы энтропий для двух различных случаев, т. е. на 1 – 0,17 = 0,83 бита. Формула Шеннона показывает, что чем больше степень нашего незнания, тем большей получается величина энтропии.

В реальной жизни при выборе решения мы почти всегда исходим из того, что обладаем некоторой предварительной информацией по этому вопросу. Эта информация снижает исходную энтропию выбора. Например, нам пришлось задать всего одиннадцать вопросов для того, чтобы узнать, что загадан именно Ньютон. Предварительная информация перед угадыванием заключалась в том, что задуманным должен быть человек, скорее всего известный как загадывающему, так и отгадывающему. Вряд ли игрок имел в виду младшего сына любимого раба римского сенатора Информациуса, жившего во II в. до н. э. Сколько на Земле жило достаточно общеизвестных людей? Надо думать, что не более нескольких тысяч. Если для отгадывания Ньютона нам пришлось задать одиннадцать вопросов, значит, полученная информация составила 11 бит, а количество возможных вариантов выбора было равно 2¹¹ = 2048. Вряд ли количество известных всем знаменитостей намного больше этого числа. Ну, допустим, что играющие – очень эрудированные люди и знают в пять раз больше знаменитых людей, т. е. около десяти тысяч человек. В этом случае для угадывания им будет достаточно задать не более четырнадцати вопросов, так как логарифм 10 000 по основанию 2 равен приблизительно 13,3.

А что будет в том случае, если мы не имеем никакой предварительной информации? Допустим, что мы имеем дело с авантюристом, который всё-таки загадает младшего сына любимого раба. Вы думаете, что для отгадывания надо будет задать невероятно большое число вопросов? Вовсе нет. Количество всех людей, живших на Земле в обозримый исторический период, вряд ли превышает 10 млрд. А двоичный логарифм этого числа равен 29,9. Так что, задав всего 30 вопросов, вы можете угадать любого человека из всех когда-либо живших. Разумеется, для этого требуется умение правильно задавать вопросы.

В этом заключается одна из особенностей информации – её количество растёт значительно медленнее, чем число вариантов выбора. Это связано с тем, что информация представляет собой логарифм числа выборов, а логарифмическая функция обладает такой особенностью, что при увеличении аргумента во столько-то раз её значение изменяется на столько же единиц. То есть, по мере того как широта выбора растёт в геометрической прогрессии, информация растёт в арифметической прогрессии.

Это свойство информации многих очень удивляет, но именно оно представляет огромную ценность для создания компьютеров, где используют так называемую двоичную систему кодирования информации. С помощью только двух цифр – 0 и 1 – выражают любое число. В десятичной системе, которую мы обычно используем, – десять цифр от 0 до 9. Следующее число пишется как 10, что означает один полный десяток и ноль цифр второго десятка. Затем мы увеличиваем число единиц во втором десятке, пока не дойдём до 19. Число 20 говорит нам, что имеется два полных десятка и ни одного числа третьего десятка. Так продолжается до тех пор, пока счёт не достигнет 99. После этого мы добавляем ещё один разряд – сотни, т. е. квадраты десяток. Число 145 означает, что в нём содержится одна сотня, четыре десятка второй сотни и пять единиц пятого десятка второй сотни. Далее мы продолжаем счёт, вводя, когда потребуется, третьи, четвёртые и дальнейшие степени десяти.

В двоичной системе нет цифр, означающих числа, большие единицы. Поэтому уже для обозначения двойки нам приходится использовать число 10, которое означает: «одна полная двойка и ноль чисел во второй двойке». Далее идёт число 3, которое пишется как 11: «одна полная двойка и одно число второй двойки». Следующим числом будет 4, а это квадрат двойки. Значит, и писать его надо так, как в десятичной системе пишется квадрат десятки, т. е. 100. Теперь посмотрим, как можно изобразить любое число в двоичной системе. Допустим, мы хотим это сделать для тех же ста сорока пяти. Сначала надо узнать, сколько в этом числе содержится целых степеней двойки. Находим, что 2⁷ равно 128, что меньше 145, а 2⁸ – уже 256, что превышает это число. Значит, сто сорок пять равно двум в седьмой степени (2⁷), что записывается как единица с семью нулями (10 000 000), плюс 17 (145 – 128). Выразим 17 в двоичной системе: 16, т. е. 2⁴ (записывается как единица с четырьмя нулями – 10 000), плюс 1. После этого посмотрим, как выглядит число 145 в двоичной системе. Для этого надо сложить все числа, которые мы получали в процессе вычисления: 10 000 000, 10 000 и 1. Следовательно, выражая это число в двоичной системе, мы получаем: 10 000 000 + 10 000 + 1 = 10 010 001.

Казалось бы, такая система слишком громоздка и неудобна для записи и вычислений. Но она является незаменимой в создании электронных устройств и вычислительной техники. Все электронные устройства состоят из отдельных элементов. Чем меньше значений может принимать каждый элемент, тем проще изготовить такие элементы. Две цифры двоичной системы могут быть легко представлены многими физическими явлениями: есть ток – нет тока, температура выше заданной – температура ниже заданной и т. п. Кроме того, чем меньше число возможных состояний элемента, тем надёжнее и быстрее он может работать. К тому же техническим устройствам значительно проще выполнять арифметические вычисления, используя двоичную систему. Например, для того чтобы сложить числа 12 и 36, надо закодировать в памяти машины значения четырёх цифр, в то время как в двоичной системе эта операция выглядит так: (2³ + 2²) + + (2⁵ + 2²) = 1000 + 100 + 100 000 + 100. Поставьте себя на место машины, и вы поймёте, что такую операцию выполнить значительно проще.

Поскольку в двоичной системе существует всего две цифры, то при решении какой-либо задачи требуется на каждом шагу рассуждения или вычисления выбирать один из двух одинаковых вариантов, т. е. тратить информацию, равную одному биту. А так как количество возможных вариантов решения возрастает значительно быстрее, чем число сделанных шагов, то, используя сравнительно небольшое количество двоичных действий, можно осуществить выбор из огромного числа разнообразных решений или комбинаций. Именно на этом принципе строится работа современных компьютеров.

1. Как зависит энтропия незнания ответа на какой-либо вопрос от того, насколько равны вероятности всех возможных ответов на него?

2. Как изменяется величина информации с ростом числа возможных ответов на интересующий нас вопрос?

3. Чем различается написание чисел в десятичной и двоичной системах?

1. Подсчитайте, сколько вопросов, допускающих ответы «да» или «нет», требуется задать для того, чтобы установить одного из жителей города с населением 65 тыс. человек.

2. Выразите номер этого параграфа в двоичной системе.