Как измерить информацию?Измерение информации: содержательный подход Как измерить знания у человека? Вспомним определение информации и знаний. Чтобы узнать что-то, люди задают вопросы. Наименьшую порцию знаний человек получает услышав в ответ "ДА" или "НЕТ". Если вопрос сформулирован правильно, то область незнания (неопределенность знаний) уменьшается в 2 раза. Минимальная порция получила название бит: binary digit - двоичная цифра. Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Неопределенность знаний о некотором событии - это количество возможных результатов события. Пример: игра в отгадывание чисел. Ведущий задумал целое число в интервале от 1 до 8. Нам нужно за наименьшее количество вопросов, на которые можно услышать один из ответов (Да или Нет) отгадать число. Алгоритм должен гарантировать получение результата в любом случае. Закодируем ответ ДА цифрой 1, НЕТ цифрой 0.
Задумано число 5. Получили результат за 3 вопроса. Знания увеличились на 3 бита: 101. Нетрудно понять, что при 16 числах понадобится 4 вопроса и т.д.
Задумано число 9. Объем знаний возрос на 4 бита: 1100 Составим таблицу количества возможных вариантов выбора и объема информации, получаемой при решении задачи. Таблица 1
Пример: после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил: "Зачет", "незачет"? "2", "3", "4" или "5"? Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: "зачет" или "незачет", а после контрольной работы одно из четырех информационных сообщений: "2", "3", "4" или "5". Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений. Пример: на книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Смотрите таблицу 1. Составим итоговую таблицу. Введем обозначения: N - количество вариантов, i - количество бит (вопросов - ответов) Таблица 2
Формула вычисления количества информации 2i = N Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения уравнения 2i = N. Задача 1: Сколько информации содержит сообщение о том, что из колоды карт достали король пик? В колоде 32 карты. Решение: В перемешенной колоде выпадение любой карты равновероятное событие. N = 32. i - ? 2i = N 2i = 32 25 = 32 i = 5 бит Задача 2: Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике? Решение: N = 6. i - ? 2i = N 2i = 6 22 < 6 < 23 i > 2 и i < 3 Объем информации может быт дробным числом! Решение таких уравнений изучают в старших класса. Здесь приведем готовый ответ: i = 2,5849625007211561814537389439478 бит Задача 3: Сколько информации содержит сообщение о том, что на поле 4х4 клетки одна из клеток закрашена? (Сначала найдите N) Задача 4: В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какой-либо странице? Измерение информации: алфавитный подход Познакомимся с способом измерения информации, который не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы. Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия "новые - старые", "понятные - непонятные" сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода при измерении знаний конкретного человека. Вспомним определение алфавита и его мощности (не забудьте вернуться назад). Мощность алфавита только из заглавных русских букв равна 32. АБВГДЕЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЪЭЮЯ Будем писать, как это делали до 4-го века нашей эры: без пробелов и знаков препинания, т.е. слитно. Сколько информации тогда несет один символ? Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита.
Получаем: i = 5 бит. Количество информации в тексте А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на i. Посчитаем количество информации на одной странице книги. Пусть страница содержит 50 строк. В каждой строке - 60 символов. Значит, на странице умещается Вывод: при алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита. Двоичный алфавит А что если алфавит состоит только из двух символов 0 и 1? В этом случае: N = 2; 2i = N; 2i = 2; i = 1 При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации. "Компьютерный" алфавит (смотрите таблицу) Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 24 = 16. А если N =32, то один символ "весит" 5 бит. Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы скоро встречаемся при работе с компьютером. Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.... Поскольку 256 = 28, то один символ этого алфавита "весит" 8 бит. Причем 8 бит информации - это настолько характерная величина, что ей даже присвоили свое название - байт. 1 байт = 8 бит Количество информации в тексте В настоящее время для подготовки писем, документов, статей, книг и пр. используют компьютерные текстовые редакторы. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов. В этом случае легко подсчитать объем информации в тексте. Если 1 символ алфавита несет 1 байт информации, то надо просто сосчитать количество символов; полученное число даст информационный объем текста в байтах. Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов.
Более крупные единицы информации
Перевод из одной единицы в другую 5 МБайт = 5 * 1024 КБайт = 5120 КБайт 2 КБайт = 2 * 1024 Байт = 2048 Байт 20 Байт = 20 * 8 бит = 160 бит 4 МБайт = 4 * 1024 * 1024 Байт = 4194304 Байт 1/256 МБайт = 1/256 * 1024 * 1024 * 8 бит = 32768 бит 4096 КБайт = 4096 : 1024 МБайт = 4 МБайт 512 МБайт = 512 : 1024 ГБайт = 0,5 ГБайт Вывод:
Скорость передачи информации Прием-передача информации могут происходить с разной скоростью. Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока. Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с),
Задача 5: Племя Мумбу-Юмбу использует алфавит из букв: α β γ δ ε ζ η θ λ μ ξ σ φ ψ
точка и для разделения слов используется пробел. Задача 6: Вычислите мощность алфавита N, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1.25 Кбайт. Решение: 1.25 КБ = 1.25 * 1024 * 8 бит = 10240 бит. Столько информации в тексте. i = 10240 : 2048 = 5 (бит) приходится на 1 символ Находим количество символов в алфавите языка (N), на котором написан текст: N = 2i N = 25 N = 32 символа в алфавите Вопросы:
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
mmx©2013 |
