2 количество информации. Единицы измерения количества информации. Неопределенность, количество информации и энтропия

Назад Вперёд

Внимание! Предварительный просмотр слайдов используется исключительно в ознакомительных целях и может не давать представления о всех возможностях презентации. Если вас заинтересовала данная работа, пожалуйста, загрузите полную версию.

Цель урока: закрепление навыков решения задач с помощью алфавитного и содержательного подходов.

Задачи урока:

• Воспитательная – формировать информационную культуру учащихся, внимательность, аккуратность, дисциплинированность, усидчивость, терпимость, умение работать в группе.
• Образовательная – повторить алфавитный и содержательный подходы на нахождение количества информации, сформировать навыки решения задач с помощью формулы Хартли, решить несколько задач.
• Развивающая – развивать логическое мышление, внимательность, самоконтроль.

Тип урока: Комбинированный урок. Работа в группах.

Формы учебной деятельности учащихся: индивидуальная, групповая.

Средства обучения: компьютерный класс, интерактивная доска.

План урока:

• Мотивация (2 минуты).
• Актуализация опорных знаний (5 минут).
• Совместное решение задач по теме (10 минут).
• Физминутка (3 минуты).
• Организация групповой работы, определение групп (1 минута).
• Решение задач в группах на оценку, самоконтроль (15 минут).
• (5 минут).
• (1 минута).
• Домашнее задание (1 минута).
• Рефлексия (2 минуты).

Ход урока

Мотивация. Определение цели и задач урока.

Здравствуйте!

В настоящее время на экзаменах по информатике, в том числе ЕГЭ (часть А, B) есть много заданий по теме “Определение количества информации”. Цель данного урока – закрепление навыков решения задач с помощью алфавитного и содержательного подходов .

Для того чтобы хорошо понять решение задач на нахождение количества информации, необходимо прорешать задачи разного типа. Для этого давайте вспомним…

Актуализация опорных знаний (повторение).

С помощью какой формулы мы определяем количество информации в различных сообщениях, событиях? (Используется одна и та же формула Хартли, выведенная из вероятностно-статистического подхода К.-Э. Шеннона N=2 i , i=log 2 N, где i – количество информации (в битах), N – количество информационных сообщений (событий). В одном случае рассматриваются равновероятностные события, в другом – мощность алфавита).

Чем отличается алфавитный и содержательный подходы для определения количества информации? (При алфавитном подходе рассматривается текст как совокупность символов, а при содержательном – содержание происходящих событий. Первый подход более объективен, так как позволяет избежать двусмысленности происходящих событий.). При содержательном подходе рассматриваются равновероятностные события, поэтому для решения задач необходимо знать количество всех возможных событий. Для нахождения количества информации с использованием алфавитного подхода необходимо знать мощность используемого алфавита. Так как определяем информационную емкость не одного символа, а нескольких взаимосвязанных символов в слове, предложении, тексте, то необходимо знать и количество символов в слове.

Совместное решение задач.

Давайте решим несколько задач по данной теме.

1. Сообщение, записанное буквами 64-символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

Решение:

Один символ алфавита несет в себе 6 бит информации (2^6=64),
Соответственно сообщение из 20 символов несет 6 х 20 = 120 бит.
Ответ: 120 бит.

2. Жители планеты Принтер используют алфавит из 256 знаков, а жители планеты Плоттер - из 128 знаков. Для жителей какой планеты сообщение из 10 знаков несет больше информации и на сколько?

Решение:

Один символ алфавита жителей планеты Принтер несет в себе 8 бит информации (2^8=256), а жителей планеты Плоттер - 7 бит информации (2^7=128). Соответственно сообщение из 10 знаков для жителей Принтер несет 10 х 8 = 80 бит, а для жителей Плоттер - 10 х 7 = 70 бит
80 - 70 = 10 бит.
Ответ: Больше для жителей Принтер на 10 бит.

3. Для кодирования нотной записи используется 7 значков-нот. Каждая нота кодируется одним и тем же минимально возможным количеством бит. Чему равен информационный объем сообщения, состоящего из 180 нот?

Решение:

Каждая нота кодируется 3 битами (2^2=4<7<2^3=8).
Информационный объем сообщения равен 180 х 3 = 540 бит.
Ответ: 540 бит.

4. Цветное растровое графическое изображение, палитра которого включает в себя 65 536 цветов, имеет размер 100Х100 точек (пикселей). Какой объем видеопамяти компьютера (в Кбайтах) занимает это изображение в формате BMP?

Решение:

65536 =2^16, I = 16 бит на кодирование 1 цвета. Все изображение состоит из 10х10=10 000 точек. Следовательно, количество информации, необходимое для хранения изображения целиком 16*10 000=160 000 бит = 20 000 байт = 19,5 Кб.
Ответ: 19,5 килобайт.

5. В велокроссе участвуют 119 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 70 велосипедистов?

Решение:

N=119 (2^6=64<7<2^7=128), I ≈7 бит необходимо для кодирования одного спортсмена, поскольку была записана информация о 70 спортсменах, объем сообщения составил: 7 х 70 = 490 бит.
Ответ: 490 бит.

Сложная задача

6. Словарный запас некоторого языка составляет 256 слов, каждое из которых состоит точно из 4 букв. Сколько букв в алфавите языка?

Решение:

При алфавитном подходе к измерению количества информации известно, что если мощность алфавита N (количество букв в алфавите), а максимальное количество букв в слове, записанном с помощью этого алфавита – m, то максимально возможное количество слов определяется по формуле L=N m . Из условия задачи известно количество слов (L=256) и количество букв в каждом слове (m=4). Надо найти N из получившегося уравнения 256=N 4 . Следовательно, N=4.
Ответ: 4 буквы.

Физминутка

(дети сели ровно, расслабились, закрыли глаза, звучит спокойная музыка , учитель комментирует):

Более тысячи биологически активных точек на ухе известно в настоящее время, поэтому, массируя их, можно опосредованно воздействовать на весь организм. Нужно стараться так помассировать ушные раковины, чтобы уши «горели». Давайте выполним несколько массажных движений:

1. потяните за мочки сверху вниз;
2. потяните ушные раковины вверх;
3. потяните ушные раковины к наружи;
4. выполните круговые движения ушной раковины по часовой стрелке и против.

Далее массажируем определенные места на голове, что активизирует кровообращение в кончиках пальчиков, предотвращает застой крови не только в руках, но и во всем теле, так как кончики пальцев непосредственно связаны с мозгом. Массаж проводится в следующей последовательности:

1. найдите точку на лбу между бровями («третий глаз») и помассируйте ее;
2. далее парные точки по краям крыльев носа (помогает восстановить обоняние);
3. точку посередине верхнего края подбородка;
4. парные точки в височных ямках;
5. три точки на затылке в углублениях;
6. парные точки в области козелка уха.

Нужно помнить, что любое упражнение может принести пользу, не оказать никакого воздействия, принести вред. Поэтому нужно выполнять его очень старательно, обязательно в хорошем настроении.

Организация групповой работы, определение групп.

Размещение обучающихся за компьютеры, где у всех открыто задание (Презентация задач) не более 3 человек за каждый ПК. С собой дети берут только тетрадь и ручку для решения. Здесь необходимо объяснить, что в презентации нужно будет ориентироваться по ссылкам, в том числе и выбрав правильный вариант ответа, всего задач – 5 (по 3 минуты на задачу). В конце автоматически выйдет результат на экран монитора в виде отметки за урок. Детей можно ознакомить с критериями выставления отметок за решение данного типа задач:

1 верная задача – отметка «2»
2 верные задачи – отметка «3»
3 верные задачи – отметка «4»
4 верные задачи – отметка «4»
5 верных задач – отметка «5».

Совместное обсуждение типичных ошибок .

– проверка, разрешение вопросов по решению задач:

1. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811?

Решение:

811-684=128 (включая число 684), N=128, i=7 бит (2^7=128).
Ответ: 7 бит информации.

2. В некоторой стране автомобильный номер длиной 7 символов составляется из заглавных букв (всего используется 26 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством бит, а каждый номер – одинаковым и минимально возможным количеством байт. Определите объем памяти, необходимый для хранения 20 автомобильных номеров.

Решение:

всего используется 26 букв + 10 цифр = 36 символов для кодирования 36 вариантов необходимо использовать 6 бит, так как 2^5=32<36<2^6=64, т.е. пяти бит не хватит (они позволяют кодировать только 32 варианта), а шести уже достаточно таким образом, на каждый символ нужно 6 бит (минимально возможное количество бит).
полный номер содержит 7 символов, каждый по 6 бит, поэтому на номер требуется 6 x 7 = 42 бита.
По условию каждый номер кодируется целым числом байт (в каждом байте – 8 бит), поэтому требуется 6 байт на номер (5x8=40<42<6x8=48), пяти байтов не хватает, а шесть – минимально возможное количество на 20 номеров нужно выделить 20x6=120 байт.
Ответ: 120 байт.

3. Каждая клетка поля 8×8 кодируется минимально возможным и одинаковым количеством бит. Решение задачи о прохождении "конем" поля записывается последовательностью кодов посещенных клеток. Каков объем информации после 11 сделанных ходов? (Запись решения начинается с начальной позиции коня).

Решение:

Всего клеток 8х8 = 64. Для кодирования 1 клетки необходимо 6 бит (2^6=64). В записи решения будет описано 12 клеток (11 ходов+начальная позиция). Объем информации записи 12х6 = 72 бита = 72:8 = 9 байт.
Ответ: 9 байт.

4. Информационное сообщение объемом 1,5 килобайта содержит 3072 символа. Сколько символов содержит алфавит, с помощью которого было записано это сообщение?

Решение:

1,5 Кбайта = 1,5*1024*8 = 12288 бит. 12288/3072 = 4 бита - информационный вес одного символа. Мощность алфавита равна 2^4=16 символов. Ответ: 16 символов.

5. Мощность алфавита равна 64. Сколько Кбайт памяти потребуется, чтобы сохранить 128 страниц текста, содержащего в среднем 256 символов на каждой странице?

Решение:

Всего требуется сохранить 128 х 256 = 32768 символов.
Информационный вес 1 символа 6 бит (2^6=64). Чтобы сохранить весь текст, потребуется 32768 х 6 = 196608 бит = 196608: 8 =24576 байт = 24576: 1024 = 24 Кб.
Ответ: 24 Кб.

Подведение итогов, выставление отметок .

объявление оценок за урок.

Домашнее задание:

к следующему уроку составить 1 задачу на нахождение количества информации, используя алфавитный или содержательный подход и решить ее в тетради.

Рефлексия

(раздать заготовленные листочки – Приложение 1 )

ПРАВИЛА НАПИСАНИЯ СИНКВЕЙНА

(Синквейн – это способ на любом этапе урока, изучения темы, проверить, что находится у обучающихся на уровне ассоциаций).

1 строчка – одно слово – название стихотворения, тема, обычно существительное.
2 строчка – два слова (прилагательные или причастия). Описание темы, слова можно соединять союзами и предлогами.
3 строчка – три слова (глаголы). Действия, относящиеся к теме.
4 строчка – четыре слова – предложение. Фраза, которая показывает отношение автора к теме в 1-ой строчке.
5 строчка – одно слово – ассоциация, синоним, который повторяет суть темы в 1-ой строчке, обычно существительное.

Данный вид рефлексии будет полезен учителю для проведения самоанализа.

ВСЕМ СПАСИБО!

Задачи были взяты из разных источников сети Интернет.

Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:

или из показательного уравнения:

Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.

Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:

I = log 2 4 = 2 бит

На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p 1 = 1/2), вероятность оценки «4» в два раза меньше (p 2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 = p 4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:

I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) бит = 1,75 бит

Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.

Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:

p б = 0,1; p к = 0,2; p з = 0,3; p с = 0,4

События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:

I = -(0,1·log 2 0,1+ 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) бит

Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).

Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое - ответу «Нет».

Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).

По формуле 2.2 и с помощью калькулятора получаем:

I = log 2 12 »3,6 бит

Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.

Единицы измерения количества информации

Единицы измерения количества информации. За единицу количества информации принят 1 бит - количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.

Принята следующая система единиц измерения количества информации:

1 байт = 8 бит

1 Кбайт = 2 10 байт

1 Мбайт = 2 10 Кбайт = 2 20 байт

1 Гбайт = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт

Определение количества информации, представленной с помощью знаковых систем

Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.

Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.

Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.

Перевести информационный объем сообщения в биты:

I = 10 240 бит

Определить количество бит, приходящееся на один символ:

10 240 бит: 2 048 = 5 бит

По формуле 2.3 определить количество символов в алфавите.

Все мы привыкли к тому, что все вокруг можно измерить. Мы можем определить массу посылки, длину стола, скорость движения автомобиля. Но как определить количество информации, содержащееся в сообщении? Ответ на вопрос в статье.

Итак, давайте для начала выберем сообщение. Пусть это будет «Принтер — устройство вывода информации. «. Наша задача — определить, сколько информации содержится в данном сообщении. Иными словами — сколько памяти потребуется для его хранения.

Определение количества информации в сообщении

Для решения задачи нам нужно определить, сколько информации несет один символ сообщения, а потом умножить это значение на количество символов. И если количество символов мы можем посчитать, то вес символа нужно вычислить. Для этого посчитаем количество различных символов в сообщении. Напомню, что знаки препинания, пробел — это тоже символы. Кроме того, если в сообщении встречается одна и та же строчная и прописная буква — мы считаем их как два различных символа. Приступим.

В слове Принтер 6 различных символов (р встречается дважды и считается один раз), далее 7-й символ пробел и девятый — тире . Так как пробел уже был, то после тире мы его не считаем. В слове устройство 10 символов, но различных — 7, так как буквы с , т и о повторяются. Кроме того буквы т и р уже была в слове Принтер . Так что получается, что в слове устройство 5 различных символов. Считая таким образом дальше мы получим, что в сообщении 20 различных символов.

2 i =N

Подставив в нее вместо N количество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:

2 i =20

Вспомним и поймем, что i находится в диапазоне от 4 до 5 (так как 2 4 =16, а 2 5 =32). А так как бит — минимальная и дробным быть не может, то мы округляем i в большую сторону до 5. Иначе, если принять, что i=4, мы смогли бы закодировать только 2 4 =16 символов, а у нас их 20. Поэтому получаем, что i=5, то есть каждый символ в нашем сообщении несет 5 бит информации.

Осталось посчитать сколько символов в нашем сообщении. Но теперь мы будем считать все символы , не важно повторяются они или нет. Получим, что сообщение состоит из 39 символов. А так как каждый символ — это 5 бит информации, то, умножив 5 на 39 мы получим:

5 бит x 39 символов = 195 бит

Это и есть ответ на вопрос задачи — в сообщении 195 бит информации. И, подводя итог, можно написать алгоритм нахождения объема информации в сообщении :

• посчитать количество различных символов.
• подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
• посчитать общее количество символов и умножить это число на вес одного символа.

Количество информации (от англ. information content) ― мера информации, сообщаемой появлением события определенной вероятности; мера оценки информации, содержащейся в сообщении; мера, характеризующая уменьшение неопределенности, содержащейся в одной случайной величине относительно другой.
В 1928 г. американский инженер Р. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. I = log 2 N В 1948 г. американский учёный Клод Шеннон предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
I = ― (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N) = Н, где p i ― вероятность того, что именно i-е сообщение выделено в наборе из N сообщений, а Н ― информационная энтропия, которая характеризует степень неопределенности состояния источника, степень хаоса. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.
Легко заметить, что если вероятности p i , ..., p N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
В качестве единицы информации Клод Шеннон предложил принять один бит. в теории информации ― это количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"-"решка", "чет"-"нечет" и т.п.). В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.
Бит ― слишком мелкая единица измерения. На практике чаще применяется более крупная единица ― байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).
Широко используются также ещё более крупные производные единицы информации:
■ 1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,
■ 1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт,
■ 1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
■ 1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт,
■ 1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт.
За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации.

Используемые источники:
1. Гуров И.П. Теория информации и передачи сигналов;
2. Шауцукова Л.З. Информатика 10 - 11;
3. glossary.ru.