По способу передачи информация делится на. Виды информации по способу восприятия и по форме представления. Информация - это, определение

1. Информация подразделяется по форме представления на 2 вида:

Дискретная форма представления информации - это последовательность символов, характеризующая прерывистую, изменяющуюся величину (количество дорожно-транспортных происшествий, количество тяжких преступлений и т.п.);

Аналоговая или непрерывная форма представления информации - это величина, характеризующая процесс, не имеющий перерывов или промежутков (температура тела человека, скорость автомобиля на определенном участке пути и т.п.).

2. По области возникновения выделяют информацию:

Элементарную (механическую), которая отражает процессы, явления неодушевленной природы;

Биологическую, которая отражает процессы животного и растительного мира;

Социальную, которая отражает процессы человеческого общества.

3. По способу передачи и восприятия различают следующие виды информации:

Визуальную, передаваемую видимыми образами и символами;

Аудиальную, передаваемую звуками;

Тактильную, передаваемую ощущениями;

Органолептическую, передаваемую запахами и вкусами;

Машинную, выдаваемую и воспринимаемую средствами вычислительной техники.

4. Информацию, создаваемую и используемую человеком, по общественному назначению можно разбить на три вида:

Личную, предназначенную для конкретного человека;

Массовую, предназначенную для любого желающего ее пользоваться (общественно-политическая, научно-популярная и т.д.) ;

Специальную, предназначенную для использования узким кругом лиц, занимающихся решением сложных специальных задач в области науки, техники, экономики.

5. По способам кодирования выделяют следующие типы информации:

Символьную, основанную на использовании символов - букв, цифр, знаков и т. д. Она является наиболее простой, но практически применяется только для передачи несложных сигналов о различных событиях. Примером может служить зеленый свет уличного светофора, который сообщает о возможности начала движения пешеходам или водителям автотранспорта.

Текстовую, основанную на использовании комбинаций символов. Здесь так же, как и в предыдущей форме, используются символы: буквы, цифры, математические знаки. Однако информация заложена не только в этих символах, но и в их сочетании, порядке следования. Так, слова КОТ и ТОК имеют одинаковые буквы, но содержат различную информацию. Благодаря взаимосвязи символов и отображению речи человека текстовая информация чрезвычайно удобна и широко используется в деятельности человека: книги, брошюры, журналы, различного рода документы, аудиозаписи кодируются в текстовой форме.

Графическую, основанную на использовании произвольного сочетания в пространстве графических примитивов. К этой форме относятся фотографии, схемы, чертежи, рисунки, играющие большое значение в деятельности человек.

Свойства информации можно рассматривать в трех аспектах: техническом - это точность, надежность, скорость передачи сигналов и т.д.; семантическом - это передача смысла текста с помощью кодов и прагматическом - это насколько эффективно информация влияет на поведение объекта.

Информация - это очень сложное образование. Единства касаемо ее определения так и не получилось достичь. Но мы прекрасно понимаем, что это такое. Это, наверно, один из немногих случаев в науке, когда она оперирует понятиями без четкого их определения. Интересно то, что информация - это предмет изучения информатики. Возможно, именно поэтому нет ее четкого определения. Но все же давайте попробуем дать собственную трактовку данному термину для более ясного вашего понимания.

Понятие информации

Виды и свойства рассматриваемого нами явления невозможно разобрать, если хотя бы приблизительно не ориентироваться в этом термине. Так что же такое информация? Это комлекс явлений, получивших определенное отражение в нашей психике и которые могут использоваться в нашей дальнейшей деятельности. Информация может использоваться в огромном количестве возможных сфер нашей жизни. Более того - она и используется. Различные новые способы применения информации появляются в последнее время. Просто грех не рассмотреть сферы человеческой жизни, в которых может использоваться информация.

Зачем нам это нужно?

Действительно, а какой смысл в получении информации нами? Она позволяет нам действовать и выживать в этом мире. Сам факт выживания проявляется везде, где ступает человеческая нога. Давайте рассмотрим, где же мы проявляем себя и появляется необходимость выжить или прогрессировать (это вторая задача информации).

Базовые потребности.
Безопасность.
Коммуникация.
Саморазвитие.
Обучение.
Воспитание.

Очевидно, что это только небольшая часть возможных сфер человеческой жизни, где можно было бы использовать информацию. Мы можем получать ее самыми разными путями. С самого начала мы поговорим о том, откуда нам поступает информация, а после этого перейдем к разным классификациям, характеризующим данное явление.

Способы получения информации

А теперь непосредственно начинаем переходить к теме "Основные виды информации". Начнем рассмотрение этого явления с описания возможных Оказывается, их действительно невероятное количество. Фактически любой предмет, если мы можем думать и воспринимать его, может для нас быть носителем информации разной степени важности. Вот небольшие примеры :

Интернет.
Книги.
Телевизор.
Плита.
Другой человек.
Яблоко.

И много чего еще. Возможно, некоторые предметы вас удивили. Например, как яблоко может быть Но если задуматься, то это действительно так. То же самое и с плитой.

возможные классификации

А теперь перейдем к рассмотрению данного понятия с научной точки зрения. Существует три типа классификаций. В данной статье будут рассмотрены только две из них. Но вкратце перечислим эти классификации в данном подразделе. Какие же это попытки систематизировать весь информационный поток?

Информация по форме представления.
По общественному значению.

Данная классификация настолько проста, что ее подают детям во втором классе на уроках информатики. А теперь перейдем непосредственно к теме этой статьи.

Классификация информации по способу восприятия

Это то, каким образом человек ее впитывает и обрабатывает. Эта классификация знакома нам с самого детства, так как ей обучали сразу по нескольким учебным предметам. Выделяют такие виды информации по способу восприятия:

Визуальная. Это те данные, которые мы воспринимаем через наши глаза. Примером такой информации может быть та самая плита или яблоко. Мы оцениваем их внешний вид. На основе того, какие лампочки горят на плите, мы можем узнать, работает ли она. А на основе этих данных, определить, нужно ли следить за ней. Знание этого нам необходимо для выживания. Интересно, не находите?
Аудиальная. Это та разновидность информации, которая воспринимается нашими ушами. Ее примеры очень просты - шум машины, голоса людей, звон колоколов. Все, что мы слышим - это есть информация в аудиальной ее форме. Ее значение для выживания человека также колоссальное. Ведь именно аудиальняа информация позволяет оценивать ту часть окружающей обстановки, которую нельзя увидеть, дотронуться или попробовать на вкус.
Тактильная. Этот тип информации непосредственно связан с нашей кожей. Функция данного типа восприятия для выживания также очень важна - человек может, например, почувствовать температуру предмета, до которого он прикасается, и его текстуру. Это не один раз нас спасало - с этим согласятся любители попробовать температуру конфорки на плите рукой.
Обонятельная. Это сфера запахов. Именно они помогают нам ощутить запах гнилой пищи или же определить, что нужно убраться в помещении. Собственно, запах является очень важной характеристикой, которая поможет не только не отравиться, но и понять питательную ценность еды.
Вкусовая. Данный вид информации работает в паре с обонятельной касаемо определения еды. Согласно логике нашего организма, все просто. Еда вкусная - значит ее можно есть.

Все очень просто. Это как раз те пять органов чувств, о которых нам говорили в школе. Вот опять мы их вспомнили. Понимание того, какие виды информации по способу восприятия существуют, дает возможность использовать эти данные в информатике для обеспечения максимально эффективного взаимодействия человека с компьютером. А это может существенно улучшить качество нашей жизни в дальнейшем.

Мы уже поняли, какие бывают источники информации. Виды информации по способу восприятия также отложились в нашей голове. А теперь настал черед разбора другой классификации - по форме представления. Что это вообще такое? Собственно, это научное изображение того, из каких источников информация может нами быть получена. Эдакая система того, что мы описали ранее. Итак, какие существуют виды информации по форме представления?

Текстовая. Это та же книга или сайт в интернете.
Числовая. Цифры могут порой значительно больше сказать, чем слова.
Графическая. А картина? Если она прекрасна и в ней много загадок, то почему простое изображение на стене не может стать полезным для человека?
Музыкальная. Как тут ни крути, а хорошую музыку любят все. Да, представления разные. Но в любом случае музыка - это прекрасно.
Комбинированная. Например, музыкальный клип.

Вот такие виды восприятия информации человеком мы знаем.

Выводы

За время прочтения этой статьи вы поняли очень многое. Это и виды информации по способу восприятия и по форме представления. Благодарное ли дело - делить весь информационный поток на разновидности? Это решите вы для себя. У каждого человека должно быть свое мнение. Известно точно одно - без информации наша жизнь была бы невозможной. И это очевидно всем.

Понятие информации

В понятие «информация» (от лат. informatio – сведения, разъяснения, изложение) вкладывается различный смысл соответственно той отрасли, где это понятие рассматривается: в науке, технике, обычной жизни и т.д. Обычно под информацией подразумевают любые данные или сведения, которые кого-либо интересуют (сообщение о каких-либо событиях, о чьей-либо деятельности и т.п.).

В литературе можно найти большое число определений термина «информация» , которые отражают различные подходы к его толкованию:

Определение 1

Информация – сведения (сообщения, данные) независимо от формы их представления («Федеральный закон РФ от $27.07.2006$ г. № $149$-ФЗ Об информации, информационных технологиях и о защите информации»);
Информация – сведения об окружающем мире и протекающих в нем процессах, воспринимаемые человеком или специальным устройством (Толковый словарь русского языка Ожегова).

Говоря о компьютерной обработке данных под информацией понимают некоторую последовательность символов или знаков (букв, цифр, закодированных графических образов и звуков и т. п.), которая несет смысловую нагрузку и представлена в понятном для компьютера виде.

В информатике наиболее часто используется следующее определение этого термина:

Определение 2

Информация – это осознанные сведения (знания, выраженные в сигналах, сообщениях, известиях, уведомлениях и т.д.) об окружающем мире, которые являются объектом хранения, преобразования, передачи и использования.

Одно и то же информационное сообщение (статья в журнале, объявление, рассказ, письмо, справка, фотография, телепередача и т. п.) может нести разное количество и содержание информации для различных людей в зависимости от накопленных ими знаниями, от уровня доступности этого сообщения и от уровня интереса к нему. Например, новость, составленная на китайском языке, не несет никакой информации человеку, который не знает этого языка, но может быть полезной для человека со знанием китайского. Никакой новой информации не будет содержать и новость, изложенная на знакомом языке, если ее содержание непонятно или уже известно.

Информацию рассматривают как характеристику не сообщения, а соотношения между сообщением и его получателем.

Виды информации

Информация может существовать в различных видах :

текст, рисунки, чертежи, фотографии;
световые или звуковые сигналы;
радиоволны;
электрические и нервные импульсы;
магнитные записи;
жесты и мимика;
запахи и вкусовые ощущения;
хромосомы, через которые передаются по наследству признаки и свойства организмов, и т. д.

Различают основные виды информации , которые классифицируют по ее форме представления, способам ее кодирования и хранения:

графическая – один из древнейших видов, с помощью которого хранили информацию об окружающем мире в виде наскальных рисунков, а затем в виде картин, фотографий, схем, чертежей на различных материалах (бумага, холст, мрамор и др.), которые изображают картины реального мира;
звуковая (акустическая) – для хранения звуковой информации в $1877$ г. было изобретено звукозаписывающее устройство, а для музыкальной информации – разработан способ кодирования с использованием специальных символов, который дает возможность хранить ее как графическую информацию;
текстовая – кодирует речь человека с помощью специальных символов – букв (для каждого народа свои); для хранения используется бумага (записи в тетради, книгопечатание и т.п.);
числовая – кодирует количественную меру объектов и их свойств в окружающем мире с помощью специальных символов – цифр (для каждой системы кодирования свои); особенно важной стала с развитием торговли, экономики и денежного обмена;
видеоинформация – способ хранения «живых» картин окружающего мира, который появился с изобретением кино.

Существуют также виды информации, для которых еще не изобретены способы кодирования и хранения – тактильная информация, органолептическая и др.

Первоначально информация передавалась на большие расстояния с помощью кодированных световых сигналов, после изобретения электричества – передачи закодированного определенным образом сигнала по проводам, позже – используя радиоволны.

Замечание 1

Основателем общей теории информации считают Клода Шеннона, который также положил основу цифровой связи, написав книгу «Математическая теория связи» в $1948$ г., в которой впервые обосновал возможность использования двоичного кода для передачи информации.

Первые компьютеры являлись средством для обработки числовой информации. С развитием компьютерной техники ПК стали использовать для хранения, обработки, передачи различного вида информации (текстовой, числовой, графической, звуковой и видеоинформации).

Хранить информацию с помощью ПК можно на магнитных дисках или лентах, на лазерных дисках (CD и DVD), специальных устройствах энергонезависимой памяти (флэш-память и пр.). Эти методы постоянно совершенствуются, изобретаются и носители информации. Все действия с информацией выполняет центральный процессор ПК.

Предметы, процессы, явления материального или нематериального мира, если их рассматривать с точки зрения их информационных свойств, называют информационными объектами.

Над информацией можно выполнять огромное количество различных информационных процессов, среди которых:

создание;
прием;
комбинирование;
хранение;
передача;
копирование;
обработка;
поиск;
воспринятие;
формализация;
деление на части;
измерение;
использование;
распространение;
упрощение;
разрушение;
запоминание;
преобразование;

Свойства информации

Информация, как и любой объект, обладает свойствами , наиболее важными среди которых, с точки зрения информатики, являются:

Объективность. Объективная информация – существующая независимо от человеческого сознания, методов ее фиксации, чьего-либо мнения или отношения.
Достоверность. Информация, отражающая истинное положение дел, является достоверной. Недостоверная информация чаще всего приводит к неправильному пониманию или принятию неправильных решений. Устаревание информации может из достоверной информации сделать недостоверную, т.к. она уже не будет отражением истинного положения дел.
Полнота. Информация является полной, если она достаточна для понимания и принятия решений. Неполная или избыточная информация может привести к задержке принятия решения или к ошибке.
Точность информации – степень ее близости к реальному состоянию объекта, процесса, явления и т. п.
Ценность информации зависит от ее важности для принятия решения, решения задачи и дальнейшей применимости в каких-либо видах деятельности человека.
Актуальность. Только своевременность получения информации может привести к ожидаемому результату.
Понятность. Если ценную и своевременную информацию выразить непонятно, то она, скорее всего, станет бесполезной. Информация будет понятной, когда она, как минимум, выражена понятным для получателя языком.
Доступность. Информация должна соответствовать уровню восприятия получателя. Например, одни и те же вопросы по-разному излагаются в учебниках для школы и вуза.
Краткость. Информация воспринимается гораздо лучше, если она представлена не подробно и многословно, а с допустимой степенью сжатости, без лишних деталей. Краткость информации незаменима в справочниках, энциклопедиях, инструкциях. Логичность, компактность, удобная форма представления облегчает понимание и усвоение информации.

Очень часто, многие люди, начиная ещё с раннего возраста, задаются вопросом о том, что же такое информация? И, действительно, информация является одним из самых фундаментальных понятий человечества и без раскрытия её смысла будет невозможно в полной мере постигать все те процессы, которые с ней связаны. Но до появления такого предмета, как , понятие информации было очень размытым, а сведения о её сущности разрозненны.

С другой стороны, все мы, так или иначе, в целом понимаем общий смысл, что такое информация . Мы постоянно воспринимаем информацию из окружающего нас мира с помощью органов чувств. Без постоянного приёма информации , мозг человека не сможет существовать.

Понятие информации

У такой науки, как информатика, подход к пониманию информации, особый. Основополагающим будет утверждение, что любое происходящее событие и явление служит для нас источником информации.

В общем, под информацией понимают те сведения, которые принимаемы и передаваемы, сохраняемы различными источниками. Таким образом, информация - является некоторой совокупностью сведений об окружающем нас мире, о всевозможных протекающих в нем процессах, которые способны воспринимать живые организмы, электронно-вычислительные машины и другие виды информационных систем.

Существует определение понятия информации, которое впервые было предложено математиком Клодом Шенноном (основателем количественного подхода к информации и человека, который научил измерять людей информацию), согласно которой:

Информация - это мера снятой неопределенности или сведения, которые нужно снять в той или иной степени существующую у потребителя до их получения неопределенности, с цель. расширения его понимание объекта полезными сведениями.

Также информацию можно рассмотреть как третью составляющую основ мироздания, наряду с веществом и энергией.

Информация и информационные процессы

С понятием информации тесно связано множество остальных фундаментальных понятий и процессов.

Однако стоит отметить, что предметом изучения информатики, как науки, является не сама информация, а данные: методы их создания, хранения, обработки и передачи и т.д.

Классификация информации

В зависимости от выбранного критерия информацию можно разделить на различные виды. Приведем основные из них.

По объектам информационного взаимодействия:

Человек - человек
Человек - автомат.
Автомат - автомат.

Также под информацией можно понимать обмен сигналами в животном и растительном мире

посредством передачи признаков от клетки к клетке;
через передачу признаков от организма к организму.

По способу восприятия информацию подразделяют на:

Визуальную - та, часть информации, которую мы воспринимаем органами зрения.
Звуковую - та, часть информации, которую мы воспринимаем органами слуха.
Тактильную - та, часть информации, которую мы воспринимаем тактильными рецепторами.
Обонятельную - та, часть информации, которую мы воспринимаем обонятельными рецепторами.
Вкусовую - та, часть информации, которую мы воспринимаем вкусовыми рецепторами.

По форме своего представления, информация может быть:

Текстовой - передаваемой в виде символов, предназначенных обозначать лексемы языка.
Числовой - в виде цифр и знаков, обозначающих математические действия.
Графической - в виде изображений, предметов, графиков.
Звуковой - устная или в виде записи и передачи лексем языка аудиальным путём.
Видеоинформацией - передаваемой в виде видеозаписи.

По своему назначению:

Массовая - содержит тривиальные сведения и оперирует набором понятий, понятным большей части социума.
Специальная - содержит специфический набор понятий, при использовании происходит передача сведений, которые могут быть не понятны основной массе социума, но необходимы и понятны в рамках узкой социальной группы, где используется данная информация.
Секретная - передаваемая узкому кругу лиц и по закрытым (защищённым) каналам.
Личная (приватная) - набор сведений о какой-либо личности, определяющий социальное положение и типы социальных взаимодействий внутри популяции.

По своему значению информация может быть:

Актуальная - та информация, которая нужна и тем ценна в данный момент времени.
Достоверная - информация, полученная без искажений.
Понятная - информация, выраженная на языке, понятном тому, кому она предназначена.
Полная - информация, достаточная для принятия правильного решения или понимания.
Полезная - полезность информации определяется субъектом, получившим информацию в зависимости от объёма возможностей её использования.

По истинности, информацию можно разлить на:

истинную - является достоверной;
ложную - является недостоверной.

Дезинформация

В мире существует понятие противоположное по смыслу информации. В этом случае данные о каком-либо событии предоставляется в неполном или искаженном виде. Причем, это делается целенаправленно. Так нередко поступают в политике или ситуациях, на которых можно извлечь большую выгоду.

Информация (от лат. informatio, разъяснение, изложение, осведомленность) - любые сведения и данные, отражающие свойства объектов в природных, социальных и технических системах и передаваемые звуковым, графическим (в т. ч. письменным) или иным способом без применения или с применением технических средств.

Классификация информации

Информацию можно разделить на виды по различным критериям:

1. по способу восприятия :

Визуальная - воспринимаемая органами зрения.

Аудиальная - воспринимаемая органами слуха.

Тактильная - воспринимаемая тактильными рецепторами.

Обонятельная - воспринимаемая обонятельными рецепторами.

Вкусовая - воспринимаемая вкусовыми рецепторами.

2. по форме представления :

Текстовая - передаваемая в виде символов, предназначенных обозначать лексемы языка.

Числовая - в виде цифр и знаков, обозначающих математические действия.

Графическая - в виде изображений, предметов, графиков.

Звуковая - устная или в виде записи и передачи лексем языка.

3. по назначению :

Массовая - содержит тривиальные сведения и оперирует набором понятий, понятным большей части социума.

Специальная - содержит специфический набор понятий, при использовании происходит передача сведений, которые могут быть не понятны основной массе социума, но необходимы и понятны в рамках узкой социальной группы, где используется данная информация.

Секретная - передаваемая узкому кругу лиц и по закрытым (защищённым) каналам.

Личная (приватная) - набор сведений о какой-либо личности, определяющий социальное положение и типы социальных взаимодействий внутри популяции.

4. по значению :

Актуальная - информация, ценная в данный момент времени.

Достоверная - информация, полученная без искажений.

Понятная - информация, выраженная на языке, понятном тому, кому она предназначена.

Полная - информация, достаточная для принятия правильного решения или понимания.

Полезная - полезность информации определяется субъектом, получившим информацию в зависимости от объёма возможностей её использования.

5. по истинности :

истинная

Информация обладает следующими свойствами:

достоверность

Информация достоверна, если она отражает истинное положение дел. Недостоверная информация может привести к неправильному пониманию или принятию неправильных решений. Достоверная информация обладает свойством устаревать, т. е. перестает отражать истинное положение дел.

Информация полна, если ее достаточно для понимания и принятия решений. Как неполная, так и избыточная информация сдерживает принятие решений или может повлечь ошибки.

точность

Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления.

ценность

Ценность информации зависит от того, насколько она важна для решения задачи, а также от того, насколько в дальнейшем она найдет применение в каких-либо видах деятельности человека.

своевременность

Только своевременно полученная информация может принести ожидаемую пользу. Одинаково нежелательны как преждевременная подача информации (когда она еще не может быть усвоена), так и ее задержка.

понятность

Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной. Информация становится понятной, если она выражена языком, на котором говорят те, кому предназначена эта информация.

доступность

Информация должна преподноситься в доступной (по уровню восприятия) форме. Поэтому одни и те же вопросы по-разному излагаются в школьных учебниках и научных изданиях.

краткость

Информацию по одному и тому же вопросу можно изложить кратко (сжато, без несущественных деталей) или пространно (подробно, многословно). Краткость информации необходима в справочниках, энциклопедиях, всевозможных инструкциях.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. Это позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение: N = 2 i (формула Хартли). Иногда записывается иначе. Так как наступление каждого из N возможных событий имеет одинаковую вероятность p = 1 / N , то N = 1 / p и формула имеет вид I = log 2 (1/p) = - log 2 p

Если события неравновероятные, то:h i = log 2 1/ p i = - log 2 p i ,

где p i - вероятность появления в сообщении i-го символа алфавита.Удобнее в качестве меры количества информации пользоваться не значением h i , а средним значением количества информации, приходящейся на один символ алфавитаH = S p i h i = - S p i log 2 p i

Значение Н достигает максимума при равновероятных событиях, то есть при равенстве всех p i p i = 1 / N

В этом случае формула Шеннона превращается в формулу Хартли.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом .

Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3), "Мега" (10 6), "Гига" (10 9) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации I c в сообщении можно подсчитать, умножив количество информации I з, которое несет один знак, на длину кода (количество знаков в сообщении) К:

I c = I з  K

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода

Информацио́нная энтропи́я - мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Энтропия - это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе то, с точки зрения теории информации, это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле: H + Y = 1

где Н – энтропия, Y – информация. Этот вывод количественно был обоснован Бриллюэном.

Для расчета энтропии Шеннон предложил уравнение, напоминающее классическое выражение энтропии, найденное Больцманом. H = ∑ P i log 2 1/ P i = -∑ P i log 2 P i ,

где Н – энтропия Шеннона, P i - вероятность некоторого события.

Информационная двоичная энтропия для независимых случайных событий с возможными состояниями (от до , - функция вероятности) рассчитывается по формуле:

Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только -e состояние.

Таким образом, энтропия события является суммой с противоположным знаком всех произведений относительных частот появления события , умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.