Пропускная способность систем передачи информации

Одной из основных характеристик любой системы передачи информации, кроме перечисленных выше, является ее пропускная способность.

Пропускная способность – максимально возможное количество полезной информации, передаваемое в единицу времени:

c = max{Imax} / TC ,

c = [бит/с].

Иногда скорость передачи информации определяют как максимальное количество полезной информации в одно элементарном сигнале:

s = max{Imax} / n,

s = [бит/элемент].

Рассмотренные характеристики зависят только от канала связи и его характеристик и не зависят от источника.

Пропускная способность дискретного канала связи без помех. В канале связи без помех информацию можно передавать неизбыточным сигналом. При этом число n = m, а энтропия элементарного сигнала HCmax = logK.

max{IC} = nHCmax= mHCmax .

Длительность элементарного сигнала , где – длительность элементарного сигнала.

где FC – спектр сигнала.

Пропускная способность канала связи без помех

Введем понятие скорости генерации элементарного сигнала источником информации:

Тогда, используя новое понятие, можно преобразовать формулу для скорости передачи информации:

Полученная формула определяет максимально возможную скорость передачи информации в дискретном канале связи без помех. Это следует из предположения о том, что энтропия сигнала максимальна.

Если HC < HCmax, то c = BHC и не является максимально возможной для данного канала связи.

Пропускная способность дискретного канала связи с помехами. В дискретном канале связи с помехами наблюдается ситуация, изображенная на рис. 6.

Учитывая свойство аддитивности, а также формулы Шеннона для определения количества информации, рассмотренные выше, можно записать

IC = TC FC log(AK PC),

IПОМ = TП FП log(APП).

Для получателя источник полезной информации и источник помехи равноценны, поэтому нельзя на приемной стороне выделить составляющую помехи в сигнале с результирующей информацией

IРЕЗ = TC FC log(AK (PП + PC)), если TC = TП, FC = FП.

Приемник может быть узкополосным, а помеха находиться в других интервалах частот. В этом случае она не будет влиять на сигнал.

Будем определять результирующий сигнал для наиболее “неприятного” случая, когда параметры сигнала и помехи близки друг к другу или совпадают. Полезная информация определяется выражением

Эта формула получена Шенноном. Она определяет скорость передачи информации по каналу связи в случае, если сигнал имеет мощность PC, а помеха – мощность PП. Все сообщения при такой скорости передадутся с абсолютной достоверностью. Формула не содержит ответа на вопрос о способе достижения такой скорости, но дает максимально возможное значение с в канале связи с помехами, то есть такое значение скорости передачи, при которой полученная информация будет абсолютно достоверной. На практике экономичнее допустить определенную долю ошибочности сообщения, хотя скорость передачи при этом увеличится.

Рассмотрим случай PC >> PП. Если ввести понятие отношения сигнал/шум

PC >> PП означает, что . Тогда

Полученная формула отражает предельную скорость мощного сигнала в канале связи. Если PC << PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.

Рис.7 Граф переходных вероятностей K- ичного канала связи

Между существует определенное однозначное соответствие. Если помех нет, то вероятность однозначного соответствия равна единице, в противном случае она меньше единицы.

Если qi – вероятность принятия yi за xi, a pij = p{yi / xi} – вероятность ошибки, то

.

Граф переходных вероятностей отражает конечный результат влияния помехи на сигнал. Как правило, он получается экспериментально.

Полезная информация может быть оценена как IПОЛ = nH(X · Y), где n – количество элементарных символов в сигнале; H(X · Y) – взаимная энтропия источника X и источника Y.

В данном случае источником X является источник полезной информации, а источником Y является приемник. Соотношение, определяющее полезную информацию, можно получить исходя из смысла взаимной энтропии: заштрихованный участок диаграммы определяет сообщения, переданные источником Xи полученные приемником Y; незаштрихованные участки отображают сигналы источника X, не дошедшие до приемника и полученные приемником посторонние сигналы, не передаваемые источником.

B – скорость генерации элементарных символов на выходе источника.

Для получения max нужно по возможности увеличить H(Y) и уменьшить H(Y/X). Графически эта ситуация может быть представлена совмещением кругов на диаграмме (Рис. 2г).

Если же круги вообще не пересекаются, X и Y существуют независимо друг от друга. В дальнейшем будет показано, как можно использовать общее выражение для максимальной скорости передачи при анализе конкретных каналов связи.

Характеризуя дискретный канал, используют два понятия скорости: техническая и информационная.

Под технической скоростью передачи RT, называемой также скоростью манипуляции, подразумевают число символов (элементарных сигналов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом различий в длительности символов техническая скорость определяется как

где - среднее время длительности символа.

Единицей измерения служит »бод» - это скорость, при которой за одну секунду передается один символ.

Информационная скорость или скорость передачи информации определяется средним количеством информации, которое передается по каналу за единицу времени. Она зависит как от характеристик конкретного канала (таких как объем алфавита используемых символов, технической скорости их передачи, статистического свойства помех в линии), так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости манипуляции скорость передачи информации по каналу задается соотношением:

,

где – среднее количество информации, переносимое одним символом.

Для практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала с заданными переходными вероятностями равна максимуму передаваемой информации по всем входным распределениям символов источника X:

С математической точки зрения поиск пропускной способности дискретного канала без памяти сводится к поиску распределения вероятностей входных символов источника Х, обеспечивающего максимум переданной информации . При этом, на вероятности входных символов накладывается ограничение: , .

В общем случае, определение максимума при заданных ограничениях возможно с помощью мультипликативного метода Лагранжа. Однако такое решение требует чрезмерно больших затрат.

В частном случае для дискретных симметричных каналов без памяти пропускная способность (максимум , достигается при равномерном распределении входных символов источника X.

Тогда для ДСК без памяти, считая заданной вероятность ошибки ε и для равновероятных входных символов = = = =1/2, можно получить пропускную способность такого канала по известному выражению для :

где = – энтропия двоичного симметричного канала при заданной вероятности ошибки ε.

Интерес представляют граничные случаи:

1. Передача информации по бесшумному каналу (без помех):

, [бит/символ].

При фиксированных основных технических характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика), которые определяют значение технической скорости, пропускная способность канала без помех будет равна [бит/сек].

Для общего описания канала связи и построения теории информации используется одна и та же модель. Канал назы­вается д и с к р е т н ы м (непрерывным), если множества Х и Y дискретны (непрерывны), и п о л у н е п р е р ы в н ы м, если одно из множеств дискретно, а другое непрерывно. Ниже рассматриваются только дискретные каналы.

Канал полностью описывается условными вероятностями того, что k-ì принятым символом будет

j k -й символ множества Y (j k = 1, m y ).

Указанную вероятность можно рассматривать как функ­цию , вид которой отражает состояние канала, в частности, характер взаимодействия помехи и сиг­нала. Если

то соответствующий канал называется каналом без памяти. Если вероятность не зависит от k (от времени), то соответствующий канал называется стацио­нарным. Ограничимся рассмотрением только стационар­ных каналов без памяти. Определим скорость передачи информации как предел:

где - средняя взаимная информация между пере­данным и принятым. В случае отсутствия помехH (X /Y )=0, следовательно, R = H (X ). Этот предел в случае канала без памяти равен взаимной информации:

R=I (X,Y )=H (X ) -H (X|Y )=H (Y ) -H (Y|X ) .

Скорость передачи информации R полностью определяется

вероятностями . Поэтому изменять величину R мы можем только за счет изменения вида распре­деления , поскольку - характеристика неуп­равляемого канала. Определим пропускную способность кана­ла С как максимальную по скорость передачи инфор­мации:

.

В случае отсутствия помех

.

Вычисление пропускной способности симметричных каналов

Существует класс каналов, для которых пропускная спо­собность С легко вычисляется. Канал полностью описывается так называемой стохастической матрицей

в которой сумма всех элементов, образующих строку, рвана единице.

Канал называется с и м м е т р и ч н ы м п о в х о д у, если строки матрицы различаются только порядком расстановки некоторого множества чисел

Для симметричных по входу каналов частная условная энтропия

Она не зависит от номера передаваемой буквы и может быть вычислена по любой строке матрицы. Поэтому условная энтропия

Канал называется с и м м е т р и ч н ы м п о в ы х о д у, если столбцы матрицы различаются только порядком расста­новки некоторого множества чисел .

Если распределение источника равномерное

то распределение на выходе симметричного по выходу канала также будет равномерным. При этом энтропииН(Х) и H (Y ) достигают своего максимального значения. В этом легко убедиться, если доказать, что вероятность не за­висит оту j . Представим вероятность в виде

Поскольку

Сумма не зависит от номера столбцаj и в общем

случае не равна единице. Поэтому вероятность также

не зависит от j и равна . При этом

Канал называется симметричным, если он симметричен по входу и выходу. Для симметричного канала H (Y | X ) не зависит от распределения источника сообщений, поэтому пропускная способность

В качестве примера вычислим пропускную способность симметричного канала, который описывается матрицей

где m = m X = m Y . В этом случае

C 1

0,2

0 0,2 0,4 0,6 0,8 1 P e

Рис. 3. Зависимость пропускной

способности ДСК от вероятности ошибки p e

Вероятность 1-p e равна вероятности правильного приема символа. Вероятность ошибки p e равна вероятности приема y j c при условии, что было передано x i . Тогда

Широкое распространение получил двоичный симметрич-ный канал (ДСК) (m =2) , для которого пропускная способность (Рис. 3)

Максимальная скорость передачи информации, равная единице, получается при р е =0 и при р е =1. В этом случае множества Х и Y находятся во взаимно однозначном соответ­ствии, и по принятому у j (j =1, 2) всегда можно определить с вероятностью, равной единице, переданную букву. К сожа­лению, это возможно только тогда, когда априори (до при­ема) известно значение вероятности р е (нуль или единица).

Пропускная способность дискретного канала без помех

Определим пропускную способность канала как максимальное количество информации, которое можно передавать по нему в единицу времени:

C = max{Ixy}/ tx (бит/с) (4.1)

Для канала без помех справедливо условие I xy = H x , а потому его пропускная способность:

C бп = max{Hx}/ tx = log 2 m / tx (4.2)

В частном случае передачи двоичных разрядов (m = 2) справедливо

С бп = 1/tx (4.3).

Для нас важно, как соотносится величина С бп с потоком информации источника H`z , который определяется по формуле

H`z = Hz/tz (бит/с) (4.4).

Пропускная способность канала используется полностью, когда H`z = C. Между тем, уменьшение энтропии Hz может привести к сокращению информационного потока. Чтобы его увеличить, требуется сократить время tz . Если учесть, что

tz = tx * lср, где lср - средняя длина кода символа, то становится ясно: чтобы полнее использовать пропускную способность канала для любого источника, нужно рационально кодировать сообщения, по возможности сокращая величину lср .

Если записать условие полного использования пропускной способности канала H`z = C в развернутом виде, то для канала без помех оно будет иметь вид:

Hz/tz = log 2 m/tx (4.5),

а с учетом tz = tx * lср и log 2 m = 1 (при m=2) мы получим условие:

lср = Hz (4.6)

По сути, доказательство этой так называемой теоремы Шеннона о кодировании для канала без помех сводится к нахождению процедуры, позволяющей получить требуемый код. Эта процедура, именуемая эффективным кодированием, была предложена самим Шенноном и в дальнейшем усовершенствована (с точки зрения удобства ее практического применения) Хаффменом.

В обоих случаях речь идет о посимвольном кодировании и величина Hz имеет значение безусловной энтропии. В принципе можно пойти дальше и рассматривать кодирование цепочек символов. В этом случае Hz будет иметь смысл условной энтропии порядка l, где l - максимальная длина цепочки. О "цепочечном" кодировании речь впереди, а пока мы рассмотрим классический подход к эффективному кодированию на уровне символов.

Рассмотрим теперь вариант, когда помехи в канале вызывают появление ошибок с вероятностью p 0 . В этом случае из соотношения 3.1 следует:

C = max {Hx - Hx/y}/ tx = (log 2 m - Hx/y) / tx (4.8)

Рассмотрим наиболее распространенный случай так называемого двоичного симметричного канала. При этом m = 2 (log 2 m = 1), а вероятности ошибки “переход "1" в "0” ” “переход "0" в "1" ” одинаковы.

Если теперь рассмотреть в качестве случайного события передачу разряда кода с ошибкой (вероятность p 0), то, используя формулу (2.8) для определения энтропии, получим:

Hx/y = Hy/x = -p 0 log 2 p 0 - (1 - p 0) log 2 (1 - p 0) (4.9)

С учетом этого (4.8) преобразуется к виду:

C = /tx (4.10)

Таким образом, пропускная способность симметричного двоичного канала с помехами определяется только скоростью передачи разрядов кода (Vx = 1/tx) и вероятностью ошибок.

Наглядно зависимость C(p 0) иллюстрирует рисунок 2.

Рисунок 2

Как видно, максимальное значение пропускной способности канала достигается при p 0 = 0 «канал без помех»и при p 0 = 1 (очевидно, что если канал передает все символы с ошибками, то последние легко устраняются инвертированием). Минимальное значение C = 0 имеет место при p 0 = 0.5.

Шеннон показал, что за счет кодирования пропускную способность канала с помехами также можно использовать максимально полно (напомним, что сама она будет ниже, чем у канала без помех).

Способ кодирования, который позволяет этого добиться, основан на использовании избыточных кодов, когда каждый информационный блок защищается контрольными разрядами и чем больше длина блока, тем меньше удельный вес этих избыточных разрядов, позволяющих обнаружить и исправить ошибки. Вопросы применения корректирующих кодов мы рассмотрим в разделе 5.

Наибольшая производительность источника в этом случае достигается при максимальной энтропии.

4.3.1 Модели дискретных каналов .

Дискретным каналом называют совокупность средств, предназначенных для передачи дискретных сигналов. Такие каналы широко используются, например, при передачи данных, в телеграфии, радиолокации.

Дискретные сообщения, состоящие из последовательности знаков алфавита источника сообщений (первичного алфавита) z 1 , z 2 , …, z l , преобразуются в кодирующем устройстве в последовательность символов. Объем m алфавита символов (вторичного алфавита) u 1 , u 2 , …, u m , как правило, меньше объема l алфавита знаков, но они могут и совпадать.

Материальным воплощением символа является элементарный сигнал, получаемый в процессе манипуляции – дискретного изменения определенного параметра переносчика информации. Элементарные сигналы формируются с учетом физических ограничений, накладываемых конкретной линией связи. В результате манипуляции каждой последовательности символов ставится в соответствии сложный сигнал. Множество сложных сигналов конечно. Они различаются числом, составом и взаимным расположением элементарных сигналов.

Термины «элементарный сигнал» и «символ», так же как «сложный сигнал» и «последовательность символов», в дальнейшем будут использоваться как синонимы.

Информационная модель канала с помехами задается множеством символов на его входе и выходе и описанием вероятностных свойств передачи символов. В общем случае канал может иметь множество состояний и переходить из одного состояния в другое как с течением времени, так и в зависимости от последовательности передаваемых символов.

В каждом состоянии канал характеризуется матрицей условных вероятностей p(s i /z i) того, что переданный символ z i будет воспринят на выходе как символ s i . Значения вероятностей в реальных каналах зависят от многих различных факторов: свойств сигналов, являющихся физическими носителями символов (энергия, вид модуляции и т.д.), характер и интенсивность воздействующих на канал помех, способа определения сигнала на приемной стороне.

При наличии зависимости переходных вероятностей канала от времени, что характерно для всех реальных каналов, он называется нестационарным каналом связи. Если эта зависимость несущественна, используется модель в виде стационарного канала, переходные вероятности которого не зависят от времени. Нестационарный канал может быть представлен рядом стационарных каналов , соответствующих различным интервалам времени.

Канал называется с «памятью» (с последействием), если переходные вероятности в данном состоянии канала зависят от его предыдущих состояний. Если переходные вероятности постоянны , т.е. канал имеет только одно состояние, он называется стационарным каналом без памяти . Под k -ичным каналом подразумевается канал связи, у которого число различных символов на входе и выходе одинаково и равно k .

Стационарный дискретный двоичный канал без памяти однозначно определяется четырьмя условными вероятностями: p(0/0), p(1/0), p(0/1), p(1/1). Такую модель канала принято изображать в виде графа , представленного на рис. 4.1. где p(0/0) и p(1/1) – вероятности неискаженной передачи символов, а p(0/1) и p(1/0) – вероятности искажения (трансформация) символов 0 и 1 соответственно.

Граф – модель стационарного двоичного канала без памяти

Если вероятности искажения символов можно принять равными, т.е. p(0/1)≈p(1/0)=q , то такой канал называют двоичным симметричным каналом [при p(0/1)≠p(1/0) канала называется несимметричным]. Символы на его выходе правильно принимают с вероятностью p и неправильно – с вероятностью 1-p=q . Математическая модель упрощается.

Именно этот канал исследовался наиболее интенсивно не столько в силу своей практической значимости (многие реальные каналы описываются им весьма приближенно), сколько в силу простоты математического описания.

Важнейшие результаты, полученные для двоичного симметричного канала, распространены на более широкие классы каналов.

Следует отметить еще одну модель канала, которая в последнее время приобретает все большее значение. Это дискретный канал со стиранием. Для него характерно, что алфавит выходных символов отличается от алфавита входных сигналов. На входе, как и ранее, символы 0 и 1 , а на выходе канала фиксируются состояния, при которых сигнал с равным основанием может быть отнесен как к единице, так и к нулю. На месте такого символа не ставится ни нуль, ни единица: состояние отмечается дополнительным символом стирания S . При декодировании значительно легче исправить такие символы, чем ошибочно определенные.

На рис. 4.2. приведены модели стирающего канала при отсутствии (рис. 4.2, а) и при наличии (рис. 4.2, б) трансформации символов.

Граф-модель стационарного двоичного канала без памяти со стиранием.

4.3.2 Скорость передачи информации по дискретному каналу .

Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.

Под технической скорости передачи V T , называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость

(4.8)

где τ ср – среднее значение длительности символа.

При одинаковой продолжительности τ всех передаваемых символов τ ср =τ .

Единицей измерения технической скорости служит бод – скорость, при которой за одну секунду передается один символ.

Информационная скорость или скорость передачи информации, определяется средним количеством информации , которое передается по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких, как объем алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

Если по каналу передается z k символов в единицу времени, т.е. техническая скорость равна V T , а среднее количество информации на один символ канала равно J(Z, S) , то скорость передачи информации по каналу R k задается соотношением

(4.9)

где J(Z, S) – среднее количество информации, переносимое одним символом.

4.3.3 Пропускная способность дискретного канала без помех .

Для теории и практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуется его пропускной способностью.

Пропускная способность канала С д равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема:

При заданном алфавите символов и фиксированных характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т.е. обеспечить максимальное значение V T . Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(Z, S) , определяется на множестве распределений между символами S 1 , …, S i , …, S m .

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду (дв. ед./с. или бит./с.).

Так как в отсутствии помех имеет место взаимно-однозначное соответствия между множеством символов {z} на выходе канала и {s} на его входе, то I(Z, S)=I(S, Z)=H(S). Максимум возможного количества информации на символ равен logm , где m – объем алфавита символов, откуда пропускная способность дискретного канала без помех

(4.11)

Следовательно, для увеличения скорости передачи информации по дискретному каналу без помех и приближения ее к пропускной способности канала последовательность букв сообщения должна подвергнутся такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы.

Доказано (см , §5.4), что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

Расширение объема алфавита символов m приводит к повышению пропускной способности канала (рис. 4.3.), однако возрастает и сложность технической реализации.

График изменения С Д =φ(m) , где m – объем алфавита символов передачи.

4.3.4 Пропускная способность дискретного канала с помехами .

При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(S, Z), передаваемое по каналу одним символом, определяется в этом случае соотношением

Если статистические связи между символами отсутствуют, энтропия сигнала на выходе линии связи равна

(4.13)

При наличии статистической связи энтропию определяют с использованием цепей Маркова. Поскольку алгоритм такого определения ясен и нет необходимости усложнять изложение громоздкими формулами, ограничимся здесь только случаем отсутствия связей.

Апостериорная энтропия характеризует уменьшение количества переданной информации вследствие возникновения ошибок. Она зависит как от статистических свойств последовательностей символов, поступающих на вход канала связи, так и от совокупности переходных вероятностей, отражающих вредное действие помехи.

Если объем алфавита входных символов Z равен m 1 , а выходных символов S – m 2 , то

(4.14)

Подставив выражения (4.13) и (4.14) в (4.12) и проведя несложные преобразования, получим среднее количество информации

(4.15)

Скорость передачи информации по каналу с помехами

(4.16)

Считая скорость манипуляции V T предельно допустимой при заданных технических характеристиках канала, величину I(S,Z) можно максимизировать, изменяя статистические свойства последовательностей символов на входе канала посредством преобразователя (кодера канала). Получаемое при этом предельное значение C Д скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами :

(4.17)

где p(z) – множества возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

Показано , что к пропускной способности канала связи с помехами можно приблизиться, кодируя эргодическую последовательность букв источника сообщений блоками такой длины, при которой справедлива теорема об асимптотической равновероятности длинных последовательностей.

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержка в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке. В рамках допустимых усложнений на практике при кодировании могут преследоваться две цели: либо при заданной скорости передачи информации стремятся обеспечить минимальную ошибку, либо при заданной достоверности – скорости передачи, приближающуюся к пропускной способности канала.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

, (4.18)

где R u (Z) – производительность источника сообщений; С Д – пропускная способность канала связи.

Поскольку нормальное функционирование канала возможно, как показано далее, при изменении производительности источника в пределах 0≤ R u (Z)≤ С Д , λ теоретически может изменятся в пределахот 0 до 1.

Пример 4.4 Определить пропускную способность двоичного симметричного канала (ДСК) со скоростью манипуляции V T в предположении независимости передаваемых символов.

Запишем соотношение (4.14) в следующем виде:

Воспользовавшись обозначениями на графе (рис. 4.4), можем записать

Так как p(0) + p(1) =1, то

Величина H(Z|S) не зависит от вероятностей входных символов, что является следствием симметрии канала.

Следовательно, пропускная способность

Максимум H(Z) достигается при равенстве вероятностей появления символов, он равен 1. Отсюда

(4.19)

График зависимости пропускной способности ДСК от p показан на рис. 4.5. При увеличении вероятности трансформации символа с 0 до ½ С Д (p) уменьшится от 1 до 0. Если p=0, то шум в канале отсутствует и его пропускная способность равна 1. При p=1/2 канал бесполезен, так как значения символов на приемной стороне с равным успехом можно устанавливать по результатам подбрасывания монеты (герб – 1, решетка – 0). Пропускная способность канала при этом равна нулю.