Пропускная способность дискретного канала связи с шумами. Пропускная способность дискретного канала с помехами

Для общего описания канала связи и построения теории информации используется одна и та же модель. Канал назы­вается д и с к р е т н ы м (непрерывным), если множества Х и Y дискретны (непрерывны), и п о л у н е п р е р ы в н ы м, если одно из множеств дискретно, а другое непрерывно. Ниже рассматриваются только дискретные каналы.

Канал полностью описывается условными вероятностями того, что k-ì принятым символом будет

j k -й символ множества Y (j k = 1, m y ).

Указанную вероятность можно рассматривать как функ­цию , вид которой отражает состояние канала, в частности, характер взаимодействия помехи и сиг­нала. Если

то соответствующий канал называется каналом без памяти. Если вероятность не зависит от k (от времени), то соответствующий канал называется стацио­нарным. Ограничимся рассмотрением только стационар­ных каналов без памяти. Определим скорость передачи информации как предел:

где - средняя взаимная информация между пере­данным и принятым. В случае отсутствия помехH (X /Y )=0, следовательно, R = H (X ). Этот предел в случае канала без памяти равен взаимной информации:

R=I (X,Y )=H (X ) -H (X|Y )=H (Y ) -H (Y|X ) .

Скорость передачи информации R полностью определяется

вероятностями . Поэтому изменять величину R мы можем только за счет изменения вида распре­деления , поскольку - характеристика неуп­равляемого канала. Определим пропускную способность кана­ла С как максимальную по скорость передачи инфор­мации:

.

В случае отсутствия помех

.

Вычисление пропускной способности симметричных каналов

Существует класс каналов, для которых пропускная спо­собность С легко вычисляется. Канал полностью описывается так называемой стохастической матрицей

в которой сумма всех элементов, образующих строку, рвана единице.

Канал называется с и м м е т р и ч н ы м п о в х о д у, если строки матрицы различаются только порядком расстановки некоторого множества чисел

Для симметричных по входу каналов частная условная энтропия

Она не зависит от номера передаваемой буквы и может быть вычислена по любой строке матрицы. Поэтому условная энтропия

Канал называется с и м м е т р и ч н ы м п о в ы х о д у, если столбцы матрицы различаются только порядком расста­новки некоторого множества чисел .

Если распределение источника равномерное

то распределение на выходе симметричного по выходу канала также будет равномерным. При этом энтропииН(Х) и H (Y ) достигают своего максимального значения. В этом легко убедиться, если доказать, что вероятность не за­висит оту j . Представим вероятность в виде

Поскольку

Сумма не зависит от номера столбцаj и в общем

случае не равна единице. Поэтому вероятность также

не зависит от j и равна . При этом

Канал называется симметричным, если он симметричен по входу и выходу. Для симметричного канала H (Y | X ) не зависит от распределения источника сообщений, поэтому пропускная способность

В качестве примера вычислим пропускную способность симметричного канала, который описывается матрицей

где m = m X = m Y . В этом случае

C 1

0,2

0 0,2 0,4 0,6 0,8 1 P e

Рис. 3. Зависимость пропускной

способности ДСК от вероятности ошибки p e

Вероятность 1-p e равна вероятности правильного приема символа. Вероятность ошибки p e равна вероятности приема y j c при условии, что было передано x i . Тогда

Широкое распространение получил двоичный симметрич-ный канал (ДСК) (m =2) , для которого пропускная способность (Рис. 3)

Максимальная скорость передачи информации, равная единице, получается при р е =0 и при р е =1. В этом случае множества Х и Y находятся во взаимно однозначном соответ­ствии, и по принятому у j (j =1, 2) всегда можно определить с вероятностью, равной единице, переданную букву. К сожа­лению, это возможно только тогда, когда априори (до при­ема) известно значение вероятности р е (нуль или единица).

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи; ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).

Существуют различные типы каналов, которые можно классифицировать по различным признакам:

1.По типу линий связи: проводные; кабельные; оптико-волоконные;

линии электропередачи; радиоканалы и т.д.

2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).

3. По помехозащищенности: каналы без помех; с помехами.

Каналы связи характеризуются:

1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов

V к = T к F к D к. (1)

Условие согласования сигнала с каналом:

V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .

2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.

3.

4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).

Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.

Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.

Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.

Проводные:

1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.

2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.

3. Оптико-волоконная. Скорость передачи 1 Гбит/с.

В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).

Радиолинии:

1.Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.

2.Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.

3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.

2. Пропускная способность дискретного канала связи

Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .

Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.

При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле

I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)

где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.

При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)

Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.

Пропускная способность дискретного канала связи

. (5)

Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .

Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна

(6)

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

(7)

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

. (8)

Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

[бит/с].

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2 t = 500 .

Скорость передачи информации

C = vH = 500 × 1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

средняя длительность одного элемента сообщения.

-производительность источника. Если длительность одинакова, то

Если источник двоичен, то
Определяется скорость передачи, как среднее количество информации, получаемое на выходе канала за единицу времени.

I(x,y)-количество информации содержащейся в последовательности сообщенийyна выходе по последнему сообщениюxна входе.

Количество информации зависит от параметров канала связи, статистических характеристик источника сообщений, от времени измерений T.

Пропускная способность канала связи называется максимальным значением скорости передачи по данному каналу:

Можно показать, что пропускная способность канала связи равна максимальной производительности источника.

Если канал связи является дискретным

mиизвестны, то

объём алфавита источника;

n-значность кода

Пропускная способность дискретного канала без помех определяется основанием кода mи длительностью передаваемого кода.

35.Пропускная способность непрерывного канала связи с помехой.

полоса частот канала сигналовx(t) иy(t).

n=2
.

Скорость передачи для непрерывного сигнала определяется так же как и для дискретного:

ненадёжность канала связи по времени.

энтропия выходного сигнала относительно входного в единицу времени.

Максимизируем
, чтобы получить пропускную способность:

 пропускная способность канала равна 0, если входные и выходные сигналы независимы.

Если входной сигнал и помеха независимы и помеха является аддитивной, то скорость передачи равна энтропии выходного сигнала за вычетом энтропии помехи за единицу времени:

-мощность помехи.

энтропия помехи.

пропускная способность.

36.Помехи в каналах связи.

Реально в каналах всегда есть помехи того или иного происхождения. Помехой называется стороннее возмущение действующее в системе передачи сообщений и препятствующее их правильному приёму.

Если помеха регулярна и известна, то бороться с ней легко (например, фон постоянного или переменного тока). Тяжелее бороться с помехой случайного происхождения.

По происхождению помехи делятся не внутренние и внешние. Внутренние возникают в самой аппаратуре, они обусловлены случайными электрическими процессами (тепловой шум в проводниках) и флуктуациями числа носителей зарядов преодолевших потенциальный барьер в полупроводнике или электро-ваккумном приборе (дробовые шумы).

Внешние помехи создаются источниками, находящиеся вне самой системы передачи информации.

К внешним помехам относятся:

1)космические и атмосферные помехи;

2)индустриальные помехи (создаются электроустройствами);

3)помехи от посторонних систем передачи информации – они могут быть случайными и преднамеренными.

По характеру воздействия на сигнал помехи принято разделять на аддитивные и мультипликативные.

Помеха n(t) называетсяаддитивной если оператор её воздействияV(S,n) на сигналS(t) выражается суммойx(t)=S(t)+n(t). Аддитивную помеху часто называют шумом. Все перечисленные помехи являются аддитивными.

Если оператор воздействия Vимеет вид произведенияx(t)=S(t)+(t), то помеха(t) называетсямультипликативной . Она представляет собой изменение параметров канала передачи информации (изменение коэффициента передачи) по времени.

Изменения коэффициента передачи могут проявляться в кратковременных прерываниях в линии связи и в изменениях затухания линии связи.

Если (t) медленно меняющийся случайный процесс, то явление вызываемое мультипликативной помехи называется замиранием илифедингом. Замирания присущие каналам связи, особенно на коротких волнах.

x(t)=(t)S(t)+n(t)- общий вид сигнала.

Соотношения (7.1)–(7.3), определяющие скорость пе­редачи и пропускную способность канала и линии связи, являются общими, и поэтому они при­менимы как для дискретных, так и для непрерывных ка­налов, как для каналов без шумов, так и для каналов с шумами. Разница заключается в способе вычисления ко­личества информации, содержащейся в последовательности выходных сигналов Z T , о входных сигналах Y T , т.е. I (Z T , Y T ).

Для вычисления I (Z T , Y T ) можно использовать соотношения (5.30) или (5.31). Из этих соотношений получаем

I(Z T ,Y T) = H(Z T) – H(Z T ‌ | Y T) = H(Y T) – H(Y T | Z T). (8.9)

Будем полагать, что шумы, действующие в канале связи, имеют эргодический характер. Это значит, что, например, при длительной многократной передаче сигнала у i сигналы z на выходе канала с вероятностью, как угодно близкой к единице, образуют типичную последовательность. То же самое справедливо и при передаче эргодической последовательности различных сигналов у. При таком условии выход канала связи может рассматриваться как эргодический источник.

Для последовательности длительностью Т, содержащей М сигналов такого источника, имеем

H(Z T) = MH(Z), (8.10)

где H(Z) – энтропия выходного сигнала или, точнее, энтропия выхода канала связи, рассматриваемого как эргодический источник.

Величина H(Z) может быть подсчитана по формуле, аналогичной (6.10),

H(Z) = (8.11)

При этом Q l и Q k обозначены характерные состояния выхода канала связи.

Такое же соотношение получим и для вычисления условной энтропии

H(Z T | Y T) = MH(Z | Y), (8.12)

где H(Z |Y) – энтропия выходного сигнала канала связи при известных входных сигналах.

Повторяя рассуждения, приведенные при выводе (6.10), получим

H(Z |Y) = (8.13)

При этом p(Q l | Q k , y j) – условная вероятность перехода выхода канала связи из состояния Q k в состояние Q l при передаче сигнала y j .

Из (8.9), (8.10) и (8.12) следует, что

I(Z T , Y T) = MH(Z) – MH(Z | Y).

При определении скорости передачи информации по (7.3 ’) учтем, что ; при этом, как и ранее, - средняя длительность сигнала одного сообщения. Тогда получим

Повторяя рассуждения, аналогично найдем

В последнем равенстве - поток информации на выходе кодирующего устройства, характеризует потерю информации, обусловленную действием помех.

Из найденных соотношений и (7.3) следует, что пропускная способность канала связи при наличии помех может быть определена из условия

Оба определения равноправны и дают одно и то же значение С с. Использование того или иного определения дикдуется удобством анализа. При отыскании оптимальных статистических характеристик передаваемых сигналов (у ) необходимо иметь в виду следующее:

Характерные состояния выхода канала связи (Q k , Q l ) могут определяться двумя обстоятельствами:

а) наличием фиксированных ограничений, т.е. запретов, накладываемых на допустимую последовательность передачи различных сигналов, и

б) коррелятивными связями между символами, вызываемыми действием шумов.

Каналы, у которых на каждый передаваемый сигнал (символ) шум воздействует независимоот того, какие сигналы передавались ранее, называются каналами без памяти. В этих каналах шумы не вызывают дополнительных коррелятивных связей между сигналами. В настоящее время основные выводы теории информации получены применительно к каналам без памяти.

Проиллюстрируем вычисление пропускной способности канала на следующем примере.

Пусть требуется определить пропускную способность канала связи, по которому передаются двоичные сигналы со скоростью v x , если вероятность превращения в результате действия помех каждого из этих сигналов в противоположный равна р (вероятность правильного приема, следовательно, 1 – р ). Передаваемые сигналы предполагаются независимыми.

Рис. 8.3. Двоичный симметричный канал

В этом случае алфавит Х и алфавит Y состоят из двух символов: Х = (х 1 ,х 2), Y =(у 1 , у 2). Диаграмма рис. 8.3 показывает возможные варианты передачи и соответствующие им вероятности. Такой канал называется симметричным.

Средняя условная энтропия

Но p (x 1) + p (x 2)=1.

H (Y ôX )= -p log p – (1 – p )log (1 – p ).

Отсюда видно, что H (Y ôX )не зависит от характеристик источника, т.е. от р (х 1)и р (х 2),и определятся только помехами в канале передачи.

Максимальное количество информации на один символ получается, следовательно, при таком распределении вероятностей р (х i ),при котором оказывается максимальным член H (Y ). Но H (Y )не может превосходить величины

H m (Y )= log m =log 2

(что достигается при р (х 1)= р (х 2)=1/2.Поэтому имеем:

max{I (Y , X ) = log 2 + p log p + (1 – p )log (1 – p )

и, следовательно, пропускная способность

C = v x max {I (Y , X )} =

= v x . (8.19)

Отсюда следует, в частности, что при p = 0,т.е. при отсутствии шумов в канале, имеем максимальное значение С

С max = v x log 2.

При р =1 также имеем детерминированный случай, когда сигналы х 1 переводятся в сигналы х 2 и наоборот с вероятностью, равной единице. При этом пропускная способность канала также максимальна.

Минимальное значение пропускная способность имеет при p =1/2(C max = 0).

Если на вход канала подаются сигналы от всех возможных источников дискретных сообщений с одинаковым количеством символов в единицу времени u = 1/T и числом элементарных символов т, то выражение для С и, соответственно, для пропускной способности канала в расчете на единицу времени выглядит так:

Отсюда при т = 2 имеем (8.19).