Единое окно доступа к образовательным ресурсам

Теория электрической связи. Конспект лекций

Голосов: 0

Издание посвящено базовой дисциплине в системе подготовки бакалавров - Теории электрической связи. Для решения задач анализа систем связи приведены необходимые сведения, содержащие описание моделей сообщений, сигналов, помех, методы формирования и преобразования сигналов. Рассмотрены преобразования сигналов в типовых функциональных узлах систем связи, излагаются основные закономерности и методы анализа потенциальной помехоустойчивости и пропускной способности каналов связи. Изложены основы теории информации и безызбыточного кодирования сообщений, основные модели каналов электросвязи, принципы многоканальной связи и распределения информации. Рассмотрены вопросы оценки эффективности систем связи и основы помехоустойчивого кодирования и его применение в системах связи. Издание предназначено для студентов, обучающихся по направлению 210700 "Инфокоммуникационные технологии и сети связи".

Приведенный ниже текст получен путем автоматического извлечения из оригинального PDF-документа и предназначен для предварительного просмотра.
Изображения (картинки, формулы, графики) отсутствуют.
                                           50

     9.2 Информационные характеристики источников сообщений

      Основные характеристики:
      – энтропия источника – H(X);
      – избыточность источника – R;
      – производительность источника – Vист.

                                Энтропия источника
     Энтропия алфавита источника [бит/элемент]
                                     N
                                                     1
                          H ( X )   p( xi ) log
                                    i 1          p ( xi )
     Источник сообщений передаёт последовательность символов (рис. 9.2),
которая является случайным сигналом (аналогом являются телеграммы). Бу-
квы передаются в фиксированные моменты времени. Таких сообщений мо-
жет быть много, в общем случае M = mN. Нас интересует энтропия на символ.
                         X(t)


                                 xN           x3 x 2 x1
                           0                              t
                                      сообщение
            Рис. 9.2. Последовательность символов (телеграмма)
       Рассмотрим случай равновероятных статистически независимых
букв. Тогда, так как p(xi / xi – 1) = p(xi), вероятность появления одной теле-
граммы (сообщения)
                                                          1
                                  p1  p 2    p M  N .
                                                         m
Отсюда средняя энтропия на телеграмму
                              M
                                          1         1
                 H N ( X )   p i log        log  log m N  N log m ,
                             i 1        pi         pi
поэтому энтропия на одну букву равна
                                            H N(X )
                                  H(X )              log m ,
                                               N
т. е. равна энтропия алфавита источника.
       Так как log M = NH(X), то M = 2NH(X). Эта формула носит общий харак-
тер, так как для источников сообщений с неравновероятными и статистиче-
ски зависимыми буквами число различных сообщений будет равно M = 2NH(X),
где H(X) – энтропия на одну букву.
       Пример. Энтропия русского алфавита при равновероятных буквах
                                       h = log 32 = 5.
       Энтропия источника при неравновероятных буквах.
       Рассмотрим длинные сообщения, такие, чтобы статистические частоты
появления букв оказались близки к вероятности их появления N >> 1:


                                                 51

                                                 A1
                                ˆ
                                p ( A1 )                     p ( A1 );
                                                 N
                                                                   
                                                  Am
                                ˆ
                                p ( Am )                      p( Am );
                                                      N
                                                     
                             PN  P  i  p ( Ai )      ;
                                     N                
                                                      
                                      lim PТ  0 .
                                              N 
                                  i
      Сообщения, в которых          p ( Ai ) будет существенной, встречаться
                                   N
будут, но с очень малой вероятностью. Поэтому можно считать, что все со-
общения длины N будут разделены на высоковероятные, в которых
i                                         
    p( Ai ) и маловероятные, в которых i  p( Ai )   .
 N                                         N
      Маловероятными сообщениями пренебрежём, так как их появление
практически невозможно.
      Найдём число высоковероятных сообщений, вероятности их появления
и среднюю энтропию на букву.
      Буква Ai встречается в сообщении длиной Ni = Np(Ai) раз. Вероятность
такого события для одной буквы p ( Ai ) Np ( Ai ) , поэтому вероятность появления
высоковероятного сообщения из независимых букв
                                                m
                                     PN   p ( Ai ) Np ( Ai )
                                               i 1
Так как каждая из букв встречаются в любом из сообщений примерно Np(Ai)
раз, то все сообщения равновероятны.
       Общее количество сообщений
                                1         1
                           M      m                    .
                               PN
                                      p( Ai ) Np ( Ai )
                                                      i 1
      Энтропия на одно сообщение
                                                                           m
                                                 1
           H N ( x )  log M  log        m
                                                                       Np ( Ai ) log p( Ai ) 
                                      p( Ai ) Np ( A )         i       i 1

                                       i 1
                                   m
                            N  p ( Ai ) log p( Ai )  NH ( x) ,
                                   i 1
откуда
                              M н  2 NH н ( x ) .
      Отношение неравновероятных сообщений к равновероятным:


                                                     52

                          M н 2 NH н ( x )     N ( H ( x)H р ( x)
                               NH ( x )  2 н                     .
                          Mр 2 р
        Пример. Для русского алфавита Hн(x) = 4,42; N = 1000. Тогда
                        Mн
                             21000( 4,425)  2 580  10174 ,
                        Mр
т. е. число возможных сообщений составляет ничтожно малую часть от об-
щего числа.
       Статистически зависимые символы. Например, в русском языке ве-
роятность появления в сообщении буквы зависит от того, какие буквы стоят
на других местах.
       Наличие статистических связей между буквами уменьшает энтропию
на букву и число сообщений.
       Если учитывать зависимость только двух соседних букв, то для сооб-
щения длиной N
                              m   m
             H ( A1 , A2 )   p ( Ai , A j ) log p ( Ai , A j )  H ( x1 )  H ( x 2 | x1 ) ;
                             i 1 j 1
        1) если буквы независимы, то H(A1, A2) = H(A1) + H(A2) и энтропия на
букву
                                                   H ( A1 )  H ( A2 )
                                    H незав ( x)                        ;
                                                             2
     2) если буквы сильно зависимы, то H(x1 / x1)  0, тогда
                                                 H ( A1 )
                                H зав ( x )                H незав ( x )
                                                   2
     Если есть зависимость от двух и более предшествующих букв, то
                                         m m           m
                                                                                    1
             H ( A1 , A2 ,  , Ak )      p ( Ai1 , Ai2 ,  , Aik ) log
                                       i1 1 i2 1   ik 1                         p ()
     Очевидно, что
                                        H ( x ) H 2 ( x)
                         H зав ( x)  k                          H незав ( x ) .
                                            k              2
Для русского языка Hзав(x) = 2. Число практически возможных сообщений
                                          M зав  2 NH зав ( x ) ;
                    Hзав(x) < Hнезав(x) < Hр(x); Mзав < Mнезав < Mр.

      Избыточностью источника называют величину
           H     H ист      H            H ист                   H
       R  max           1  ист  1           ; N  N 0  N  N ист  NR .
              H max          H max       N log m                  H max
      Производительностью источника называют среднее количество ин-
формации, выдаваемой источником в единицу времени [бит/с]:
                                   Vист = VM H(x),
где VM – скорость модуляции, Бод; H(x) – энтропия на символ.


                                              53

                               9.3 Понятие информации

      Информация вводится как степень уменьшения неопределённости зна-
ний о состоянии некоторой системы в результате проведения некоторого
опыта (эксперимента).
      Если до опыта неопределённость в знаниях об измеряемой величине X
равна Hарг(x), а в результате опыта неопределённость уменьшается и стано-
вится Hарs(x), то получаемая в результате опыта информация
                                I = Hарг(x) – Hарs(x).
      Очевидно, что максимум информации будет тогда, когда Hарs(x) = 0.
      Чем больше начальная неопределённость, тем большее количество ин-
формации получим (рис. 9.3).
                             р(х)




                               0                               Xmax
                                             x
         Рис. 9.3. Распределение вероятностей наблюдаемой величины
     Количество получаемой информации зависит от вероятности насту-
пившего исхода.
     Частная информация
                                                     1
                                         I k  log      .
                                                     pk
     Частная информация является случайной величиной, поэтому исполь-
зуют мат. ожидание
                                             m
                                       I   pk log pk .
                                             k 1

                       9.4 Информация в сложной системе

     Рассмотрим сложную систему (X, Y), где X и Y – две статистически за-
висимые случайные величины.
     Над величиной Y проводится опыт, на основании которого снижается
неопределённость относительно значения X.
     Количество информации относительно X, получаемое из опыта над
случайной величиной Y, определяется как уменьшение исходной неопреде-
лённости
                                    IY(X) = H(X) – H(X / Y)
или
                      m                        m m
                                        1
         I Y ( X )   p ( xi ) log             p ( y j ) p ( xi / y j ) log p ( xi / y j ) .
                     i 1            p ( xi ) i 1 j 1
     а) Пусть X и Y независимы, тогда
                                         H(X / Y) = H(X)


                                                  54

и
                                      IY(X) = H(X) – H(X) = 0,
т. е. опыт не уменьшает неопределённость относительно X.
       б) Величины X и Yзаданы функциональной зависимостью y = f(x), тогда
                                                H(X / Y) = 0
и
                                IY(X) = H(X) – 0 = H(X)  max.
       В промежуточном варианте
                                            0  IY(X)  H(X).
       Опыт над Y необходимо ставить так, чтобы энтропия была минималь-
ной H(X / Y):
                IY(X) = H(X) – H(X / Y) = H(Y) – H(Y / X) = IX(Y) = I(X, Y);
                          m                          m n
                                           1
          I ( X , Y )   p ( xi ) log              p ( y j ) p ( xi / y j ) log p ( xi / y j ) 
                         i 1           p ( x i ) i 1 j 1
                n m                                         m n                    p ( xi , y j )
                                                    1
               p ( y j / xi ) p ( xi ) log               p ( xi , y j ) log                 
               j 1 i 1                         p ( xi ) i 1 j 1                  p( yi )
                             n   m                           p ( xi , y j ) 
                                             1
                   p( xi , y j ) log
                                                    log                   
                   j 1 i 1              p ( xi )            p ( yi )    
                        n m
                                             p ( xi , y j )
                     p ( xi , y j ) log                    I ( X ,Y ) .
                       j 1 i 1           p ( xi ) p ( yi )
       Пример. Существует канал связи (рис. 9.4.).
                         X           Канал    Y    H(X)            IY(X)

                                 помехи
                                                          H(X / Y) потери
                                        Рис. 9.4. Канал связи
       СимволыА1…Ат                       y1, …, ym
              p(A1)…p(Am)                 p(y1)…p(ym);
       p(Ai)  p(yi); Iy(A) = H(A) – Hy(A).
                     m
                                   1
       а) H ( A)   p( Ai ) log         , если помех нет, то H(A / Y) = 0, тогда
                    i 1         p( Ai )
Iy(A) = H(A).
       б) Если помехи есть, то Hy(A)  0, тогда Iy(A) = H(A) – Hy(A) < H(A);
Iy(A) = H(y) – H(Y / A).
       Если Y = n + A, где n – шум, то
                             H(Y / A) = H((т + A) / A) = H(n),
т. е.
                                   IY(A) = H(Y) – H(n),
где H(n) – энтропия шума.


                                            55


                                Лекция 10
                        УСТРАНЕНИЕ ИЗБЫТОЧНОСТИ

              10.1 Теорема кодирования для канала без помех

      Если в канале нет помех, то потери информации не будет. Здесь необ-
ходимо решить задачу максимизации скорости передачи сообщений.
      Если источник имеет N различных символов, а основание кода равно m,
то длина кодовой группы равна числу кодовых символов.
      Пусть длина i-й кодовой группы ni сопоставляется сообщению Ai, веро-
ятность которого p(Ai).
      Средняя длина кодовой группы
                                            n
                                      n   ni p( Ai )
                                           i 1
зависит от того, как закодировано сообщение. Вообще говоря, необходимо,
чтобы n  min.
      Информация на символ кода максимальна, если символы кода равнове-
роятны и независимы, тогда она равна log m.
      Минимальная длина i-й кодовой группы i-го сообщения находится как
                                 log(1 / p ( Ai ))      log p ( Ai ) 
                           ni 
                                     log m
                                                                   ,
                                                        log m 
где log m – информация на символ кода; log p(Ai) – информация i-го сообще-
ния.
      Тогда
                               log p ( Ai )               p ( Ai ) log p ( Ai ) H ( x)
        n   ni p( Ai )                    p( Ai )                                   .
                                  log m                           log m             log m

      10.2 Кодирование источников сообщений с равновероятными
                             символами

      Задача. Пусть имеется источник сообщений А1, А2, …, АМ;
p(A1) = p(A2) = … = p(AМ); энтропия на сообщение H(A) = log N.
      Необходимо найти оптимальный код, т. е. код, каждый символ которо-
го несёт максимальное количество информации.
      Оптимальным в этом смысле будет равномерный код. Так как код рав-
номерный, то все кодовые комбинации будут иметь одинаковую длину
                                   H ( A) log N
                                n             .
                                   log m log m
       Если log N – целое число, проблем нет. Если по каналу в секунду пе-
             log m
редаётся VM символов кода или VM / n кодовых комбинаций, то


                                         56

                        VM                    VM
                 Vmax       H ( A)                     log N  V M log m .
                         n             (log N / log m)
       Если n – дробное число, то его необходимо округлять до большего це-
лого числа n.
                                          VM
       Так как n > n, то V                         c , т. е. скорость передачи ин-
                                   (log N / log m )
формации меньше пропускной способности канала.
       Однако мы можем довести скорость передачи информации до уровня
пропускной способности за счёт блочного кодирования.
       Пример. Пусть N = 10, если кодировать каждый символ в отдельности
двоичным кодом, то
                          n = log 10 / log 2 = 3,32 = 4.
       Применим блочное кодирование с числом символов в блоке 2, тогда
                                      Nбл = 100 = 102
и длина кодовой комбинации на два символа
                              log 102 / log 2 = 6,64 = 7,
тогда на один символ n = 7 / 2 = 3,5.
       При длине блока 3 символа
                             log 103 / log 2 = 9,96 = 10
и n = 3,33.
       При увеличении длины блока  : n  3,32. Следовательно, блочное
кодирование позволяет увеличить скорость передачи информации. Докажем
это в общем виде
                                logN k  k log N
                      nбл                         , 0 <  < 1;
                                 log m       log m
                               n       k log N  log N 
                        n   бл                             ;
                                k       k log m k log m k
                                              
                                         lim  0 ,
                                         k  k
тогда
                                              log N
                                          n        ,
                                              log m
т. е. за счёт блочного кодирования может быть уменьшена длина кодовой
комбинации до теоретического предела. Блочное кодирование ведёт к запаз-
дыванию получения информации и усложнению приёмника.
    10.3 Кодирование источников сообщений с неравновероятными
                     независимыми символами

      Задача. Пусть имеется источник сообщений А1, А2, …, АN; p(A1), p(A2),
                                            N
… p(AN); энтропия источника H ( A)   p( Ai ) log p( Ai )  log N .
                                           i 1


                                             57

       Если выбрать равномерный код, то
                            V                      V
                        Vn  M H ( A)  Vmax  M log N ,
                             n                       n
т. е. для неравновероятных символов равномерный код переносит меньшую
информацию, чем пропускная способность, т. е. он не оптимален.
       Скорость передачи информации можно увеличить путём укорочения
длины кодовых комбинаций. Это следует из того, что типичных последова-
тельностей намного меньше, чем нетипичных:
                             M тп  2 NH ( A)  2 N log m .
                                  n
       Коэффициент сжатия k сж  нн .
                                  nр
      Каким должен быть код, чтобы n / nрн  1 ? Ясно, что он должен состо-
ять из КК с независимыми символами (и равновероятными).
      Шеннон и Фано построили следующий вариант такого кода.
      Пример.
                            Номера разложения
                                                    Код
                             1    2     3     4
                  A1 0,25     I   I               00
                  A2 0,25         II              01
                  A3 0,125   II          I        100
                  A4 0,125        I               101
                  A5 0,0625             II     I 1100
                  A6 0,0625       II     I    II 1101
                  A7 0,0625             II     I 1110
                  A8 0,0625                   II 1111
                                       8
                     H m ( A) m   p ( Ai ) log p ( Ai )  2,75 ;
                                      i 1
m=2
                                       8
                              n   ni p (ni )  2,75 ,
                                      i 1
т. е. n  H m (A) – код оптимален.
       При таком способе кодирования от неравновероятных символов 1 и 0
переходят к равновероятным.
       На рис. 10.1 изображено топологическое дерево. Здесь никакая КК не
может быть началом другой.
                               1
                     0                       11         111      1111
                                10
                    00 01                         100
                            100 101                           1110
                                       1100 1101
                     Рис. 10.1. Топологическое дерево


                                            58

      Декодирование сообщений проводится движением от вершины дерева,
пока не дойдём до окончания. Если вероятности сообщений не являются сте-
пенями двойки, то разбиение на целые n невозможно, т. е. нельзя найти оп-
тимальный код.
      Для получения оптимального кода снова необходимо применить блоч-
ное кодирование. Тогда будет M = 2NH(A) равновероятных сообщений:
                             NH ( A)       n    H ( A)
                        nN          ; n N 
                              log m        N    log m
– это оптимальный код.
      10.4 Кодирование источников со статистически зависимыми
                             символами

       Здесь также необходимо рассматривать блоки по N символов, тогда
                                                      NH зав ( A)      n   H ( A)
          M зав  2 NH зав ( A )  2 N log m ; n N              ; n  N  зав   ,
                                                       log m            N   log m
т. е. мы получили оптимальный код. Но блочное кодирование приводит к ус-
ложнению приёмника.

                           Способ кодирования Хаффмена
      Элементы алфавита источника располагают в порядке убывания вероят-
ностей. Два нижних элемента объединяют в новый элемент, который занимает
место в алфавите согласно своей вероятности. Этот процесс продолжают до тех
пор, пока вероятность двух последних элементов не станет равна единице. При
каждом объединении «0» присваивается элементу, занимающему верхнюю по-
зицию в паре объединяемых элементов и «1» – нижнему элементу.
      Пример.
         x1       0,25            x1                x1                 x1
         x2       0,25            x2                x2                 x2
         x3       0,125           x3                x3                 x6
                                                                         
         x4       0,125           x4                x4             010 x3
                                                                            
                                                                           x3   0,25
    0010 x5       0,0625          x7           000 x
                                                     6             011 x4
                                                        x 0,25
    0011 x6       0,0625     0000 x5            001 x7 6
                                                      
                                      x
                                       6
         x7 x    0,0625     0001 x6
         x8 7     0,0625
                               x1                    10     x1
                               x2                    11     x2
                            00 x6
                                                    010    x3
                                   x3
                                         0,5
                                
                            01 x3                    011    x4
                                                     0000   x5
                                x3
                                                    0001   x6
                            0   x1                   0010   x7
                                    0,5
                            1   x2                   0011   x8
                            0   x3
                                  
                            1   x1
                                  


                                           59


                            Лекция 11
                КОДИРОВАНИЕ В КАНАЛАХ С ПОМЕХАМИ

      Информационные характеристики КС:
       скорость передачи V;
       пропускная способность
                        V = VM(H(x) –H(x/y)) = Vп – Vпотерь,
где (H(x) –H(x/y)) – информация, которая переносится в КС одним символом;
VМ – скорость модуляции; H(x/y) – потери; H(x) – энтропия КС; Vп = VМH(x) –
скорость передачи информации по КС; Vпотерь = VМH(x/у).
      Пропускная способность – это максимальная скорость передачи ин-
формации по КС, где максимум берётся по всем возможным законам распре-
деления сообщений на выходе ИС
                                   c  maxV .
                                            { p ( xi )}
     Равномерный закон распределения дает максимум, если нет помех, ес-
ли они есть, то - почти максимум.
     Задача Шеннона:
                                p(x1)                     q p
                                        ДСК
                                                          p q
                               p(x2)
                                p = p(y2/x1) = p(y1/x2); q = 1–p;
                                           1                        1
                H ( x)  p( x1 ) log             p( x2 ) log             – источника.
                                        p( x1 )                  p ( x2 )
                                                         1             1
                                  H ( x / y )  p log  q log .
                                                         p             q
                                     1                        1              1        1
            V  VM  p ( x1 ) log
                                            p ( x2 ) log             p log  q log  .
                                  p ( x1 )                 p ( x2 )          p        q
                                                                                        
                                        V               V
                                                 0;              0;
                                     p( x1 )          p( x2 )
                                         p(x1) = p(x2) = 1/2.
       Тогда:
                                                       1             1
                              C  Vmax 1  p log  q log  ,
                                          
                                                       p             q
где C – пропускная способность.
       Для недвоичного симметричного ИС, пропускная способность будет
(рис. 11.1):



    
Яндекс цитирования Яндекс.Метрика