Единое окно доступа к образовательным ресурсам

V Всероссийская научно-техническая конференция "Нейроинформатика-2003". Лекции по нейроинформатике. Часть 1

Голосов: 1

В книге публикуются тексты лекций, прочитанных на Школе-семинаре "Современные проблемы нейроинформатики", проходившей 29-31 января 2003 года в МИФИ в рамках V Всероссийской конференции "Нейроинформатика - 2003". Материалы лекций связаны с рядом проблем, актуальных для современного этапа развития нейроинформатики, включая ее взаимодействие с другими научно-техническими областями.

Приведенный ниже текст получен путем автоматического извлечения из оригинального PDF-документа и предназначен для предварительного просмотра.
Изображения (картинки, формулы, графики) отсутствуют.
                А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ


Александр Алексеевич ФРОЛОВ, кандидат физико-математических, док-
тор биологических наук, профессор, заведующий лаборатории математи-
ческой нейробиологии обучения ИВНД и НФ РАН, специалист в области
биомеханики и нейросетевого моделировани функций нервной системы
(двигательное управление, ассоциативная память, биофизические механиз-
мы обучения и памяти), автор более 200 статей, 6 изобретений и 2 моно-
графий (по нейросетевым моделям ассоциативной памяти).

Душан ГУСЕК, научный сотрудник Института информатики Академии
наук Чешской республики. Область научных интересов: нейронные сети,
представление знаний, представление информации и базы данных. Автор
более 50 научных публикаций.
URL: http://www.cs.cas.cz/∼dusan

Игорь Петрович МУРАВЬЕВ, научный сотрудник лаборатории математи-
чесмкой нейробиологии обучения ИВНД и НФ РАН, специалист в области
нейросетевого моделирования ассоциативной памяти, автор более 20 ста-
тей и 2 монографий (по нейросетевым моделям ассоциативной памяти).


                Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙ
                 Институт оптико-нейронных технологий РАН,
                                    Москва
                         E-mail: kryzhanov@mail.ru,
                                litin@mail.ru

         ВЕКТОРНЫЕ МОДЕЛИ АССОЦИАТИВНОЙ ПАМЯТИ
                                      Аннотация
     Дается обзор векторных моделей ассоциативной памяти. Модель Хопфилда
     позволяет эффективно запомнить сравнительно небольшое число паттернов
     – порядка 15% от размера нейронной сети. Существенно превзойти этот по-
     казатель удается только в Поттс-стекольной модели ассоциативной памяти,
     где нейроны могут находиться в большем чем два числе состояний. Показа-
     но, что еще большей емкостью памяти обладает параметрическая нейронная
     сеть (ПНС). Для оценки емкости памяти используется статистическая тех-
     ника Чебышева–Чернова.



                    B. V. KRYZHANOVSKY, L. B. LITINSKII
                   Institute of Optical Neural Technologies, RAS,
                                        Moscow
                            E-mail: kryzhanov@mail.ru,
                                    litin@mail.ru

          THE VECTOR MODELS OF ASSOCIATIVE MEMORY
                                        Abstract
     We present a short review of vector models for associative memory. The storage
     capacity of the Hopfield model is about 15% of this network size. It can be
     increased significantly in the Potts-glass model of the associative memory only.
     In this model neurons can be in more than two different states. We show that
     even greater storage capacity can be achieved in the parametrical neural network
     (PNN). We use the Chebyshev–Chernov statistical technique to estimate the PNN
     storage capacity.




72                       УДК 004.032.26 (06) Нейронные сети


              Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙ

                                   Введение
Последние 15 лет отмечены интересом к моделям ассоциативной памяти с
q-нарными нейронами. Вс¨ в этих моделях подобно модели Хопфилда, но
                         е
число состояний q, в которых могут находиться нейроны, больше 2.
   В работах [1–3] состояния нейронов изображаются спиновой перемен-
ной Si , принимающей q различных значений:
                         2(k − 1)
             Si = −1 +            ,       i = 1, . . . , N ; k = 1, . . . , q .   (1)
                          q−1
   В другом подходе, различные состояния нейронов изображаются точ-
ками на единичной окружности. Один из вариантов такой сети был рас-
смотрен в [4, 5] — фазорная модель. Другой вариант — в [6] (циклическая
модель).
   В фазорной сети для изображения различных состояний нейронов ис-
пользуются двумерные векторы единичной длины (фазоры). Сеть состо-
ит из N фазоров Si , i = 1, . . . , N — комплексных чисел, по модулю рав-
ных единице. В первоначальной версии Si могли принимать непрерывный
ряд значений (непрерывная модель), а в более поздней — только q кор-
                  q
ней уравнения Si = 1 (дискретная модель). Пусть p паттернов — это p
                                           ё ё         ё
наперед заданных N -мерных наборов (ξ1 , ξ2 , . . . , ξN ), ё = 1, . . . , p, где
 ё          ё
ξj = exp(ıθj ) — состояние i-го нейрона в ё-м паттерне. Тогда синаптиче-
ская связь задается выражением
                                                  p
                                                       ё ¯ё
                           Cij = (1 − δij )           ξi ξj ;                     (2)
                                                ё=1

черта сверху означает здесь комплексное сопряжение. Динамическое реша-
ющее правило определяется с помощью (комплексного) локального поля:
                                                               hi
                    hi =       Cij Sj ,     Si (t + 1) =            .             (3)
                           j
                                                             | hi |

В случае последовательной динамики энергия состояния
                                      1                ¯
                               E=−              Cij Sj Sj
                                      2
                                          i=j

монотонно убывает. Эта сеть изучалась также в [7].

                   УДК 004.032.26 (06) Нейронные сети                             73


ISBN 5–7262–0471–9               ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

    Близкая по духу циклическая модель нейронной сети рассматривалась
в [6]. Гамильтониан этой системы имеет вид
                      N
                                     2π        ё            ё
              H=−              cos      (ni − ξi ) − (nj − ξj ) ,
                           ё
                                      q
                     i=j

где N — число нейронов, ni = 0, 1, . . . , (q − 1) — состояние i-го нейрона,
   ё
а ξi — состояние i-го нейрона в ё-м паттерне, записанном в память сети
(ё = 1, . . . , p). При q = 2 эта схема сводится к модели Хопфилда.
    Очевидной особенностью гамильтониана этой модели является его ин-
вариантность относительно преобразования {ni } → {ni + k (mod q)}, где
k — целое число. Связи между фазорной сетью и циклической сетью ис-
следовались в [8], где установлено, что эти модели имеют много общего.
Емкость памяти всех описанных выше моделей достигает своего макси-
мума при q = 2, когда они превращаются в модель Хопфилда, а затем, с
ростом q, емкость памяти падает.
    Альтернативный подход к проблеме состоит в том, что q различных со-
стояний нейронов изображаются q-мерными векторами. Исторически пер-
вой работой такого рода была статья [9], где рассматривалась модель, по-
лучившая название Поттс-стекольной нейросети (термин заимствован из
физики). Здесь использовался так называемый анизотропный гамильтони-
ан (см. ниже; некоторые подробности см. также в [10]). Согласно оценкам
автора статьи [9], емкость памяти такой сети должна превосходить емкость
памяти модели Хопфилда приблизительно в q(q − 1)/2 раз. При больших
значениях q это является весомым фактором. Данная модель исследовалась
также в работах [11–13].
    Поттс-стекольная модель с изотропным гамильтонианом изучалась в
[10], а q-мерное обобщение непрерывной фазорной модели (когда состоя-
ния нейронов изображаются q-мерным векторами с вещественными коор-
динатами) — в работе [8]. Емкость памяти этих моделей оказалась меньше
емкости памяти модели Хопфилда.
    По-видимому, последней по времени создания моделью ассоциатив-
ной памяти на q-мерных нейронах является параметрическая нейронная
сеть (ПНС), предложенная в [14,15]. Сформулированная как вариант сети,
ориентированной на нелинейно-оптические принципы обработки инфор-
мации, эта модель была затем формализована в рамках векторного подхода
к описанию нейронов [16].


74                  УДК 004.032.26 (06) Нейронные сети


            Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙ

   Использование для оценки емкости памяти статистической техники
Чебышева–Чернова [17,18] позволило установить, что среди всех q-нарных
сетей именно ПНС обладает наилучшими показателями по объему памяти и
помехоустойчивости. К изложению этого круга вопросов мы и переходим.
Вначале будут описаны Поттс-стекольная и параметрическая нейросети,
а затем, на примере анализа последней, будет изложена статистическая
техника Чебышева–Чернова.

      Поттс-стекольная нейросеть и параметрическая
                     нейронная сеть
   1◦ . Все варианты Поттс-стекольной ассоциативной памяти являются
производными от известной модели магнетика, построенной Поттсом, ко-
торая обобщает модель Изинга на случай спиновой переменной, прини-
мающей не два значения {−1, +1}, а произвольное число q различных
значений [19–21]. Во всех случаях переход от модели магнетика к модели
нейронной сети происходил по одной и той же схеме, с помощью которой
модель Изинга была в свое время связана с моделью Хопфилда [22].
   А именно, характерное для физических рассмотрений короткодейству-
ющее взаимодействие между двумя соседними спинами заменялось меж-
связями хеббовского типа между векторами-нейронами. В результате воз-
никающего в системе дальнодействия оказывалось возможным применить
для вычислении статистической суммы приближение среднего поля и по-
строить фазовую диаграмму системы. Различные области фазовой диаграм-
мы интерпретировались затем в терминах способности или неспособности
сети к восстановлению зашумленных паттернов.
   Поттс-стекольную сеть с анизотропным гамильтонианом [9] можно опи-
сать следующим образом.
   Сеть составлена из N нейронов, каждый из которых может находить-
ся в одном из q различных состояний. При этом l-ое состояние нейрона
изображается q-мерным вектором-столбцом ξl , у которого l-я координата
пропорциональна (q − 1), а все остальные координаты пропорциональны
−1:                                  
                                 −1
                              . 
                              . . 
                           1
                l −→ ξl =  q − 1  , l = 1, . . . , q .
                           q . 
                              . 
                              . 
                                 −1
                 УДК 004.032.26 (06) Нейронные сети                75


ISBN 5–7262–0471–9                       ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

Состояние всей сети задается набором из N q-мерных векторов: X =
(x1 , . . . , xN ), где xi = ξli , 1 li q. Паттерны, информация о которых
хранится в межсвязях сети — это p наперед заданных наборов по N q-
мерных векторов каждый:

                       X ё = (xё , xё , . . . , xё ) ,
                               1    2            N               ё = 1, . . . , p ,

где
                                 x ё = ξli ,
                                   i
                                         ё        1          ё
                                                            li        q.
   Межсвязь между i-м и j-м нейронами задается (q Ч q)-матрицей Jij ,
которая в духе хеббовского правила аккумулирует состояния i-го и j-го
нейронов во всех p паттернах
                                                       p
                              Jij = (1 − δij )             (., xё ) xё .
                                                                j    i                         (4)
                                                   ё=1


    Здесь через (., x)y обозначена (q Ч q)-матрица 1 , которая произволь-
ный вектор z ∈ Rq переводит в вектор y, домножая его на величину
скалярного произведения (z, x): (., x)yz = (z, x)y. (Заметим, что физи-
ческая традиция использует другое обозначение для этой матрицы: yx T ,
где xT = (x1 , . . . , xq ) — q-мерная вектор-строка. Формальное матричное
умножение вектор-столбца y, расположенного слева, на вектор-строку x T ,
расположенную справа, дает (q Чq)-матрицу (yk xl )q   k,l=1 , которая у нас обо-
значена через (., x)y . В то же время, скалярное произведение векторов x
и y, в физических обозначениях, имеет вид: xT y = y T x.)
    Локальное поле hi , действующее на i-й нейрон, определяется аналогич-
но (3)
                                N                  p             N
                         hi =         Jij xj =             xё
                                                            i         (xj , xё ) ,
                                                                             j
                                j=1               ё=1           j=1
                                                                j=i

а динамика сети задается решающим правилом: в следующий момент вре-
мени i-й нейрон переходит в состояние, максимизирующее (ξl , hi ),

               xi (t + 1) = ξl , где (ξl , hi )        ( ξl , h i )      ∀ l = 1, . . . , q.
     1О   чем свидетельствует полужирный шрифт.



76                         УДК 004.032.26 (06) Нейронные сети


             Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙ

При q = 2 такая сеть эквивалентна стандартной модели Хопфилда [9].
Оценка емкости памяти этой сети при N      1 будет приведена в следующем
разделе.
    2◦ . Параметрическая нейронная сеть опирается на параметрический
нейрон — обладающий кубической нелинейностью элемент, способный к
преобразованию и генерации частот в процессах параметрического четы-
рехволнового смешения [23].
    Нейроны в ПНС обмениваются по межсвязям квазимонохроматически-
ми импульсами на q различных частотах {ωl }q . Кроме того, импульсы
                                               l=1
имеют амплитуды, равные ±1. Таким образом, нейроны в ПНС могут нахо-
диться в 2q различных состояниях. Будем описывать состояния нейронов с
помощью снабженных амплитудами ±1 единичных ортов el пространства
Rq :
                                      
                                       0
                                      .         
                                      . 
                                      .          i = 1, . . . , N ;
     xi = xi eli , где xi = ±1, el =  1  ∈ Rq ,
                                                   l = 1, . . . , q; (5)
                                      .         
                                       . 
                                      .             1 li q.
                                       0
   Состояние сети как целого задается набором N таких q-мерных векто-
ров X = (x1 , . . . , xN ), а паттерны, записанные в межсвязях сети — это p
наперед заданных наборов, состоящих из N q-мерных векторов каждый:
                 X ё = (xё , xё , . . . , xё ) ,
                         1    2            N               ё = 1, . . . , p ,
где
                    x ё = x ё e li ,
                      i     i
                                 ё      xё = ±1 ,
                                         i                   1     ё
                                                                  li        q.
   Межсвязь между i-м и j-м нейронами задается (q Ч q)-матрицей Jij
аналогично выражению (4):
                                                   p
                          Jij = (1 − δij )              (., xё )xё ,
                                                             j   i
                                                  ё=1

а локальное поле hi , действующее на i-й нейрон, имеет вид:
                     N                  p         N                     q
             hi =         Jij xj =           xё
                                              i         (xj , xё ) =
                                                               j             Ail el ,
                    j=1                ё=1        j=1                  l=1
                                                  j=i

                    УДК 004.032.26 (06) Нейронные сети                                  77


ISBN 5–7262–0471–9                     ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

где амплитуды Ail равны:
                                   N     p
                         Ail =               (xё , el )(xj , xё ) .
                                               i              j                    (6)
                                 j=1 ё=1
                                 j=i

   Динамика сети задается более сложным решающим правилом, чем в
случае Поттс-стекольной модели. Пусть Aik — амплитуда, в данный момент
времени наибольшая по модулю среди всех амплитуд (6):

                          | Aik |=           max        | Ail | .
                                                                                   (7)
                                       1      l q

Тогда i-й нейрон в следующий момент времени (t+1) принимает значение:

                             xi (t + 1) = sign(Aik )ek .                           (8)

Иначе говоря, i-й вектор-нейрон ориентируется в направлении, ближайшем
к направлению локального поля hi .
    Эволюция сети состоит в последовательной переориентации векторов
xi по правилам (7), (8). Условимся, что когда максимальное по модулю зна-
чение принимают несколько амплитуд и нейрон находится в одном из этих
неулучшаемых состояний, его состояние не меняется. Тогда нетрудно по-
казать, что каждый шаг эволюции сети будет сопровождаться понижением
энергии
                             N                    N
                          1
                 E=−            (hi , x i ) = −       (Jij xj , xi ) .
                          2 i=1                 i,j=1

Рано или поздно система «свалится» в локальный минимум по энергии.
Все нейроны xi будут при этом ориентированы неулучшаемым образом
и эволюция сети прекратится. Такие состояния суть неподвижные точки
системы. Необходимым и достаточным условием того, чтобы состояние X
было неподвижной точкой, является выполнение системы неравенств:

           (xi , hi )   | (el , hi ) |, ∀ l = 1, . . . , q; ∀ i = 1, . . . , N .   (9)

Заметим в заключение, что при q = 1 ПНС переходит в стандартную модель
Хопфилда: векторы xi (5) превращаются в обычные бинарные переменные
xi = ±1, а все остальное здесь просто копирует модель Хопфилда.

78                      УДК 004.032.26 (06) Нейронные сети


            Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙ

        Статистическая техника Чебышева–Чернова
Дадим асимптотическую оценку емкости памяти ПНС при N                     1. Пусть
начальным состоянием сети является искаженный m-й паттерн

                X m = (a1 b1 xm , a2 b2 xm , . . . , aN bN xm ) .
                              1          2                  N

Независимые случайные величины {ai }N и {bi }N задают мультипликатив-
                                        1      1
ный шум. Случайная величина ai с вероятностью a принимает значение
−1, а с вероятностью (1 − a) — значение 1 (в оптической терминологии —
амплитудный шум). Случайный оператор bi с вероятностью b изменяет со-
стояние i-го нейрона на другое, а с вероятностью (1 − b) оставляет вектор
xm неизменным (в оптической терминологии — частотный шум). Оценим,
 i
при каких условиях m-й паттерн будет распознаваться сетью правильно.
   Амплитуды Ail (6) имеют вид:
                            N −1                L                  (m)
                      xm
                       i    j=1 ξj   +          r=1   ηr , для l = li ;
           Ail =                                L                   (m)
                                                r=1   ηr , для l = li ,
где
                            ξj = aj (xm , bj xm ) ,
                                      j       j

                    ηr ≡ ηj (l) = aj (el , xё )(xё , bj xm ) ,
                          ё
                                            i    j       j

                           j = 1, . . . , N,     j = i,
                           ё = 1, . . . , p ,    ё=m
и, для простоты, величины η проиндексированы обобщенным индексом
r = (j, ё), который принимает L = (N − 1)(p − 1) различных значений;
зависимость величин η от l в дальнейшем никакой роли не играет, поэтому
l можно опустить.
    Для рандомизированного набора паттернов {X ё }p случайные вели-
                                                      ё=1
чины ξj и ηr независимы и имеют распределения
                   
                    +1 , с вероятностью (1 − b)(1 − a),
              ξj =     0 , с вероятностью b,
                   
                     −1 , с вероятностью (1 − b)a;
                                                                   (10)
                    +1 , с вероятностью 1/2q 2 ,
              ηr =     0 , с вероятностью 1 − 1/q 2 ,
                   
                     −1 , с вероятностью 1/2q 2 .
                   УДК 004.032.26 (06) Нейронные сети                          79


ISBN 5–7262–0471–9                          ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ

   Для того, чтобы i-й нейрон перешел в состояние xm , согласно (9) од-
                                                   i
новременно должно выполняться
                                            N −1                L                 L
             sign(Ail(m) ) = xm ,
                              i                    ξj + x m
                                                          i           ηr     |         ηr | .
                     i
                                            j=1                 r=1              r=1

В противном случае, произойдет ошибка распознавания вектор-координаты
xm . Поскольку случайная величина xm ηr имеет то же самое распределение,
 i                                  i
что и ηr , вероятность ошибки распознавания можно представить в виде:
                                            N −1          L
                          Pri = Pr                 ξj +         ηr < 0 .                              (11)
                                            j=1           r=1

   Для оценки вероятности (11) при N        1 воспользуемся известной
техникой Чебышева-Чернова [17, 18]. Для начала, запишем:
                   N −1           L                               N −1            L
       Pri    Pr          ξj +         ηr      0 = Pr −                    ξj −         ηr      0 .
                   j=1           r=1                                j=1           r=1

Далее, используя экспоненциальные оценки чебышевского типа [24], для
любого положительного z > 0, получаем:

                    N −1          L                                                          p−1 N −1
 Pri    exp z −            ξj −         ηr         = exp(−zξj ) exp(−zηr )                              .
                    j=1           r=1

Черта сверху означает усреднение по всем возможным реализациям, а по-
следнее равенство следует из независимости случайных величин ξ j и ηr .
   С учетом (10), легко получить выражения для средних

               exp(−zξj ) = (1 − a)(1 − b)e−z + b + a(1 − b)ez ,

               exp(−zηr ) = e−z /2q 2 + 1 − 1/q 2 + ez /2q 2 .

Делая здесь замену переменных ez = y и вводя функции f1 (y) и f2 (y),

                   f1 (y) = a(1 − b)y + b + (1 − a)(1 − b)/y,

                   f2 (y) = 1/2q 2 (y + 1/y) + 1 − 1/q 2 ,
80                        УДК 004.032.26 (06) Нейронные сети



    
Яндекс цитирования Яндекс.Метрика