СОДЕРЖАНИЕ

на правах рукописи




ЛУКЬЯНОВ АЛЕКСАНДР ВЛАДИМИРОВИЧ




Исследование нейроподобных сетей,
работающих со средним значением
стохастического потока



05.13.17. Теоретические основы информатики




Автореферат
диссертации на соискание ученой степени кандидата
физико-математических наук




Ярославль
2000
Работа выполнена на кафедре теоретической информатики факультета
информатики и вычислительной техники Ярославского государственного
университета им. П. Г. Демидова.



Научный руководитель: доктор физико-математических наук,
профессор Тимофеев Е. А.
Научный консультант: кандидат физико-математических наук,
профессор Соколов В. А.
Официальные оппоненты: доктор физико-математических наук,
профессор Майоров В. В.
доктор физико-математических наук,
профессор Бандман О. Л.

Ведущая организация: Институт радиотехники и электроники РАН.



Защита состоится 3 ноября 2000 года в на заседании диссертаци-
онного совета К064.12.04 при Ярославском государственном университете
им. П. Г. Демидова по адресу:
150000, г. Ярославль, ул. Советская, д. 14.


С диссертацией можно ознакомиться в библиотеке Ярославского государ-
ственного университета им. П. Г. Демидова по адресу:
150000, г. Ярославль, ул. Кирова, д. 8/10.




Автореферат разослан октября 2000 года.




Ученый секретарь
Пендюр А. Д.
диссертационного
совета, к. ф.-м. н.
Общая характеристика работы
Актуальность темы
В диссертации разработаны новые модели искусственных нейронов, ис-
пользующих кодирование информации в виде среднего значения стохасти-
ческого потока бинарных импульсов.
Задача создания и исследования искусственных нейронных сетей (ИНС)
в последнее время вызывает большой интерес. Одна из причин этого заклю-
чается в том, что ИНС применяются для решения большого класса задач. В
этот класс входят задачи обработки изображений [Горбань А. Н. 1994, Пре-
стон К. 1979], задачи распознавания оптических образов [Fukushima K.
1988, Wang S.S. 1996], звуковых сигналов [Pratt L.Y. 1991], организации ас-
социативной памяти [Кохонен Т. 1980, Кохонен Т. 1982, Hop?eld J.J. 1986],
предсказания показателей биржевых рынков [Горбань А. Н. 1996], синтеза
речи [Sejnowski T.J. 1987] и многие другие.
Успешное применение искусственных нейронных сетей основано на том,
что их принципы функционирования подражают принципам работы голов-
ного мозга [Amit D.J. 1989, Лебедев А. Н. 1990, Лебедев А. Н. 1992, Бехте-
рева Н.П. 1980]. Это подражание обусловлено тем, что элемент ИНС (ис-
кусственный нейрон) разрабатывался на основе предположений о функци-
онировании биологических нейронов [Rosenblatt F. 1958, McCulloch W.S.
1943].
При разработке искусственной нейронной сети всегда строится фор-
мальная модель нейрона, которая изучается математическими методами и
для которой разрабатывается алгоритм обучения. На основе формальной
модели может быть создана схемотехническая модель и аппаратная реали-
зация ИНС, которая обладает свойствами изученной формальной модели
и обучается теми же методами, что и формальная модель. Первая фор-
мальная модель нейрона была предложена У. Мак-Каллоком и В. Питт-
сом [McCulloch W.S. 1943]. Другие формальные модели нейронов и нейрон-
ных сетей предлагались Ф. Розенблаттом [Rosenblatt F. 1958] (перцептрон),
Дж. Хопфилдом [Hop?eld J.J. 1986] и другими.
В диссертации разработаны и изучены математическими методами
формальные модели нейронов, работающих со средними значениями сто-
хастических потоков, предложены методы их обучения, построены схемо-
технические модели. Предложенные модели нейронов превосходят другие
модели по простоте аппаратной реализации. В схемотехнической модели
предложенного нейрона количество логических элементов И зависит от
числа входов нейрона N и количества битов w в регистрах, содержащих ве-
совые коэффициенты, и составляет 3N w + 2N + 2. В состав нейрона также
входит две шины квазисуммирования разрядности w , четыре сумматора и
один генератор случайных битов с заданной вероятностью появления нуля.

1
Примененный способ кодирования информации в виде среднего значе-
ния стохастического потока присутствует в биологических нейронных се-
тях. В работах Е. Н. Соколова, Г. Г. Вайткявичуса, Б. Бернса и Дж. Экклса
было показано, что информация в биологических нейронных сетях может
передаваться в форме плотности приблизительно одинаковых нервных им-
пульсов [Соколов Е. Н. 1989, Бернс Б. 1969, Экклс Дж. 1966].
Данный способ кодирования был также применен в диссертации для
создания схемотехнической модели устройства, выполняющего дискретное
преобразование Фурье. Исследована математическая модель этого устрой-
ства и доказана его работоспособность.
Дискретное преобразование Фурье (ДПФ) широко применяется в циф-
ровой технике для спектрального представления информации. В класс за-
дач, где используется ДПФ, входят обработка цифровых сигналов и изоб-
ражений [Рабинер Л. Р. 1978], адаптивное предсказание речи [Рабинер Л. Р.
1981], техническое зрение [Кузьмин С. А. 1986], цифровая голография, сей-
сморазведка и многие другие.
В диссертации разработана также модель нейрона с альтернативными
синапсами, работающего со средними значениями стохастических потоков.
Нейрон с альтернативными синапсами имеет биологическую основу.
Формальная модель нейрона с альтернативными синапсами была разрабо-
тана на основе биологических данных о существовании пар согласованно
функционирующих нейронов [W?ssle H. 1981, Kidd M. 1962, Friesen W.O.
a
1975], важную роль этих нейронных структур отмечает Ю. Д. Кропотов
[Кропотов Ю. Д. и др. 1989, 1993, 1994]. А. А. Короткиным и В. А. Пан-
кратовым было показано, что нейроны с альтернативными синапсами в
среднем обладают лучшими классифицирующими способностями по срав-
нению с обычными нейронами.
Для всех разработанных устройств проводились исследования на ими-
тационных моделях, показавшие их работоспособность.
Сравним разработанную в диссертации модель нейрона с моделями по-
токовых нейронов других авторов.
Исследование искусственных нейронных сетей, основанных на коди-
ровании информации в виде потока импульсов, представлено работами
А. Ф. Мюррея, М. Томлинсона, Дж. Томберга, Ю. А. Маматова, Г. П. Штер-
на, А. К. Карлина, А. Н. Малкова и Е. А. Тимофеева.
А. Ф. Мюррей использует для построения нейронов цифро-аналоговый
подход, при этом импульсы не синхронизированы и могут перекрываться
не полностью [Murray A.F. 1987]. М. Томлинсон рассматривает полностью
цифровую схему нейрона, в которой сигнал дискретен и импульсы синхро-
низированы [Tomlinson M.S. 1990]. При цифровом подходе операция умно-
жения реализуется проще. В предложенной здесь модели также использу-
ется полностью цифровое представление потока импульсов. По сравнению
с работой Томлинсона в предложенной модели имеется регистр, позволяю-

2
щий в любой момент времени получить состояние нейрона.
Ю. А. Маматов, Г. П. Штерн, А. К. Карлин, и А. Н. Малков предложили
схемотехническую модель цифрового нейрона, работающего с плотностью
потока бинарных импульсов [Маматов Ю. А. и др. 1993, 1995, 1996]. Этот
нейрон использовал преобразование цифровых коэффициентов в поток би-
нарных импульсов и содержал генераторы случайных чисел, количество
которых было пропорционально количеству входов.
Этими же авторами была предложена модель потокового нейрона, чис-
ло генераторов случайных битов которого было пропорционально логариф-
му количества входов [Карлин А. К. и др. 1998].
В модели нейрона, предложенной в диссертации, была устранена необ-
ходимость преобразования весовых коэффициентов в поток импульсов, что
позволило сократить количество генераторов случайных чисел. В предло-
женной модели оно не зависит от количества входов нейрона.
Таким образом, в диссертации предложена модель усовершенствованно-
го и упрощенного нейрона, работающего с потоками импульсов, количество
генераторов случайных чисел в котором не зависит от количества синапсов.
Из вышесказанного видно, что данная работа является актуальной.


Цель работы
Целью данной работы является разработка новых моделей вычислитель-
ных устройств, использующих кодирование информации в виде среднего
значения цифрового стохастического потока и имеющих небольшие аппа-
ратные затраты. Разработаны модели двух различных нейронов, исполь-
зующих данное кодирование информации и модель устройства, выполня-
ющего дискретное преобразование Фурье с использованием такого кодиро-
вания.


Научная новизна
Основные научные результаты диссертации состоят в следующем.
Разработана модель нейрона, использующего кодирование информации
в виде среднего значения стохастического потока, количество генераторов
случайных чисел которого не зависит от количества синапсов.
Разработана модель нейрона с альтернативными синапсами, также ис-
пользующая потоковое кодирование и имеющая малое количество генера-
торов случайных чисел.
Предложен метод представления комплексных чисел в виде среднего
значения стохастического потока и модель устройства, выполняющего дис-
кретное преобразование Фурье и содержащего только сумматоры и простые
логические элементы.

3
Методы исследования
В данной работе построены математические модели потоковых устройств.
Для их исследования применяются как математические методы (теория
вероятностей, исследование операций), так и имитационное моделирование
в сочетании со статистическими методами.

Положения, выносимые на защиту
1. Модели потоковых устройств: нейрона; нейрона с альтернативными си-
напсами; устройства, выполняющего дискретное преобразование Фурье.
Схемотехнические модели этих устройств, математические модели, анализ
математических моделей. 2. Методы обучения потоковых нейронов: моди-
фицированный метод Хебба; метод оптимизации приближенной функции
ошибки. 3. Результаты экспериментов на имитационных моделях разрабо-
танных устройств, показывающие их работоспособность.

Практическая ценность
Данная работа имеет теоретический характер. Исследованы формальные
модели разработанных потоковых устройств. Предложены методы обуче-
ния потоковых нейронов и потоковых нейронов с альтернативными синап-
сами. Эксперименты на имитационной модели показали работоспособность
всех устройств. Это делает возможным создание аппаратной реализации
нейронных сетей и устройства ДПФ на основе предложенных моделей.
Нейросети из предложенных нейронов могут применяться для распо-
знавания образов, организации ассоциативной памяти и для решения дру-
гих задач. Устройство ДПФ может применяться для любых задач, где тре-
буется спектральное представление данных с небольшой точностью. На-
пример, это устройство может применяться как входной фильтр для пото-
ковой нейронной сети.

Апробация работы
По результатам, полученным в ходе работы, были сделаны доклады на се-
минаре лаборатории информационных и коммуникационных технологий на
основе динамического хаоса Института радиотехники и электроники РАН,
на VIII всероссийском семинаре Нейроинформатика и ее приложения ,
а также на семинарах ЯрГУ Моделирование и анализ информационных
систем и Нейронные сети .

Структура и объем работы
Диссертация состоит из введения, 4 глав и выводов, изложенных на 74 стра-
ницах. В работу входит 10 иллюстраций и 12 таблиц. Список литературы
содержит 64 наименования.

4
Основное содержание работы
Во введении (глава 1) приводятся основные понятия, относящиеся к ис-
кусственным нейронным сетям, дискретному преобразованию Фурье и по-
токовому кодированию информации. Рассматривается формальная модель
нейрона Мак-Каллока–Питтса и нейрона с альтернативными синапсами.
Приводится краткий обзор аналоговой и обычной цифровой реализаций
нейрона с перечислением работ, в которых рассматривалось представление
информации в виде потока импульсов, аналоговых и цифровых, а также
различные реализации нейронов на основе такого представления инфор-
мации. Обсуждается связь с биологическими нейронами. Рассматривается
Дискретное преобразование Фурье, его применения и подходы к реализа-
ции. Приводится обзор диссертации.
В главе 2 приводится обзор способов представления информации в виде
среднего значения цифровых стохастических последовательностей (пото-
ков). Рассматриваются некоторые операции с потоками и два метода оцен-
ки среднего значения потока.
В разделе 2.1 приводятся основные определения стохастических пото-
ков и их свойств.
Определение. Стохастическим потоком называется случайный процесс
с дискретным временем и конечным множеством возможных значений.
Определение. Будем говорить, что поток (x1 , . . . , xt , . . .) имеет среднее
значение x, или число x представлено в виде потока (x1 , . . . , xt , . . .), если
следующий предел сходится по вероятности и равен x:
n
1
lim xt = x.
n>? n
t=1

Определение. Два потока (x1 , . . . , xt , . . .) и (y1 , . . . , yt , . . .) со средними
значениями x и y будем называть независимыми, если следующий предел
сходится по вероятности к xy:
n
1
lim xt yt = xy.
n>? n
t=1

Данное определение отличается от стандартного определения незави-
симых случайных процессов, но в данной работе рассматривается только
независимость в смысле умножения соответствующих элементов потоков.
В разделе 2.2 рассматривается представление в виде потока действи-
тельных значений из отрезка [0; 1], методы оценки среднего значения по-
тока, основные операции с потоками.
В разделе 2.3 рассматриваются два способа представления в виде по-
тока действительных значений из отрезка [?1; 1] и операции с такими по-
токами.

5
В разделе 2.4 предлагается представление комплексных значений в ви-
де потока и операции с комплексными потоками.

В главе 3 предлагается модель цифрового нейрона, работающего со
средними значениями потоков. Схема этого цифрового нейрона состоит из
небольшого количества простых логических элементов, нескольких сумма-
торов и нескольких генераторов случайных чисел. Это обеспечивает низ-
кую стоимость аппаратной реализации и возможность наращивания коли-
чества синапсов.
В разработанной модели нейрона информация представляется в виде
среднего значения стохастических последовательностей (потоков). Следуя
[Tomlinson M.S. 1990, Маматов Ю. А. и др. 1995], такие нейроны будем
называть потоковыми.
Потоковые нейроны разрабатываются с целью уменьшения аппаратных
затрат и стоимости аппаратной реализации нейронных сетей. Их приме-
нение позволяет создавать сети больших размеров и увеличивать число
синапсов отдельных нейронов. Положительным свойством потоковых ней-
ронов также является относительная устойчивость к ошибкам передачи
данных.
В статье [Маматов Ю. А. и др. 1995] рассматривается схемотехническая
модель потокового нейрона, в котором число генераторов случайных битов
пропорционально числу синапсов нейрона. В работе [Карлин А. К. и др.
1998] число генераторов случайных битов было сокращено до log2 N , где
N количество синапсов.
Изложенная в настоящей работе модель потокового нейрона имеет чис-
ло генераторов случайных битов, не зависящее от количества синапсов.
В разделе 3.1 перечисляются основные элементы потокового нейрона.
Рассматриваемый нейрон имеет N входов, на которые поступают после-
довательности (xi1 , . . . , xit , . . .), где xit ? {?1, 0, 1}, (N + 1) синаптических
коэффициентов w0 , . . . , wN и регистр z, в котором накапливается некото-
рое суммарное значение. На выход нейрона подается последовательность
yt , формируемая в соответствии со знаком значения регистра z и коэффи-
циентом разреженности b.
Синаптические коэффициенты wi кодируются w битами и битом зна-
ка, регистр z кодируется (z + w + 2) битами и представляется в форме
дополнения до 1. Коэффициент b кодируется b битами.
В состав нейрона всего входит:

1) 3N w + 2N + 2 + b битовых логических элементов И ;
2) две шины квазисуммирования разрядности w ;
3) четыре сумматора разрядностей w + 1, w + 2, w + 3 и z + w + 2;
4) b генераторов случайных битов.

6
x1t x2t xNt



W1 W2 WN
...




w+
yt
Z B
w-

Рис. 1. Схема потокового нейрона

На рис. 1 изображена схема описываемого нейрона. Блоки W1 ? W4
содержат регистры с соответствующими синаптическими коэффициента-
ми и устройства выбора. Блок Z содержит регистры z и w0 , а также ряд
сумматоров. Блок B содержит регистр b и осуществляет вероятностную
фильтрацию.
В разделе 3.2 описывается работа нейрона на одном шаге.
На шаге t очередные значения xit из входных последовательностей
умножаются на соответствующие весовые коэффициенты wi , и модули ре-
зультатов поступают на одну из двух шин в зависимости от знака. На ши-
нах происходит побитовое логическое ИЛИ , и результаты накапливаются
в суммирующем регистре z.
+
Обозначим поступающие на положительную шину значения wi (t), а
?
поступающие на отрицательную шину wi (t):

|wi |, если wi xit > 0;
+
wi (t) =
0, если wi xit 0,
|wi |, если wi xit < 0;
?
wi (t) =
0, если wi xit 0.

На шаге t значение регистра z изменяется следующим образом:

zt+1 = zt ? zt 2?z + ?zt ,
N N
?
+
wi (t) ?
?zt = wi (t) + w0 .
i=1 i=1

Символом обозначена операция побитового логического ИЛИ .

7
На каждом шаге на выход нейрона подается с вероятностью b значение
0 и с вероятностью 1 ? b знак регистра z.
В разделе 3.3 вычисляется математическое ожидание и дисперсия вели-
чины zt при t > ?, при условии независимости величин xit в совокупности
для всех i, t. Вычисляется также математическое ожидание zt для одного
частного случая, необходимого для обучения.
В разделе 3.4 получены неравенства для математического ожидания
величины N wi (t) при условии независимости величин xit . Показано,
+
i=1
что функция состояния нейрона приближается к линейной от значений
весов и средних значений входных последовательностей при b > 1.
В разделе 3.5 формулируется задача обучения полносвязной нейронной
сети, и предлагаются методы обучения: метод Хебба, модифицированный
метод Хебба и метод оптимизации приближенной функции ошибки. Каж-
дый нейрон обучается независимо, номер обучаемого нейрона обозначен
j.
Приведем здесь модифицированный метод Хебба и метод оптимиза-
ции. Обучение производится на множество изображений {X 1 , . . . , X P },
X m = (X1 , . . . , XN ), где Xim ? {?1, 1}.
m m

Модифицированный метод Хебба. Предлагается следующий вари-
ант правила Хебба. Для нейрона j (предполагая 0/0 = 1/2):

P
1
A+ (1 + Xim )(1 + Xj ),
m
=
ij
4 m=1
P
1
A? (1 ? Xim )(1 + Xj ),
m
=
ij
4 m=1
P
1
+
(1 + Xim )(1 ? Xj ),
m
Bij =
4 m=1
P
1
?
(1 ? Xim )(1 ? Xj ),
m
Bij =
4 m=1
A?
A+
ij ij
2w ? 1 ??
wij = ,
?
A+ + Bij Aij + Bij
+
ij
i ? {1, . . . , N },

где A+ , A? , Bij , Bij количество элементов в подмножествах множества
?
+
ij ij
образов.
Оптимизационное обучение. Оптимизационная задача заключает-
ся в нахождении коэффициентов w1j , . . . , wN j , при которых функция E

8
принимает наименьшее значение:
P
(S(Z(X m , w))) ? Xj )2 ,
m
E(w1j , . . . , wN j ) =
m=1
N
1 ? bN
Z(x, w) = wi xi .
N i=1
2
? 1.
S(z) = ?z
1+e
где j номер обучаемого нейрона. Параметры w0j и wjj принимаются
равными нулю. Здесь величины wij являются вещественными. После опти-
мизации они нормируются и округляются до ближайшего целого.
В разделе 3.6 описывается эксперимент на имитационной модели пол-
носвязной сети размера 8?8 из потоковых нейронов, метод статистической
обработки результатов, и приводятся средние статистические значения для
всех образов и всех уровней помех от 1 до 10 при разных способах обуче-
ния. Произведено сравнение методов обучения между собой и с традици-
онным методом Хебба, показавшее преимущество метода оптимизации над
модифицированным методом Хебба и преимущество модифицированного
метода Хебба над традиционным методом Хебба.
В главе 4 рассматривается модель цифрового нейрона с альтернатив-
ными синапсами, работающего со средними значениями потоков.
Потоковый нейрон с альтернативными синапсами обрабатывает поло-
жительные и отрицательные значения, поступающие на его синапсы, неза-
висимо, с различными в общем случае весовыми коэффициентами. На вы-
?
+
ход данного нейрона поступает две последовательности yt и yt , для по-
ложительных и отрицательных значений. Формальная модель нейрона с
альтернативными синапсами (или А-нейрона) была впервые предложена
в статье [Короткин А. А., Панкратов В. А. 1997]. В той же статье пока-
зано, что А-нейроны в среднем обладают лучшими классифицирующими
способностями по сравнению с обычными нейронами. Формальная модель
А-нейрона была разработана на основе биологических данных о существо-
вании пар согласованно функционирующих нейронов [W?ssle H. 1981, Kidd
a
M. 1962, Friesen W.O. 1975], важную роль этих нейронных структур отме-
чает Ю. Д. Кропотов [1989, 1993, 1994].
Схема потокового А-нейрона, как и схема потокового нейрона, описан-
ного в третьей главе, имеет количество генераторов случайных битов, не
зависящее от количества синапсов. Количество связей между нейронами
не возрастает, так как в схеме потокового нейрона для кодирования зна-
чений ?1, 0, 1 требуется два бита, столько же, сколько передается между
потоковыми А-нейронами.
В разделе 4.1 перечисляются основные элементы потокового нейрона с
альтернативными синапсами.

9
+ - + - + -
x1t x1t x2t x2t xNt xNt



W1 W2 WN
...




w+ yt+
Z B yt-
w-

Рис. 2. Схема потокового А-нейрона

На вход рассматриваемого нейрона поступают 2N последовательностей
(x+ , . . . , x+ , . . .) и (x? , . . . , x? , . . .), где x+ , x? ? {0, 1}, i ? {1 . . . N }, t
i1 it i1 it it it
+?
дискретное время. Выполняется условие xit xit = 0. Имеется 2N синапти-
? ?
+ +
ческих коэффициентов w1 , w1 , . . . , wN , wN , два пороговых коэффициента
?
+
w0 , w0 и регистр z, в котором накапливается некоторое суммарное значе-
+ +
ние. На выход нейрона подаются две последовательности (y1 , . . . , yt , . . .) и
? ? +?
(y1 , . . . , yt , . . .), где yt , yt ? {0, 1}, формируемые в соответствии со знаком
значения регистра z и коэффициентом разреженности b.
?
+
Синаптические и пороговые коэффициенты wi и wi кодируются w
битами и битом знака, регистр z кодируется (z + w + 2) битами и пред-
ставляется в форме дополнения до 1. Коэффициент b кодируется b битами.
В состав нейрона всего входит:
1) (2N + 2) регистров разрядности w + 1, один регистр разрядности
z + w + 2, один регистр разрядности b ;
2) 4N w + 2N + 2 + b битовых логических элементов И ;
3) две шины квазисуммирования разрядности w ;
4) четыре сумматора разрядностей w + 1, w + 2, w + 3 и z + w + 2;
5) b генераторов случайных битов.
На рис. 2 изображена схема описываемого нейрона. Блоки W1 ?WN со-
? ?
+ +
держат регистры с синаптическими коэффициентами (w1 , w1 , . . . , wN , wN )
?
+
и устройства выбора. Блок Z содержит регистры z, w0 и w0 , а также ряд
сумматоров. Блок B содержит регистр b и осуществляет вероятностную
фильтрацию.
В разделе 4.2 описывается работа нейрона с альтернативными синап-
сами на одном шаге.

10
Введем необходимые обозначения. Определим следующие функции зна-
ка:
0, если z < 0;
sgn+ (z) =
1, если z 0,
1, если z < 0;
sgn? (z) = (1)
0, если z 0,
sgn(z) = sgn+ (z) ? sgn? (z).

Будем использовать операцию [x] как округление к ближайшему целому.
Опишем работу нейрона в момент времени t.
На входы нейрона поступают значения x+ и x? , i ? {1, . . . , N }.
it it
?
+
В зависимости от входных значений xit , xit и знаков синаптических
?
+
коэффициентов wi и wi , на одну из шин квазисуммирования подается
?
+
значение |wi | или |wi |. Обозначим поступающие из блока Wi в момент
+
времени t на положительную шину значения wi (t), а на отрицательную
?
шину wi (t):

wi (t) = x+ |wi | sgn+ (wi ) + x? |wi | sgn+ (wi ),
? ?
+ + +
it it
wi (t) = x+ |wi | sgn? (wi ) + x? |wi | sgn? (wi ),
? ? ?
+ +
it it
k ? {1, . . . , w }.

Следует заметить, что в вышеприведенных выражениях сумма может быть
заменена на побитовое ИЛИ , так как хотя бы одно из двух слагае-
на операцию И , так как x± ? {0, 1},
мых равно нулю, а умножение it
±
±
sgn (wi ) ? {0, 1}
На шинах квазисуммирования происходит побитовое логическое ИЛИ ,
и на них образуются значения w+ (t) и w? (t):
N
w+ (t) = +
wi (t),
i=1
N
w? (t) = ?
wi (t).
i=1

Значения w+ (t) и w? (t) поступают на вход блока Z. На шаге t значение
регистра z изменяется следующим образом:

zt+1 = zt ? zt 2?z + ?zt , (2)
?zt = w+ (t) ? w? (t) + w0 sgn+ (zt ) ? w0 sgn? (zt ).
?
+


На выход блока Z подаются значения sgn+ (zt ) и sgn? (zt ), определяемые
в соответствии с (1). Эти значения поступают в блок B.
Будем называть St = sgn(zt ) состоянием нейрона в момент времени t.

11
На выход блока B с вероятностью b подаются значения 0, 0, и с вероят-
ностью (1 ? b) значения sgn+ (zt ) и sgn? (zt ):
?
+
P yt = 0 ? yt = 0 = b,
? ?
+ +
P yt = sgn (zt ) ? yt = sgn (zt ) = 1 ? b,
? +
При выполнении условия wi = ?wi данный нейрон эквивалентен ней-
рону, описанному во второй главе.
В разделе 4.3 вычисляется математическое ожидание величины w(t)
(w(t) = w+ (t) ? w? (t)), при условии независимости величин x± в сово-
it
купности для всех i. Вычисляется также математическое ожидание этой
величины для одного частного случая, необходимого для обучения.
В разделе 4.4 формулируется задача обучения полносвязной нейронной
сети, построенной на нейронах с альтернативными синапсами. Описывает-
ся двушаговый метод обучения, на первом шаге вычисляются коэффици-
± ± ?
+
енты w1 , . . . , wN , на втором шаге вычисляются w0 и w0 . Предлагается
±
правило вычисления коэффициентов w0 для полносвязной сети, при кото-
ром все эталонные изображения гарантированно являются устойчивыми.
Каждый нейрон обучается независимо, номер обучаемого нейрона обозна-
чен j. Обучение производится на множество изображений {X 1 , . . . , X P },
X m = (X1 , . . . , XN ), где Xim ? {?1, 1}.
m m

В разделе 4.5 формулируются правила обучения нейрона с альтерна-
тивными синапсами по методу Хебба и по модифицированному методу Хеб-
ба, а также аналогичные методы для обычных нейронов.
Приведем здесь методы обучения для А-нейронов.
Обучение с помощью стандартного метода Хебба, с использованием аль-
тернативных синапсов (описано в статье [Короткин А. А., Панкратов В. А.
1997]):
P
2w ? 1
+
Xj |Xim | sgn+ (Xim ) ,
m
wij =
P m=1
P
2w ? 1
?
Xj |Xim | sgn? (Xim ) .
m
wij =
P m=1

Обучение с помощью модифицированного метода Хебба, с использова-
нием альтернативных синапсов (здесь 0/0=0):
? ?
P
Xj |Xim | sgn+ (Xim ) ?
m
?
? ?
m=1
= ? 2w ?1
+
wij ?,
? ?
P
? ?
sgn+ (Xim )
? ?
m=1

12
? ?
P
Xj |Xim | sgn? (Xim ) ?
m
?
? ?
m=1
?
= ? 2w ?1
wij ?.
? ?
P
? ?
? m
sgn (Xi )
? ?
m=1


В разделе 4.6 формулируются правило обучения А-нейрона методом
оптимизации приближенной функции ошибки, и аналогичное правило для
обычных нейронов.
Приведем здесь метод обучения для А-нейронов.
Для обучения А-нейрона будем оптимизировать функцию Ea :
P
2
? ?
m(+) m(?)
+ + m
, ? , ? )) ?
Ea (? , ? ) = s(fa (X ,X Xj ,
m=1
N N
fa (?+ , ?? , ? + , ? ? ) = ?? ?i ,
?
?+ ?i +
+
i i
i=1 i=0
X m(+) = X1 sgn+ (X1 ), . . . , XN sgn+ (XN )
m m m m
,
X1 sgn? (X1 ), . . . , XN sgn? (XN )
X m(?) = m m m m
,
?x
1?e
s(x) = .
1 + e?x
После нахождения локального минимума ? +? , ? ?? весовые коэффициенты
вычисляются следующим образом:
+?
(2w ? 1) ?i
+
wi = ,
+?
maxk |?k |
??
(2w ? 1) ?i
?
wi = .
??
maxk |?k |

В разделе 4.7 описывается эксперимент на имитационной модели пол-
носвязной сети размера 8 ? 8 из потоковых нейронов с альтернативными
синапсами, метод статистической обработки результатов, приводятся сред-
ние статистические значения для всех образов и всех уровней помех от 1
до 10 при разных способах обучения. Произведено сравнение методов обу-
чения между собой, показавшее преимущество метода оптимизации над
модифицированным методом Хебба и преимущество модифицированного
метода Хебба над традиционным методом Хебба. Сравнение результатов
моделирования сети из потоковых А-нейронов и из обычных потоковых
нейронов показало, что эффективность потоковых А-нейронов зависит от
способа обучения, в случае стандартного метода Хебба эффективность да-
же ухудшается. В случае модифицированного метода Хебба и при оптими-

13
G

gt
x0,t y0,t

xgt ,t
C M


xN-1,t yN-1,t

Рис. 3. Структура схемы ДПФ

зационном обучении потоковые А-нейроны показывают лучшие результаты
по сравнению с обычными потоковыми нейронами.

В главе 5 рассматривается модель устройства, выполняющего дискрет-
ное преобразование Фурье и использующего потоковое представление ин-
формации.
Схема этого цифрового устройства состоит из небольшого количества
простых логических элементов, сумматоров и нескольких генераторов слу-
чайных чисел. Это обеспечивает низкую стоимость аппаратной реализации.
Предлагается представление комплексных чисел в виде стохастических
потоков, дается описание схемотехнической модели устройства ДПФ, при-
водится обоснование, результаты моделирования и сравнение с традицион-
ной цифровой схемой.
В разделе 5.1 рассматривается представление комплексных чисел в ви-
де стохастических потоков и кодирование таких потоков.
В разделе 5.2 описывается потоковое устройство дискретного преобра-
зования Фурье и оценивается количество элементов аппаратной реализа-
ции.
Данное устройство, имеет N = 2n входов, на которые поступают по-
следовательности, состоящие из значений exp i 2?k , закодированных значе-
N
ниями k ? {0, . . . , N ? 1}. Последовательности генерируются случайным
образом так, чтобы среднее значение было равно значению функции в соот-
ветствующей точке. Имеется также N выходов, на которые подаются анало-
гичные последовательности, среднее значение которых равно дискретному
спектру Фурье в соответствующей точке. Входные значения обозначены
Xi,t , выходные значения Yk,t . Их соответствующие коды обозначены xi,t
и yk,t .
На рис. 3 буквой G обозначен равномерный генератор последователь-
ности случайных чисел gt из множества H = {0, . . . , N ? 1}.

14
Устройство выбора C принимает на входе N кодов xi,t , номер gt ? H и
выдает xgt ,t .
Устройство умножения M принимает на входе код xgt ,t и номер gt ? H
и выдает N кодов yk,t :
yk,t = (xgt ,t + gt k) mod N (3)
k ? H.
Устройство умножения содержит N сложений и умножения на константы
k ? H. Умножения на константы можно заменить сложениями, причем
количество сложений равно N ? 1.
Один такт работы схемы, обозначенный t, можно описать следующим
образом:
1) получается число gt от генератора G, которое подается на устройства
C и M;
2) производится выбор кода xgt ,t из входных последовательностей;
3) код xgt ,t передается на умножитель M, где параллельно получаются
коды yk,t в соответствии с (3);
4) на входы подаются следующие коды значений входных последова-
тельностей, и процесс повторяется.
В разделе 5.3 приводится доказательство следующей теоремы.
Теорема. Пусть последовательность gt и последовательности Xn,t неза-
висимы для всех n ? H. Тогда последовательности Yk,t , полученные в дан-
ной схеме, будут иметь средние значения, равные 1/N спектра Фурье.
В разделе 5.4 рассматривается скорость сходимости среднего значения
выходных последовательностей.
В разделе 5.5 приводится описание эксперимента на имитационной
модели устройства ДПФ. Моделирование подтвердило работоспособность
данного устройства.
В разделе 5.6 производится сравнение потокового устройства ДПФ с
цифровым полностью параллельным устройством, использующим граф со-
единений быстрого ДПФ.


Основные результаты и выводы
В настоящей работе предложены новые модели устройств, работающих со
средним значением стохастического потока: нейрона; нейрона с альтерна-
тивными синапсами; устройства, выполняющего дискретное преобразова-
ние Фурье. Данные устройства состоят из небольшого количества простых
логических элементов, ячеек памяти и содержат небольшое количество ге-
нераторов случайных чисел. Это делает их привлекательными для аппа-
ратной реализации.

15
Построены математические модели данных устройств и получены основ-
ные характеристики распределения состояния нейрона и выходов устрой-
ства, выполняющего ДПФ. Доказана работоспособность разработанных
устройств.
Для потоковых нейронов предложены два метода обучения: модифи-
цированный метод Хебба и метод оптимизации приближенной функции
ошибки.
Для исследования данных устройств и методов обучения была создана
программная имитационная модель, позволяющая проводить эксперимен-
ты с потоковыми схемами. На основе этой имитационной модели было про-
ведено сравнение методов обучения нейронов, результаты экспериментов
подтвердили работоспособность всех трех устройств.


Публикации автора по теме диссертации
[1] Лукьянов А. В. Представление комплексных чисел в потоковой фор-
ме // Сборник Моделирование и анализ информационных систем .
Ярославль, 1996. № 3. С. 57-61.

[2] Лукьянов А. В. Схемотехническая модель преобразования Фурье, рабо-
тающая со средним значением стохастического потока // Сборник
Моделирование и анализ информационных систем . Ярославль, 1998.
№ 4. С. 123-133.

[3] Лукьянов А. В. Схемотехническая модель цифрового нейрона, работа-
ющая со средним значением стохастического потока // Моделирова-
ние и анализ информационных систем. 1999. Т. 6, № 1. С. 29-35.

[4] Лукьянов А. В. Оптимизационное обучение цифрового нейрона, рабо-
тающего со средним значением стохастического потока // Модели-
рование и анализ информационных систем. 1999. Т. 6, № 2. С. 39-42.

[5] Лукьянов А. В. Потоковый нейрон с альтернативными синапсами
// Моделирование и анализ информационных систем. 2000. Т. 7, № 1.
С. 6-15.

[6] Лукьянов А. В. Потоковый нейрон с альтернативными синапсами.
// VIII Всероссийский семинар Нейроинформатика и ее приложения ,
материалы семинара. Красноярск. 2000.

[7] Лукьянов А. В. Схемотехническая модель цифрового нейрона, работа-
ющая со средним значением стохастического потока // Микроэлек-
троника. 2001. № 1. (в печати)



16
Заказ . Тираж 100.
Отпечатано на ризографе в Ярославском государственном
университете им. П. Г. Демидова
150000, г. Ярославль, ул. Советская, 14.



СОДЕРЖАНИЕ