Методы исследования рынка кредитования

дипломная работа

2.2 Нейронной сети. Сеть Кохонена

Однослойные искусственные нейронные сети

Рис.4. Однослойная нейронная сеть Y=XW.

Нейронная сеть состоит из множества одинаковых элементов - нейронов. Нейрон моделируется как устройство, имеющее несколько входов (дендриты) и 1 выход (аксион). Каждому выходу ставится в соответствие некоторый весовой коэффициент .

Внутри самого нейрона происходит взвешенное суммирование входных сигналов. Получаемые значение являются аргументом оптимизационной функции нейрона.

Простейшая нейронная сеть состоит из групп нейронов, которые образуют некоторый слой. Удобно считать веса w элементами некоторой матрицы w, которая имеет m строк и n столбцов. Т.о. выходом нейронной сети будет вектор y=w*x, где х - вектор входов, w - матрица, указывающая на возможные соединения.

Многослойные искусственные нейронные сети

Рис. 5. Многослойная нейронная сеть

Многослойная нейронная сеть: более крупные и сложные нейронные сети обладают и более мощными вычислительными возможностями. Нейрон передает свой выходной сигнал всем остальным, включая себя, копирует слоистые структуры мозга человека.

Многослойные сети могут привести к увеличению вычислительной мощности по отношению к однослойным сетям.

Вычисления выходного слоя заключаются в умножении входного вектора на первую весовую матрицу. Т.к. умножение матриц ассоциативно, то (в частности) двуслойная нейросеть будет эквивалентна однослойной. Любую многослойную сеть можно заменить эквивалентной однослойной, если функции линейны.

Будучи соединенными определенные обработанные нейроны обрабатывают нейронную сеть. Работа сети разделяется на обучение и адаптацию.

Обучение - процесс адаптации сети, предъявляемый эталонным образом путем модификации весовых коэффициентов между нейронами.

Основным преимуществом нейронных сетей является возможность выразить зависимость входа/выхода на этапе обучения без предварительной аналитической работы.

Недостатком нейронных сетей является то, что невозможно объяснить выходной результат.

Обучение искусственных нейронных сетей

Обучение. Чтобы для некоторого множества входов получить некоторые выходы, в процессе обучения веса становятся такими, чтобы каждый входной вектор вырабатывал нужный выходной вектор.

Обучение с учителем - аналог обучения нейронных сетей.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Эти 2 вектора - обучающая пара. Векторы предъявляются последовательно, пока ошибка не будет на допустимо низком уровне.

Обучение без учителя. Не нуждается в целевом векторе и, следовательно, не требует сравнения с предопределяемыми идеальными ответами. Подстраивает веса в сети так, чтобы получились согласованные выходные векторы, т.е., чтобы при предъявлении достаточно близких входных векторов, система давала правильные ответы. Процесс обучения выделяет некоторые свойства обучающего множества и загружает векторы в классы. Если на вход предъявили вектор из данного класса, это даст определенный выходной вектор. Но до обучения невозможно предсказать, какой вектор будет производиться данным классом входных векторов.

Алгоритм обучения - такой набор формул, позволяющий по вектору ошибки вычислять требуемые поправки для весов сети.

Если выбрано множество примеров и способов вычисления ошибки, то обучение нейронной сети превращается в задачу многомерной оптимизации (имеющую большую размерность). Для решения этой задачи используются следующие алгоритмы:

1) Алгоритм локальной оптимизации с вычислением частных производных 1-го порядка

2) Алгоритмы локальной оптимизации с вычислением частичных производных 1-го и 2-го порядка (м-д Ньютона, м-д Гаусса и др.)

3) Стохастические методы оптимизации (м-д Монте Карло, поезд в случае направлении и т.д.)

4) Алгоритмы глобальной оптимизации (решается с помощью перебора значений переменных)

Классификация нейронных сетей и их свойства.

Как правило передаточные функции всех нейронов фиксированы, а веса являются параметрами сети и могут изменяться.

Подавая числа на входы сети, получаем некоторый набор чисел на выходах сети. В общем следующая работа сети состоит в преображении входящего потока х в выходящий вектор у; это преображение задается весами сети.

Считается, что практически любую задачу распознания можно свести к задаче, решаемой нейронной сетью.

В зависимости от функций, выполненных нейронами сети, можно выделить 3 их этапа:

1. Входные нейроны (те, на которые подается входящий вектор или входящий сигнал, кодирующий образ внешней среды). Во входящем нейроне обычно никаких вычислений не происходит, просто информация передается со входа на выход, путем изменения его активации.

2. Выходные нейроны (те, значения которых представляют выход сети).

3. Промежуточные нейроны (составляют основу искусственных нейронных сетей).

Топология нейронных сетей

Классификация по топологии:

- полносвязные сети;

- многослойные, или слоистые сети;

- слабосвязные сети (нейронные сети с локальными связями).

Полносвязные представляют собой искусственную нейронную сеть, каждый нейрон которой передает свой выходной сигнал остальным нейронам в т.ч. и сам себе, т.е. все выходные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторый выходные сигналы нейронов после нескольких тактов работы сети.

Многослойные нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входящими сигналами. Число нейронов в каждом слое может быть любым и это никак не связано с количеством нейронов в других слоях. В общих слоях такая сеть состоит из Q-слоев. Слои нумеруются слева направо. 1-й слой нумеруется нулевым. Кроме входящих и выходящих слоев в многослойной нейронной сети есть 1 или несколько промежуточных (скрытых) слоев. Связи от выходов некоторого слоя q поступают на вход слоя (q+1) - эти связи называются последовательными.

В свою очередь среди слоистых сетей выделяют следующие типы:

1. Монотонные.

2. Сети без обратных связей.

3. Сети с обратными связями.

1) Монотонные сети.

Каждый слой, кроме последовательного выходного, разбит на 2 блока: возбуждающий (В) и тормозящий (Т). Связи между блоками тоже разделены на возбуждающие и тормозящие.

Если от блока А к блоку С идут только лишь возбуждающие связи, это означает, что любой выходящий сигнал блока С является монотонной неубывающей функцией блока А. Если, наоборот, эти связи только тормозящие, то любой сигнал блока С является невозрастающей функцией выходящего сигнала блока А.

Для элементов монотонных сетей необходимо монотонная зависимость выходящего сигнала от входящего сигнала.

2) Сети без обратных связей.

Нейроны, входящие в слои получают входящие сигналы, преобразовывают их и передают сигналы нейронам 1-го скрытого слоя. Дальше срабатывают нейроны 1-го скрытого слоя, передают сигналы на 2-й скрытый слой и т.д. если не оговорено противное, то каждый выходной сигнал q-го слоя передается на любой нейрон (q+1)-слоя.

Делись добром ;)