Формальный нейрон Мак-Каллока - Питтса

Рефераты >> Математика >> Формальный нейрон Мак-Каллока - Питтса

Модель отражает единственный атрибут биологического нейрона -его способность генерировать импульсы “все, или нечего” в ответ на достаточно сильное воздействие. Нейрон Мак-Каллока - Питтса функционирует в дискретном времени. Он имеет входов -синапсов и единственный выход. Значение выходного сигнала соответствует генерации спайка (состояние возбуждения). В состоянии покоя выходной сигнал . В момент времени выходной сигнал формируется в зависимости от сигналов , поступивших на синапсы в момент времени . Последние также могут принимать значения ноль или единица. Если синаптический сигнал равен нулю, то говорят, что синапс находится в состоянии покоя. Единичное значение соответствует состоянию возбуждения синапса. Сигнал на синапс поступает либо от выхода другого нейроны, либо от сенсора -специального входа для внешних сигналов. Первоначально правила формирования выходного сигнала были введены авторами модели в виде ряда аксиом. Приведем две из них.

1. Для возбуждения нейрона в момент времени необходимо в момент времени возбудить определенное, фиксированное число синапсов, которое не зависит ни от предыдущей истории, ни от состояния нейрона.

2. Нейрон имеет особые входы -тормозящие синапсы. Возбуждение любого из них в момент времени исключает возбуждение нейрона в момент времени .

Первая аксиома отражает пороговые свойства нейрона, а вторая - подчеркивает особую роль торможения (на сетях “без запретов” нельзя реализовать произвольный алгоритм).

Впоследствии модель изменилась. Синаптические сигналы ( не обязательно бинарные) стали взвешивать и формировать суммарный входной сигнал . Здесь -числа, которые называют синаптическими весами. Синапс называют возбудительным, если , и тормозным, если . Договорились, что в момент времени нейрон находится в возбужденном состоянии , если суммарный входной сигнал в момент времени превысил некоторое пороговое значение , т.е. . Пусть -функция Хевисайта. Она принимает нулевое значение при и единичное при . Тогда можно записать:

. (12)

Описанный объект есть то, что в настоящее время называют формальным нейроном Мак-Каллока - Питтса.

Функция в (12) получила название функции активации. Часто рассматривают нейроны с другими функциями активации. Нулевое значение выходного сигнала означает, что в соответствующий момент времени нейрон не действует на другие нейроны (он как бы искючен из сети). Представляется разумным, что в любой момент времени выходное значение не равно нулю и зависит от величины . В связи с этим, часто берут в качестве функции активации знак числа. Формула для выходного сигнала приобретает вид:

. (13)

Здесь при и при . Отметим, что в данном случае поделить нейроны на возбудительные и тормозные в принципе невозможно (напомним, что для биологических нейронов такая классификация производится).

Еще один подход к выбору функции активации связан с биологическим фактом, что на более сильное воздействие нейрон отвечает пачкой спайков. Число спайков (или частоту их следования) можно принять за характеристику выходного сигнала. В связи с этим рассматривают нейрон, у которого выходной сигнал задается формулой:

. (14)

Здесь -монотонно растущая функция, имеющая предел при . Дополнительно предполагают, что при , либо при (сигмоидная функция). Широко используется так называемая логистическая функция: . Другой вариант: при , например, .

Иногда в качестве функции выбирают линейный трехзвенный сплайн (ломаную, состоящую из трех частей): при , , где и , для . Тогда на восходящем участке функции активации нейрон работает как линейный сумматор входных сигналов.