Рассмотрим нейрон Мак-Каллока - Питтса, выходной сигнал которого задается формулой (12). Вектор , состоящий из входных сигналов (не обязательно бинарных), назовем входным, а вектор -синаптическим. Обычным образом введем скалярное произведение: . Гиперплоскость разбивает пространство на два полупространства и . В первом из них , а во втором . Если входной вектор , то выходной сигнал нейрона , если же , то . Тем самым, нейрон относит каждый из входных векторов к одному из двух классов.

Для того, чтобы нейрон мог осуществлять “правильную” в каком -то смысле классификацию, должны быть соответствующим образом выбраны вектор синаптических весов и пороговое значение . Процедура выбора этих параметров называется обучением нейрона. Различают обучение с “учителем” и “без учителя”.

Задача обучения с учителем ставится следующим образом. Задаются два набора входных векторов и . Они называются эталонными векторами или паттернами, а также образами. Требуется определить вектор синаптических весов и порог так, чтобы выходной сигнал нейрона в ответ на входные векторы был равен единице, а на векторы -нулю. Тем самым, обучение с учителем предполагает, что для каждого эталонного входного вектора заведомо известен ответ нейрона. Эталон и желаемый ответ называются обучающей парой.

Несмотря на многочисленные прикладные достижения обучение с учителем критикуется за свою биологическую неправдоподобность, поскольку совершенно не понятно откуда могут появиться желаемые ответы. При обучении без учителя заранее неизвестно разбиение эталонов на подмножества. До обучения невозможно предсказать в какой класс попадет каждый конкретный эталонный вектор. В процессе обучения выделяются статистические свойства обучающей последовательности и вырабатываются правила классификации. Естественно идея, на которой основаны правила, априорно заложена в процесс обучения. Например, эталонные векторы усредняются по координатам. Если эталонный вектор находится от усредненного “не слишком далеко”, то он относится к первому классу, а иначе -ко второму. Постановка задачи об обучении без учителя выглядит несколько расплывчатой. Однако в ряде случаев она успешно решена.

Различают также внешнее и адаптивное обучение. В первом случае синаптические веса вычисляются неким внешним устройством, а затем импортируются в синапсы. При адаптивном обучении веса подстраиваются в процессе функционирования сети, которой предъявляется обучающая последовательность эталонов. Многие авторы считают механизм адаптации неотъемлемым атрибутом нейронов. Внешнее обучение позволяет понять, во -первых, возможна ли вообще интересующая нас классификация для данной обучающей последовательности. Во -вторых, позволяет, не задумываясь о возможных механизмах адаптации, разумно выбрать синаптические веса для изучения вопроса о функционировании нейронов, объединенных в сеть.

После завершения процесса обучения нейрон осуществляет классификацию векторов эталонной последовательности, т.е. “запоминает” для каждого вектора класс, к которому тот относится. Кроме этого, произвольный входной вектор нейрон относит к определенному классу, т.е. “обобщает” классификацию (принцип сортировки) эталонной последовательности на произвольный образ.

Рассмотрим вопрос о разрешимости задачи обучения с учителем в частном случае, когда второе множество состоит из единственного представителя . Геометрически это означает, что строится гиперплоскость, которая отделяет векторы от нуля, т.е. решается задача об отделимости. Отметим, что для бинарных векторов, координаты которых равны либо нулю, либо единице, задача об отделимости всегда разрешима. В качестве нормального вектора можно взять, например вектор и положить для порогового значения . Нижеследующие построения на используют предположения о бинарности векторов.

Легко понять, что задача об отделимости разрешима в том и только том случае, когда выпуклая оболочка векторов не содержит нуля (отделена от нуля). Напомним, что выпуклой оболочкой векторов называется множество , состоящее из векторов: , где и . Пусть множество отделено от нуля и -его ближайшая к нулю точка, т.е. по всем . Здесь, как обычно, . Положим и выберем произвольно . Вектор -искомый синаптический вектор, а -пороговое значение для нейрона, реагирующего на входные векторы выходным сигналом , а на вектор -сигналом .