Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки — стохастический метод обучения персептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше, чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но, в отличие от него, гарантирует процесс сходимости (достижение решения).

• Для каждого R-элемента устанавливается ошибка ${\displaystyle E_{r}=R^{*}-r^{*}}$, где ${\displaystyle R^{*}}$ - требуемая, а ${\displaystyle r^{*}}$ - достигнутая реакция.
• Для каждого А-элемента ${\displaystyle a_{i}}$ ошибка вычисляется следующим образом:
  • Вначале ${\displaystyle E_{i}=0}$;
  • Если элемент ${\displaystyle a_{i}}$ активен и связь ${\displaystyle c_{ir}}$ (${\textstyle c_{ir}=a_{i}\cdot w_{ir}}$ или в общем случае ${\textstyle c_{ir}=f(w_{ir},a_{i})}$) оканчивается на R-элементе с ненулевой ошибкой ${\displaystyle E_{r}}$, отличающейся по знаку от веса связи ${\displaystyle w_{ir}}$, то с вероятностью ${\displaystyle p_{1}}$ к ${\displaystyle E_{i}}$ следует прибавить коррекцию, равную -1;
  • Если элемент ${\displaystyle a_{i}}$ неактивен и связь ${\displaystyle c_{ir}}$ оканчивается на R-элементе с ненулевой ошибкой ${\displaystyle E_{r}}$, не отличается (совпадает) по знаку от веса связи ${\displaystyle w_{ir}}$, то с вероятностью ${\displaystyle p_{2}}$ к ${\displaystyle E_{i}}$ следует прибавить коррекцию, равную +1;
  • Если элемент ${\displaystyle a_{i}}$ неактивен и связь ${\displaystyle c_{ir}}$ оканчивается на R-элементе с ненулевой ошибкой ${\displaystyle E_{r}}$, отличающейся по знаку от веса связи ${\displaystyle w_{ir}}$ (или ${\displaystyle w_{ir}=0}$ ), то с вероятностью ${\displaystyle p_{3}}$ к ${\displaystyle E_{i}}$ следует прибавить коррекцию, равную +1;
  • При всех остальных условиях ${\displaystyle E_{i}}$ не изменяется.
• Если ${\displaystyle E_{i}\not =0}$, то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию ${\displaystyle \eta }$ со знаком, совпадающим со знаком ${\displaystyle E_{i}}$, т.е. ${\displaystyle \Delta w_{ij}=a_{i}^{*}sign(E_{i})\varepsilon }$, где ${\displaystyle \varepsilon }$ - абсолютное значение ${\displaystyle \eta }$ (как правило единица).

В большинстве случаев наилучшие характеристики могут быть получены, если вероятности будут выбраны согласно следующему условию ${\displaystyle p_{1}>p_{2}>p_{3}}$.

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.

• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998