Вся фигня – от мозга?! Простая психосоматика для сложных граждан - стр. 15

Рис. 2.3. Упрощенная схема суммирования сигналов в нейроне. Сумма входящих подставляется в функцию активации. Результат подается на единственный выход, где его уже ждут благодарные нейронные соседи

Мы видим, как несколько, а именно произвольное число n (подставьте на его место возраст соседского кота), сигналов поступают на вход круглого чёрного ящика. Там сигналы складываются (знак суммы) и сравниваются с пороговым значением. Если порог преодолён, нейрон выдает на выходе единицу. Иначе – ноль.

Функция f, имеющая форму ступеньки и превращающая входной сигнал в выходной (рис. 2.4), называется функцией активации. Само слово «функция» здесь употребляется в непривычном для многих значении. Обычно функция какого-то объекта – это его способности или предназначение. Например, функция паяльника – нанесение расплавленного припоя в место контакта деталей. В особых случаях – терморектальный криптоанализ. Но в нашем контексте функция – это математическая операция, превращающая одно число в другое (одно числовое множество в другое).

Рис. 2.4. Функция активации, то есть зависимость исходящего сигнала (вертикальная ось) от суммы входящих (горизонтальная ось)

Простейший вид функции активации – ступенька. Если число на входе меньше порогового значения U, то функция превратит это число в ноль. Если больше порога, то в единицу. Так вся бесконечная числовая ось отображается в две точки: ноль или один. Удобно, не правда ли? Удобно, но возникает несколько вопросов.

Почему ноль – понятно. Но вот почему именно единица? Почему не корень из двух, почему не минус сто, почему не потенциал ионизации атома водорода? Да потому что сравнивать не с чем. Все нейроны одинаковые. Эталон сигнала мы выбираем сами. Так что мешает положить максимально возможный сигнал равным единице? Ничего не мешает. Вот мы и кладём. Чтобы считать было легче.

А почему, либо ноль, либо единица? А если порог почти-почти преодолён? Или сумма входных сигналов застыла прямо на пороге? Направление вашей мысли понравилось бы любому специалисту по нейронным сетям. Чем дальше в лес, тем более хитрые зависимости выходного сигнала от входного придумывали учёные. Вместо ступеньки теперь часто рисуют «сигмоиду» – такую гладенькую возрастающую выпуклую кривую (рис. 2.5), прижимающуюся к единице по мере возрастания входного сигнала. То есть нейрон как бы верещит, но не громко.

Рис. 2.5. Пример гладкой функции активации

Особо хитрые учёные вообще говорят не об отклике нейрона на сигнал, а о вероятности отклика. Логика та же. На вход нейрона подаётся сигнал. Чем сигнал выше, тем больше вероятность, что нейрон в следующую секунду заверещит. То есть нейрон может (редко, но может) откликнуться на очень слабый сигнал и промолчать на очень сильный. Но у нас никаких «следующих секунд» нет, у нас пока всё синхронно и мгновенно. Поэтому не беспокоимся. И начинаем связывать нейроны в единую сеть.