Нейронные сети и семантические сети - борьба противоположностей или единство?

Нередко при разборе подходов к созданию ИИ противопоставляют Нейронные Сети (НС) и Семантические Сети (СС). Если на первые кивают сторонники восходящего подхода, считая, что необходимо реализовать низкоуровневые структуры по аналогии с живыми/человеческими, а интеллектом они должны наполниться самостоятельно путем самообучения, то сторонники нисходящего подхода считают, что не важно, как реализован нижний уровень - главное вложить в устройство знания таким образом, чтоб они приводили к необходимому поведению устройства в большинстве вообразимых ситуаций и предлагают для этого соответствующие структуры и методы - скрытые цепочки Маркова, СС и др.

Сторонникам восходящего подхода НС (формальные или приближенные к биологическим) позволяют неплохо реализовать задачи распознавания образов в случае затрудненной формализации критериев распознавания, отчасти - процессы образной корреляции, но практически не позволяют понять и увидеть "высокоинтеллектуальные" процессы абстрактно-вербального мышления.

У сторонников нисходящего подхода наоборот, с абстрактно-вербальным вроде все понятно, но непонятности начинаются при попытках заставить абстрактно-вербальный ИИ функционировать в неформализованных средах.

Представляется интересным объединить преимущества тех и других. Со стороны нисходящего подхода для этого более интересными кажутся СС, поскольку также, как и НС имеют сетевую структуру, описываемую графом.

Нейронные ансамбли как путь к объединению НС и СС.

В работах многих нейрофизиологов указывается, что активность нейронов в мозгу носит групповой характер - в определенных ситуациях отдельно взятый нейрон возбуждается синхронно с многими другими, получая помощь в возбуждении от них и наоборот, помогая им возбуждаться. Такую "группу взаимопомощи" обычно называют нейронным ансамблем.

В зависимости от предыстории возбуждения и от внешних условий каждый нейрон в разные моменты времени может входить в состав различных ансамблей. То есть, ансамбли не делят жестко всю нейронную массу на определенные части, а перекрываются друг с другом.

Если рассмотреть нейронные ансамбли как самостоятельные сущности, то в отличие от нейронов им гораздо проще сопоставить высокоуровневые сущности - чувства, ощущения, образы (как конкретные, так и достаточно абстрактные).

Продолжая рассматривать ансамбли как самостоятельные сущности, мы увидим, что возбуждение того или иного ансамбля зависит от того, какие ансамбли и как сильно были возбуждены до этого, а так же от совокупностей воздействий на рецепторы, которые могут в данном случае быть рассмотрены как целостные образы, действующие на НС. Таким образом, мы можем описать поведение ансамблей в виде графа, описывающего, насколько вероятно возбуждение того или иного ансамбля приведет к возбуждению других ансамблей при подаче на НС тех или иных образов.

Оставив в рассмотрении только ансамбли, соответствующие абстрактным сущностям, и описав их графом вероятностей переходов, мы фактически получим то же самое, что из себя представляет семантическая сеть - вся разница только в том, что граф ансамблей получен путем самоорганизации уже соединенных нейронов в не существующие самостоятельно ансамбли, а СС подразумевается состоящей из самостоятельных сущностей, организованных в граф какими-то внешними алгоритмами.

Предлагалось немало способов, с помощью которых нейроны в НС будут образовывать ансамбли, например, самоорганизующиеся карты или способ Емельянова-Ярославского с квазинейронами и т. п.

Ниже предлагается один из способов самоорганизации нейронов в ансамбли.

Потенциирующее правило Хебба + регуляция активности = самоорганизация нейронных ансамблей в НС.

Далее речь пойдет только о рекуррентных НС, как более приближенных к своим биологическим аналогам, чем НС прямого распространения. Дальнейшие рассуждения применимы как к НС с пульсирующими нейронами, так и с нейронами с непрерывным возбуждением. В случае применения рассуждений к НС с пульсирующими нейронами под состоянием возбуждения нейрона будет пониматься не единичный импульс нейрона, а режим постоянной пульсации.

Для обучения рекуррентных НС практически непригодны методы обучения, применяемые для НС прямого распространения (например, метод обратного распространения ошибки), поскольку в случае рекуррентных сетей их применение потребует вычислительных мощностей на порядки больше. Поэтому обычно для рекуррентных НС применяют методы обучения, основанные на корреляции пре- и постсинаптической активности.

Самым первым идею такого обучения в биологических НС высказал еще в 1949 году нейрофизиолог Д.Хебб, в связи с чем такие корреляционные правила называют "правилом Хебба". Разработчики искусственных рекуррентных НС используют различные модификации правила Хебба, подбирают его параметры и условия потенциации и депрессии синапса (увеличения или уменьшения синаптической силы). При этом нередко в литературе упоминается тот факт, что правило, сформулированное Хеббом, неполно, поскольку рассматривает только потенциацию синапса, но ничего не говорит о его депрессии, а без депрессии НС однозначно скатится в режим постоянного и полного возбуждения, поэтому практически всегда оно дополняется и условиями депрессии.

Но тем не менее, можно использовать правило и в исходном виде - только с потенциацией, если организовать внешний контроль суммарной активности НС. Некоторая внешняя структура должна измерять суммарную активность НС и в зависимости от ее уровня оказывать общее ненаправленное торможение на все нейроны, функционируя наподобие регулирующих стержней в ядерном реакторе. Если изначально имеется даже небольшой случайный разброс в синаптических весах, то это будет приводить к тому, что вместо постоянного и полного возбуждения всей НС инициативу возбуждения постепенно захватят несколько нейронов, которые успеют "скооперироваться" раньше других, то есть они образуют ансамбль. Чтобы возбуждение одного и того же ансамбля не распространилось навечно, необходимо также ввести "истощение энергетических ресурсов", когда нейрон, слишком долго находившийся в активном состоянии начинает утрачивать свою способность к дальнейшему возбуждению, восстанавливая эту способность после некоторого отдыха (не путать с состоянием рефрактерности между спайками для пульсирующих нейронов).

Что примечательно, в мозге многих высших животных есть структура, занимающаяся подобной функцией регуляции мозговой активности - Ретикулярная Формация (РФ). РФ получает связи практически со всех участков коры и оказывает неспецифическое торможение на всю кору.

Таким образом, применив потенциирующее правило Хебба совместно с ненаправленным регулирующим торможением и "энергетическим истощением" мы получим процесс самоорганизации нейронов в ансамбли.

Сверху вниз - к ансамблям от семантических сетей.

Рассматривая эволюцию самообразования нейронных ансамблей по вышеописанному принципу можно абстрагироваться от существования отдельных нейронов в НС и считать, что имеется некоторая сплошная бесконечно делимая "ассоциативная масса". Изначально эта ассоциативная масса представляет собой небольшое число неявно выраженных ансамблей, но со временем под действием различных внешних влияний отдельные части этой массы начинают дифференцироваться в новые ансамбли, наиболее эффективно возбуждающиеся под действием тех или иных внешних воздействий.

Описывая в виде графа взаимоотношения этих ансамблей, мы можем реализовать законы возбуждения, торможения и образования новых ансамблей совершенно не прибегая к моделированию отдельных нейронов.

Если мы условимся, что возбуждение каждого ансамбля соответствует какому-либо абстрактному понятию, то фактически мы будем иметь описание СС.

С одной стороны, мы можем построить данную СС вручную.

С другой стороны, изучив закономерности возбуждения, торможения и образования новых ансамблей в "ассоциативной массе" построенной из нейронов, мы можем прикрутить эти закономерности к СС, интегрировав таким образом СС и преимущества НС.

Конечно же, данные измышления не являются каким-тоготовым решением, поскольку описывают достаточно общие принципы. Для реализации полноценного ИИ скорее всего необходимы некоторые мотивационные структуры, а так же возможно нужно учитывать более тонкие детали динамики развития биологических НС, такие как сенситивные периоды.