О моделировании мышления

Чернавская О.ДЧернавская О.Д., ., Чернавский Д.С., Карп В.П., Никитин А.П., Щепетов Д.С. Чернавский Д.С., Карп В.П., Никитин А.П., Щепетов Д.С.

ФИАН, Москва ФИАН, Москва

olgadmitcher@gmail.comolgadmitcher@gmail.com

Современные тенденции

Нейроинформатика -2014 (МИФИ) Математика, компьютеры, образование (Дубна) Когнитивный сдвиг:

Нейро-компьютинг – машины ЛУЧШЕ чем человек Формальный нейрон МакКаллоха-Питтса

нейро-физиология – КАК устроен человек Реальный нейрон, Хочкин-Хаксли, Фицхью-Нагумо

сейчас: искусственная система, способная

ДУМАТЬ как человек ,

+ динамический формальный нейрон

Афоризмы

Живое = то, что научилось учиться (Шумский)Человечество долго смотрело на птицу, чтобы научиться

летать. И построило самолет. Он замечательно летает, но на птицу совсем не похож. (?)

Ученые делятся на ПТИЦ и ЛЯГУШЕК: П понимают все, кроме деталей; Л – только детали (Дайсон)

Измеряя напряжение на клеммах телевизионной платы, ТРУДНО вывести уравнение Максвелла.

Шум = инструмент адаптации к изменениям (Парин)

Основные направления

BICA = Biologically Inspired Cognitive Architecture (SOAR: Laird et al)

Концепция «активных агентов» (Редько) Учет психологических факторов и мотивов

Искусственный Интеллект (AI) (Осипов, Калиниград)Усовершенствование комп. программ для

решения некоторого круга задач («кофеварка») «Естественно-конструктивистский подход» (мы):

Как может думать человек?!?

Основные Основные положенияположения динамической теории динамической теории информацииинформации

Информация Информация – запомненный– запомненный выбор одного варианта из выбор одного варианта из n n возможных и равноправных. (возможных и равноправных. (QuastlerQuastler))

Генерация Генерация ИИ – – свободный (случайный) выбор. свободный (случайный) выбор. Необходим Необходим перемешивающий слой = случайный факторперемешивающий слой = случайный факторРецепция ИРецепция И = предопределенный выбор (навязанный извне)= предопределенный выбор (навязанный извне)

Условная ИУсловная И – – выбор, возникший в коллективе (выбор, возникший в коллективе (обществеобществе) в ) в результате договоренности (результате договоренности (условностиусловности). Примеры – код, язык.). Примеры – код, язык.

Ценность ИЦенность И определяется ее полезностью для достижения определяется ее полезностью для достижения целицели Базовая цель мышления— сохранение, распространение и Базовая цель мышления— сохранение, распространение и

создание (генерация) «своей»создание (генерация) «своей» условной И.условной И. Определение: Определение: Мышление есть Мышление есть самоорганизованный самоорганизованный процесс процесс

записи (восприятия), запоминания (хранения), обработки, записи (восприятия), запоминания (хранения), обработки, генерации и распространения информации. генерации и распространения информации.

Важно: запись и сохранение ( генерация и рецепция И) Важно: запись и сохранение ( генерация и рецепция И) дуальныдуальны (дополнительны(дополнительны). ). Для решения этих задач необходимы Для решения этих задач необходимы

две разные подсистемы.две разные подсистемы.

“Естественно-Конструктивистский подход

Теория распознавания Нейрокомпьютинг, но: концепция

динамического формального нейрона Динамическая Теория Информации (ДТИ)

(Haken, 2000, Prigogen, 1997, Chernavskii, 2000)

Свидетельства Природы 2 полушария мозга -- зачем?

ПП интуиция, ЛП «логика; не совсем так Goldberg, 2005: ПП обучение, воспрнятие новой информации

LH запоминание и обработка знакомой информации

индивидуальность (challenge)Человек мыслит недетерминировано, часто непредсказуемо и всегда

индивидуально

Ключевые моменты ЕПК

(чем мы отличаемся от других) континуальное представление нейропроцессоров; разделение всей системы на две подсистемы – для

генерации и рецепции информации. Условно : правое и левое церебральными полушариями (ПП и ЛП), а связи между ними (t) — с corpus callosum. ПП отвечает за обработку новой информации, а ЛП — за работу с хорошо известной, что полностью согласуется с выводами Э. Голдберга

учет случайного фактора («шума»), который присутствует только в ПП

неустойчивый характер процесса формирования символа результат оказывается непредсказуемым индивидуальность

самоорганизация нейронного ансамбля вместо детерминированной программы.

Динамический формальный нейрон (key point #1) Izhikevich 2007

МкКаллох-Питтс (1943) нейрон = простой сумматор Хочкин-Хаксли (1952) = сложноя система, 4 дин. ур. ФицХью-Нагумо (1961) упрощение до 2 диф. Дин.ур.:

V – мембран. потенциал, Y – внутреняя (релаксац.)

переменная Iext – внешний сигнал; ai ,bi – параметры. Кубичная нелинейность разные динамические

режимы: spike, spike train, bistable След. шаг (bi=0, ai) Hopfield (1982) ур.

близко к МкП, но позволяет проследить динамику

V

Y

б

V

Y

в

НейрокомпьютингНейрокомпьютинг

Динамический формальный нейронДинамический формальный нейрон (ДФН) (ДФН) = = бистабильный элемнт, имеющий активное бистабильный элемнт, имеющий активное (+1) (+1) и и пассивное пассивное (-1(-1\0\0) ) стационарные стационарные состояния состояния

Процессор Процессор = = пластина, населенная ДФН пластина, населенная ДФН ; ; 2 типа процессоров: 2 типа процессоров:

HopfieldHopfield-- typetype = = линейная аддитивная ассоциативная сеть линейная аддитивная ассоциативная сеть каждый предъявленный объект каждый предъявленный объект pattern pattern активных ДФН активных ДФН = =

образ образ ((распределенная памятьраспределенная память))GrossbergGrossberg - -type type нелинейное нелинейное конкурентноеконкурентное взаимод. взаимод. локализация образа локализация образа символ символ (сжатие образной инф. (сжатие образной инф. ))

ИнформацияИнформация существует в форме существует в форме обученных обученных связей связей

jji

ijii uu

dt

du

)(

11. Функции . Функции записи записи ((восприятиявосприятия) ) и и храненияхранения ((запоминаниязапоминания) ) образной инф.образной инф.: :

два два Hopfield-type Hopfield-type процессорапроцессора, , обученных обученных по-разномупо-разному Н0: пластина первичных образов

запись связи между активными нейронами,изначально слабые (“серые”), усиливаются («чернеют») в процессе обучения (Hebb rule) Нtyp : пластина типичных образов

хранение «информативные» связи постоянны = 0, остальные слабеют = работает как фильтр

(оригинальная версия J. Hopfield)

Принцип “почернение связей”: когда сила связей в образе достат. велика (над порогом : th) образ

передается Н0Нtyp для хранения ( долговременная память)

2. Формирование символа типичного образа STI

“черный” образ передается с пластины H typ на пластину локализации G:

Что-то происходит выборвсе активные нейроны должны

погаснуть, и только единственный выживает STI

После обучения связей плаcтины G : тот же образ всегда «сворачивается» в тот же символ (причем быстро)

“Победитель получает все” = межпластинные связи образных нейронов «переключаются» на выбранный символ

Математическая модель процессора локализации G

Gi – динамич. переменная, – параметр; Zk – «шум»Стационарный состояния: {0} and {1}; взаимод. нелинейне

конкурентное, (знак “”)

Обучение связей внутри-пласт. ij и меж-пласт. ik:

Шум необходим для выбора символа выбор случаен! символ не должен быть “лучшим”, он iиндивидуален для системы

Специализация символа: обучение параметров k k() после формирования меж-пласт. связей символ выводится из конкурентной борьбы, но получает возможность участвовать в «кооперативных» (Hebbian) взаимодействиях

Роль символов Роль символов ((key point #2key point #2)):: внутренняявнутренняя семантическасемантическая (условная) я (условная) информацияинформация Сжатие информации Сжатие информации ((кодированиекодирование) ) Коммуникация Коммуникация ((языкязык)): : слова слова соотносятся именно с соотносятся именно с символамисимволами ОсознаниеОсознание образной информации:образной информации:

сам акт образования символа означает, сам акт образования символа означает,

что система что система проинтерпретировалапроинтерпретировала «клубок» связей на пластине «клубок» связей на пластине ННtyp typ как как паттерн, который имеет паттерн, который имеет смысл,смысл, т.е. т.е. относится к реальным объектамотносится к реальным объектам (на рис. –3)(на рис. –3)

== семантические связи семантические связи эффект эффект нене парных корреляцийпарных корреляций! !

. .

Символы высоких уровней иерархии формируются после и на основе STI

Символ класса SCl

ряд образов имеющих общие нейроны

иерархические семантические связи

Вынужденные (объективные) = опосредованные общими образными нейронами-прародителями

параметрическое вляние на образные нейроны Hi = внимание

i i(G+1)

Символы высоких уровней иерархии формируются после и на основе STI

(key point #3)

Символ concept SCon = “образ-из-симолов” = “абстрактный образ” = “символьный pattern”

(терминология не устоялась)

noнятия: не имеют материального не имеют материального ((образногообразного) содержания, но ) содержания, но имеют смыслимеют смысл

coвесть, бесконечность, красота.. абстрактные связиспонтанные, не опосредованы образ-ными нейронами, создаются самой

системой в процессе ее развития(«ночь, улица, фонарь, аптека» …)если они «того стоят» (чернеют) S (стихи)

Вербализация: символы-слова SW

Обучение языку – рассм. ранее (матер. МИФИ- 2013) «словотворчество» в ПП = собственные внутренние

аудио-символы В обученной системе: слова (W) воспринимаются

непосредственно через ЛП, если есть внутренние символы того же смысла

Если слова относятся к образам, не знакомым данной системе -- они смысла не имеют.

Абстрактная информация в ЛП = «выводное» (семантическое) знание, полученное методом «объяснить словами»

(одно из определений логики = наука о получении выводного знания)

Уравнения, описывающие все рассмотренные Уравнения, описывающие все рассмотренные взаимодействия (взаимодействия (базовая модельбазовая модель): ):

Комментарии к системе уравнений

2 первых набора уравнений – для образных пластин Н0 и Нtyp 3-й набор – символьные пластины G-type

S-инфраструктура: индекс уровень иерархии; число не фиксировано и не лимитировано; возникают по мере необходимости Символы обеспечивают параметрический эффект:

(G) внимание () прекращение конкуренции (после того, как S сформирован)

Связи = разные типы (уровни) информации: образные конкурентные, обеспечивают выбор символа семантические STI иерархические SS (через образные нейроны-прародители) Ф абстрактные S S (спонтанные, создаваемые системой)

взаимодействие подсистем (многочисленные, действуют в зависимости от решаемой задачи) = аналог corpus callosum

Базовая модель = конкретная реализация требует уточняющих предположений

Рассматриваемый вариант архитектуры АМ построен на основе 4-х принципов самоорганизации :

I. I. Две разных (взаимод.) подсистемы: Две разных (взаимод.) подсистемы: ПППП(RH) = (RH) = правая подсистемаправая подсистема: : генерациягенерация инф. инф. = = обучение и творчество обучение и творчество

LS (LH) = LS (LH) = левая подсистема: левая подсистема: рецепциярецепция инф. из ПП инф. из ПП = = запоминание запоминание ии обработка обработка инф.инф. (распознавание) (распознавание)

II. II. Шум (случайный фактор) – есть только в ПП Шум (случайный фактор) – есть только в ПП ЛП ЛП : : отсутствие случайности отсутствие случайности логика ? логика ?

III. III. Подобная архитектура в обеих подсистемах Подобная архитектура в обеих подсистемах для взаимозаменяемости (при необходтмости) для взаимозаменяемости (при необходтмости)

IV. IV. Обучение = передача инф. ППОбучение = передача инф. ПП ЛП: ЛП: по по принципупринципу «почернения связей» : все связи «почернения связей» : все связи обучаются: в ПП – по Хеббу, в ЛП – по Хопфилдуобучаются: в ПП – по Хеббу, в ЛП – по Хопфилду

( ( гипотеза гипотеза возможны и другие варианты архитектуры) возможны и другие варианты архитектуры)

Иллюстрация к принципу «почернение связей»

Архитектура мыслительной системы (АМ)Архитектура мыслительной системы (АМ)

Комментарии к схеме Комментарии к схеме

СистемаСистема « «растет»: растет»: уровни инф. разного типауровни инф. разного типа формируются формируются последовательно – каждый следующий возникает последовательно – каждый следующий возникает послепосле и и на на основеоснове предыдущего предыдущего (на рис. -- голубая «пила») (на рис. -- голубая «пила») 270270 вид сверху на «мозг»: от зрит. коры, зоны вид сверху на «мозг»: от зрит. коры, зоны WW, к лобны, к лобныvv долям долям

ССкейлингкейлинг:: на на каждом уровнекаждом уровне символы, будучи сформированы, символы, будучи сформированы, получают возможность создавать «получают возможность создавать «символьные образысимвольные образы», которые », которые в свою очередь могут формировать свой символ в свою очередь могут формировать свой символ ((после после ««почерненияпочернения» абстр. связей » абстр. связей ))– так формируется – так формируется абстрактная абстрактная инфраструктура инфраструктура (( символы имеют «руки и ноги символы имеют «руки и ноги»)»)

Символьная (вербализованная) информация может Символьная (вербализованная) информация может восприниматься восприниматься извне извне через ЛПчерез ЛП – – так получаются так получаются семантические семантические знаниязнания ( (эпизодическиеэпизодические формируются вформируются в ПППП))

На каждом уровне иерархииНа каждом уровне иерархии ПППП выступает в роливыступает в роли Учителя Учителя для для ЛП: ЛП: инфинф. . передаетсяпередается попо принципупринципу «почернения связей» «почернения связей»

reductionreduction of Inf.: of Inf.: часть инф. часть инф. оказывается оказывается ““утраченнойутраченной” ” (не передается на (не передается на

следующий уровеньследующий уровень)) = = внутренняя внутренняя ((скрытаяскрытая)) инфинф.. индивидуальная для данной системы индивидуальная для данной системы

Интерпретация Подсознание \\ «underself», неподконтрольное системе = образы, записанные в Н0 “серыми” связями

out of control (не связанные с к-л символом)могут быть активированы только шумом (случайно) = insight

Сознание = степень готовности к мышлению (все, что происходит в системе, от …)

Интуиция \\ индивидуальное “прямое усмотрение истины (Kant) =

индивид. скрытая информация (включая “серые” образы) большинство действительно сосредоточено в ПП

Логика \\ дедуктивное рациональное (“правильное ”) суждение

имеет социальный аспект = вербализованные устойчивые (доказанные) aбстрактные (причинно-следств.) связи присутствуют только в ЛП вся развитая абстрактная (символьная) инфраструктура

(ПП+ЛП ) мудрость (больше, чем логика)

Заключение BICA ИИ: Наща архитектура отличается от этого подхода:

мы пытаемся понять, как ИИ и АМ могут возникнуть. ИИ м.б. соотнесено с ЛП для ИИ не нужно 2-х подсистем

Индивидуальность обеспечивается присутствием случайного фактора в ПП (ЛП тоже инд. поскольку порождено ПП!)

Основное «достижение» предлагаемого подхода:

начиная с примитивного (но динамического) нейрона благодаря самоорганизованному нелинейному взаимодействию нейронного ансамбля

появляются различные типы (уровни) информации:

семантическая (структурированная иерархически)

абстрактная (не полученная сенсорным путем, созданнаяАМ) вербализованная (понятная другим «системам»)

…т.е. «система осознает себя и окружающий мир»

Оставались вопросы

Каков механизм регуляции связей ППЛП и ЛПЛП ?

Как и от чего зависит амплитуда шума Z(t)? Имеет ли Z(t) специфику = Zi(t) или амплитуда шума --

общая во вем ПП?

Как эти факторы могут быть связаны с Э???

Часть 2. Где в этой схеме место для эмоции ?

Эмоции (от лат. emoveo – потрясаю, волную) – эмоциональный процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям.

Эмоции, как и многие другие психические явления, пока слабо изучены и понимаются разными авторами по-разному, поэтому вышеприведенное определение нельзя считать ни точным, ни общепринятым.

С точки зрения эволюцииЭ более древний механизм восприятия окружения Эмоции представляют собой синтетическую (интегральную)

реакцию, без анализа конкретных причин и источников

эмоциональных побуждений. Деление на «эмоцио» и «рацио» начинается с того момента,

когда человек приобретает язык (по крайней мере, внутренний, т.е. развитую структуру символов) язык представляет собой временной ряд символов (Шумский 2013),

т.е. рациональное мышление представляет собой последовтельный способ обработки информации (ЛП??)

естественно предположить, что эмоциональная реакция соответствует

параллельному способу. (ПП??)

С тоски зрения психологии («с позиции личности»)

Э можно разделить на прагматические и эстетические: ПЭ = связаны с достижением цели

оценка удаленности средств достижения (Шамис 2006)

ЭЭ =? -- восприятие произведений искусства, явлений природы, предпочтение цвета, …мода, личные ассоциации, детские впечатления, …??? = «формулы любви» нет и не надо

С позиции нейрофизиологии

Э зависят уровня и состава нейромедиаторов (Н) возбуждающие (адреналин,…) и тормозящие (опиаты…) Продукция Н :

глобальная (таламус, гиппокамп) локадьная (на уровне 1 синапса)

Основная проблема: как перейти от продукции Н в 1-м синапсе к Э = осознанное психологическое состояние???

= То же: как от активности 1-го нейрона перейти к понятию «сознание» ???

Трудно, но не невозможно

Проблема «яйцо или курица»

Что первично? Э нужны, чтобы стимулировать мыслительный процесс??? Мыслительный процессс порождает Э???

Как это может быть реализовано в мат. модели искусственной мыслительной системы?

Концепция«плодотворная дебютная идея»

Случайное самовозбуждение (шум) в искусственных системах имитирует эмоциональный фон в системах живых. Свободный случайный выбор (=генерация информации) имитирует выбор эмоциональный.

Э = изменение амплитуды шума !?! Э делятся на Побуждающие : для генерации И (беспокойство, паника) =

повышение уровня шума= Z/t>0 ~ «отрицат. Э» Закрепляющие: для рецепции И = снижение шума = Z/t<0 ~ «положительные Э» (радость, облегчение,..)

(t) Z/t: ЛППП ~ побужд. Э = активация ПП = рост шумаППЛП=закрепляюшие Э = передача в ЛП сниж. шумаПеременная производная («дрожание Z») = активный диалог

подсистем («мысли мечутся»)

аргумент 1 (глобальный)

неожиданность – неверный или не сделанный прогноз – всегда является одновременно и источником Э , и сигналом к изменению глобальной регуляции, т.е. необходимостью в дополнительном Э стимуле. Иными словами, в состоянии неожиданности возникает необходимость обращения к ПП, т.е. активация связей ЛПЛП .

момент понимания = встраивание новой И в уже

известную = ЛП (=момент истины = момент «ага», Wiggins 2012) активирует обратную связь ППЛП .

аргумент 2 (локальный)Высказывалась гипотеза (Schmidhuber 2009) о том, что

конечной целью живого организма является сжатие информации; акт достижения этой цели должен сопровождаться радостью.

близко к утверждению Сенеки: цель человека – стремление от менее совершенного состояния к более совершенному.

Что есть совершенное? Мы полагаем, что наиболее естественное стремление – понять, т.е. осознать. В рамках нашей модели это означает формирование нового символа (и его семантических связей с образом) и встраивание его в уже существующую структуру символов. Вполне естественно ожидать, что этот процесс должен сопровождаться положительными эмоциями.

любой акт формирования символа есть акт сжатия информации, т.е. конечный вывод совпадает.

модель «яйцо-курица» = уравнения гомеостаза

Система уравнений для Z(t), (t), (t): Z0 = уровень шума «в

покое»; = уровень Н

глобального действия (возбужд. тормоз. )

ik = уровень Н локального действия (синтез в 1 синапсе)

F(Z,) = нелинейность (для нетрив. эффектов типа стресса)

Простор для спекуляций!

Z0 темперамент?

Индивид. для системы !Процесс колебательный?

Я: устойчивый фокус Релаксационные или нет –

зависит от соотношения (тоже индивидуально)

Нелинейные эффекты Zmax = предельно-

допустимая амплитуда превышение = срыв

Стресс

Эффект стрессаСтресс = парадоксальная Э реакция = при

нарастании Э выше некоторого (индивидуального!) порога все процессы подавляются (синтезируются только опиаты)

Все физиологические характеристики стандартизированы ( «шума», т.е. разброса

в показателях, нет!) Фактор 1 / (Zmax - Z) особая точка

dZ/dt - Z 0 или <0 ! = случайное самовозбуждение переходит в подавление!

Интерпретация чувства юмора ЧЮ = способность адаптироваться к неожиданным ситуациям и

получать от этого удовольствие = неверный (преждевременный) прогноз, кот. м.б.

сразу заменен на верный анекдотанекдот (хороший!) представляет собой поток информации, (хороший!) представляет собой поток информации,

который допускает определенную трактовку вплоть до который допускает определенную трактовку вплоть до некоторого момента. Следующий блок информации должен некоторого момента. Следующий блок информации должен не не опровергатьопровергать предыдущую, но выводить на совсем другой предыдущую, но выводить на совсем другой конечный образ (также хорошо известный). В этом случае от конечный образ (также хорошо известный). В этом случае от системы требуется «вернуться» в тот момент, когда две системы требуется «вернуться» в тот момент, когда две цепочки образов расходятся к двум разным символам и цепочки образов расходятся к двум разным символам и «перескочить» на правильную траекторию. Сам процесс «перескочить» на правильную траекторию. Сам процесс возврата-перескока требует от системы определенных и возврата-перескока требует от системы определенных и специфических усилий специфических усилий  это может быть это может быть фрустрацияфрустрация , или , или резкие скачи амплитуды шума, способный «встряхнуть» резкие скачи амплитуды шума, способный «встряхнуть» систему — для человека таким очевидным способом является систему — для человека таким очевидным способом является смех.смех.

В терминах Z(t): смех =одновременное повышение и понижение амплитуды (резкий скачок)

Заключение: непонятные вопросы Как может влияет продукция нейромедиаторов в одном

нейроне на эмоции, т.е. псих-состояние всего организма?

Что является «супервайзером» для оценки степени черноты связей, как внутри-пластинных, так и меж-пластиных, и связан ли он с Э? Если да, то как?

Что является «триггером» для начала процесса формирования символа? Связан с Э, если да, то как?

Зачем Н так много??? (~ 4000) Измерима ли экспериментально величина амплитуды

Z(t)? Измеримо ли ik? Ответы на эти вопросы позволили бы действительно

понять, как эмоции могут имитироваться в искусственной мыслительной системе.

(начать и кончить)

Спасибо за вниманиеСпасибо за внимание

ЛитератураЛитература Голдберг Э. Голдберг Э. Парадокс мудрости. М.: УРСС, 2005. Парадокс мудрости. М.: УРСС, 2005. Ежов А.А., Шумский С.А.Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения. М: МИФИ, Нейрокомпьютинг и его применения. М: МИФИ,

2006. 2006. Кастлер Г.Кастлер Г. Возникновение биологической организации. М.: Мир, 1967. Возникновение биологической организации. М.: Мир, 1967. Чернавская О.Д., Никитин А.П., Чернавский Д.С.Чернавская О.Д., Никитин А.П., Чернавский Д.С. Концепция Концепция

интуитивного и логического в нейрокомпьютинге. интуитивного и логического в нейрокомпьютинге. БиофизикаБиофизика, , 2009, т.54, № 6, с. 11032009, т.54, № 6, с. 1103..

Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Рожило Я.А.Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Рожило Я.А. Процесс мышления в контексте динамической теории информации. Часть Процесс мышления в контексте динамической теории информации. Часть II: : Основные цели и задачи мышления. \\ СС, 2011, №6, с. Основные цели и задачи мышления. \\ СС, 2011, №6, с.

Чернавский Д.С.Чернавский Д.С. Синергетика и информация: Динамическая теория Синергетика и информация: Динамическая теория информации. М.: Наука, 2001.информации. М.: Наука, 2001.

Чернавский Д.С. и др. Чернавский Д.С. и др. Распознавание. Распознавание. Аутодиагностика. Мышление. – М.: Аутодиагностика. Мышление. – М.: Радиотехника, 2003Радиотехника, 2003..

Шамис А.С.Шамис А.С. Пути моделирования мышления. – М.: КомКнига, 2006. Пути моделирования мышления. – М.: КомКнига, 2006. Hebb D. OHebb D. O. The organization of behavior: a neuropsychological theory. New . The organization of behavior: a neuropsychological theory. New

York, 2002. (York, 2002. (ОригинальноеОригинальное изданиеиздание — 1949 — 1949)) Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П., Чернавская О.Д., Чернавский Д.С., Карп В.П., Никитин А.П.,

Рожило Я.А. Анализ роли понятий образ и символ в Рожило Я.А. Анализ роли понятий образ и символ в моделировании процесса мышления средствами моделировании процесса мышления средствами нейрокомпьютинга. Препринт ФИАН № 34, 2011; ПНД, 2011, нейрокомпьютинга. Препринт ФИАН № 34, 2011; ПНД, 2011, Т. 19, № 6, стр. 5-21Т. 19, № 6, стр. 5-21

задачи на сходство\различие объектов задачи на сходство\различие объектов (продолжение)(продолжение)

Полученный ответ верен для данной системы (индивида), Полученный ответ верен для данной системы (индивида), но может быть ошибочен объективно, поскольку способ но может быть ошибочен объективно, поскольку способ записи образной информации индивидуален.записи образной информации индивидуален.

Решение, полученное таким образом, Решение, полученное таким образом, интуитивноинтуитивно: оно : оно основано на опыте, т.е. картине мира индивида и не должно основано на опыте, т.е. картине мира индивида и не должно доказываться. доказываться.

вербализованное решение вербализованное решение может быть доказаноможет быть доказано, если для , если для этого использовать этого использовать общепринятые общепринятые понятия и связипонятия и связи — по  — по сути, это и есть метод «сути, это и есть метод «перевода интуитивного знания в перевода интуитивного знания в логическое». логическое».

Выводы из ДТИ Выводы из ДТИ

Способность Способность записывать и записывать и сохранять информациюсохранять информацию дуальны ( дуальны (дополнительны)дополнительны); эти функции должны ; эти функции должны

быть быть разделены разделены между двумя «подсистемами»между двумя «подсистемами» Для Для записизаписи ( (генерациягенерация информации) принципиально информации) принципиально

необходимо наличие необходимо наличие шума=шума= случайного, хаотического случайного, хаотического элемента, присутствующего в подсистеме обучения;элемента, присутствующего в подсистеме обучения;

для для сохранения и сохранения и рецепциирецепции информации информации шум не шум не нужен и даже вреден. нужен и даже вреден.

ПП = …+ ПП = …+ шумшум обучение (обучение (интуитивное мышлениеинтуитивное мышление ?) ?)

ЛП = … ЛП = … без шумабез шума хранение и работа = хранение и работа =

связное связное ((логическое?) логическое?) мышлениемышление

Запись и хранение Запись и хранение образнойобразной информации: информации: двадва процессора типа Хопфилда, процессора типа Хопфилда, связи по-разному связи по-разному

обученныеобученные Н0: силы связей между

активными нейронами растут по мере обучения (= связи «чернеют»), остальные связи не меняются (правило Хебба)

Нtyp :: «нужные» связи постоянны, = 0, лишние отмирают = «отсечение ненужного» (оригинальный вариант Дж. Хопфилда)

«принцип почернения связей»: при достаточном (над-пороговом, th) обучении пластины Н0, образ передается прямыми межпластинными связями на пластину Нtyp,

Разные уровни «скрытости» (интуиции?Разные уровни «скрытости» (интуиции?)) Серые связи:Серые связи: «смутные воспоминания«смутные воспоминания» » (случайная инф., не переходит на уровень (случайная инф., не переходит на уровень ТОТО, не запоминается и , не запоминается и

поэтому не может ассоциироваться поэтому не может ассоциироваться ни с каким символомни с каким символом )  ) неосознанная неосознанная ии неподконтрольная системе неподконтрольная системе= = подсознание.?подсознание.? (ср (ср. . П1П1))

Активация:Активация: только благодаря шумутолько благодаря шуму («вдруг увидеть («вдруг увидеть внутренним взором») = внутренним взором») = озарение озарение («(«инсайт»инсайт»))

Черные связи = яркая «картинка» без символа Черные связи = яркая «картинка» без символа Активация:Активация: анализ,анализ, подборподбор нескольких внутр. символов нескольких внутр. символов Семантические связи = внутренние символы без слов Семантические связи = внутренние символы без слов Активация:Активация: подборподбор нужных слов разного уровнянужных слов разного уровня (понятий и (понятий и

уточнений)уточнений). . (часто лень, но всегда возможно) (часто лень, но всегда возможно) Критерий правильности = только внутреннее удовлетворение = Критерий правильности = только внутреннее удовлетворение =

эмоции (эмоции (срср. . И3И3) )

«естественно-конструктивистский» подход к «естественно-конструктивистский» подход к моделированию процесса мышления :моделированию процесса мышления :

НейрокомпьютингНейрокомпьютинг Теория распознаванияТеория распознавания

Динамическая теория информации (ДТИ): Динамическая теория информации (ДТИ): Информация есть запомненный выбор одного варианта Информация есть запомненный выбор одного варианта из ряда из ряда возможных и равноправных (возможных и равноправных (КастлерКастлер) )

2 способа возникновения информации: 2 способа возникновения информации:

генерация = свободный (индивид) выбор генерация = свободный (индивид) выбор

рецепция = выбор, воспринфтый извне рецепция = выбор, воспринфтый извне

! ! Они дуальны (дополнительны)Они дуальны (дополнительны) нужнынужны 2 разные 2 разные подсистемыподсистемы

для генерации информации необходим для генерации информации необходим

перемешивающий слой перемешивающий слой = = шум шум

Система уравнений =«ход мысли»Система уравнений =«ход мысли»

Процессор локализации («Гроссберга»)

Gi – переменная нейрона - параметр: стац. состояния {0} и{1}ij - связи внутри пластины; взаимод.

подавляющее: знак (-) Обучение связей : Тс – характ. время, 0 – начальное значение силы

связи (одинаковое для всех)

Динамика: все активированные нейроны в начале гаснут, в конце вновь загорается только один

Нейрон, победивший (случайно!) единожды, после обучения побеждает всегда и становится символом данного набора нейронов ( образа ).

Роль (функции) символовРоль (функции) символов внутренняявнутренняя семантическаясемантическая инф. инф.

сжатие (код) инф. сжатие (код) инф. осознание осознание образной информации = образной информации =

выделение из всего множества связей на пластине выделение из всего множества связей на пластине ННtyptyp того набора, который того набора, который имеет имеет смыслсмысл,, т.е. т.е. соответствует одномусоответствует одному реально реально существующемусуществующему объекту объекту

классификация (классификация (иерархияиерархия) ) Символы класса Символы класса СклСкл разного уровня разного уровня

Формирование Формирование символов-понятийсимволов-понятий:: после после установления установления семантическихсемантических связей связей С--ОС--О, , символы сами могут играть роль форм. нейронов символы сами могут играть роль форм. нейронов « «образ из симоловобраз из симолов» = » = абстрактные связиабстрактные связи понятия, понятия, не сне связанные с конкретными вязанные с конкретными образами образами ( (напримернапример, , совесть) совесть)

Коммуникация: Коммуникация: символы-слова (символы-слова (СССС) ) взаимодействиевзаимодействие всех пластин : всех пластин : параметрическое параметрическое воздействие на образные нейронывоздействие на образные нейроны

. .

Афоризмы

Живое = то, что научилось учиться (Шумский)Человечество долго смотрело на птицу, чтобы

научиться летать. И построило самолет. Он замечательно летает, но на птицу ну совсем не похож.

Ученые делятся на ПТИЦ и ЛЯГУШЕК: П понимают все, кроме деталей; Л – только детали

Измеряя напряжение на клеммах телевизионной платы, ТРУДНО вывести уравнение Максвелла.

List of references Alexandrov Yu.I., Jarvilenhto T. et al. (1993). Activity Versus Reactivity in Psychology

and Neurophysiology. Ecological Psychology, 5, 85-103 Anokhin K.V. (2012). Cognitom: theory of realized degrees of freedom of brain. Proc 5th Int. Conf on

Cognitive Science. Kaliningrad. (in Russian). Bishop C.M. (2007). Pattern Recognition and Machine Learning. Springer Bongard M.M. (1970). Pattern Recognition, New York: Spartan Books. Chernavskaya O.D., Chernavskii D.S., Nikitin A.P. (2009) The concept of intuitive and logical in

neurocomputing. Biophysics, 54, 727-735 Chernavskaya O.D., et al. (2011). On the role of concepts “image” and “symbol” in the neurocomputing

modeling the thinking system. Izvestia vuzov. Applied Nonlinear Dynamics, 19, 21-35. (in Russian). Chernavskaya O.D. et al. (2012). The Concepts of Intuition and Logic within the Frame of Cognitive

Process Modeling. Biologically Inspired Cognitive Architectures 2012. Proceedings of the Third Annual Meeting of the BICA Society (A. Chella, R.Pirrone, R.Sorbello, K.R. Johannsdottir, Eds), 105-107.

Chernavskii D.S. (2000). The origin of life and thinking from the viewpoint of modern physics. Physics-Uspekhi, 43, 151-176.

Chernavskii D.S. (2004). Synergetics and Information. Dynamical Theory of Information. Moscow, URSS (in Russian).

Chernavskii D.S., et. al. (2011). Mathematical model of image localization processor, LPI Preprints, No.9 (in Russian)

Deacon T.W. (2011). Incomplete Nature: How Mind Emerged from Nature. New York WW Norton&Co. Fitz Hugh R. (1961). Impulses and physiological states in theoretical models of nerve membrane.

Biophys. J., 1, 445. Goldberg E. (2009). The new executive brain. Oxford University Press. Grossberg S. (1982). Studies of Mind and Brain. Boston: Riedel. Grossberg S. (1987). The adaptive brain. Elsevier. Haken H. (2000). Information and Self-Organization: A macroscopic approach to complex systems .

Springer.

Haykin S.S. (2009) Neural Networks and Learning Machines. Prentice Hall. Hebb D. O. (1949). The organization of behavior. John Wiley & Sons. Hodgkin A.L., Huxley A.F. (1952). A quantitative description of membrane current and its application to

conduction and excitation in nerve. The Journal of physiology, 117, 500–544. Hopfield J.J. (1982). Neural networks and physical systems with emergent collective computational

abilities. Proceedings of the National Academy of Sciences, 79, 2554. Izhikevich E.M. (2007). Dynamical systems in neuroscience: the geometry of excitability and bursting.

MIT Press. Izhikevich E.M. and Edelman G.M. (2008) Large-scale model of mammalian thalamocortical systems. In:

Proceedings of the national academy of sciences, V. 105, № 9. Kharkevich A.A. (1960). On the Value of Information. Problemy kibernitiki, 4, 53–57. (in Russian) Kohonen T. (2001). Self-Organizing Maps. Springer. Laird J.E. (2012). The Soar cognitive architecture. MIT Press McCulloch W.S., Pitts W. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity.

Bulletin of Mathematical Biophysics, 5, 115. Muller B., Reinhardt J. (1990). Neural networks. Springer Verlag. Nagumo J., Arimoto S., Yashizawa S. (1962). An active pulse transmission line simulating nerve axon.

Proc. IRE, 50, 2062. Penrose R. (1989). Shadows of the Mind. Oxford University Press. Quastler H. (1964). The emergence of biological organization. New Haven: Yale University Press Red’ko V.G. (2012) Principles of functioning of autonomous agent-physicist.

Proc. of the Third Annual Meeting of the BICA Society, (A. Chella, R.Pirrone, R.Sorbello, K.R. Johannsdottir, Eds). Springer,255-256

Samsonovich A. (2007). Bringing consciousness to cognitive neuroscience: a computational perspective. Journal of Integrated Design and Process Science, 11, 19-30.

Shannon C. (1963). The mathematical theory of communication. Univ. of Illinois Press. Solso R. (1998) Cognitive psychology (5th ed.). Needham Heights, MA: Allyn and Bacon. Turing A.M. (1950). Computing machinery and intelligence. Mind, 59, 433-460. Wiggins G.A. (2013). Learning and Creativity in the Global Workspace. Advances in Intelligent Systems

and Computing, 196, 57

модель «яйцо-курица» Система уравнений для Z(t): Z0 = уровень шума «в покое»