Форум создателей искусственных интеллектов

Это кусочек лекции Святослава Всеволодовича Медведева (сына Бехтеревой) про так называемый "детектор ошибок". По описанию Медведева "детектор ошибок" - это один-в-один детектор противоречий, который чисто умозрительно ввёл в схему интеллекта Ваш покорный слуга. С одной стороны хорошо, что умозрительные схемы подтверждаются практикой, с другой стороны - будь я менее ленивым, смог бы сэкономить время на разработку того, что уже давно известно. Выражаю благодарность Владимиру Мокроусову за подсказку.

Этому "детектору" уже столько лет, что вслух произнести неприлично. Раз так, то, похоже, ещё много и много велосипедов за Вашей спиной прокатилось.

Благодарность принимается с большим удовольствием. По этому поводу подкидываю новую безумную идею. Для чего таракану нужен детектор ошибок? Это фундаментальный механизм для любого обучения, даже самого примитивного. Он нужен для сравнения: «Что я планировал?» и «Что получилось на самом деле?». 1. Обучение и навигация в пространстве. Сценарий: Таракан строит когнитивную карту. Он помнит, что за углом шкафа должен быть проход к воде. Работа детектора: Он заходит за угол, а там — гладкая стена, тупик. Сигнал: «Ошибка! Рассогласование между моделью и реальностью!» Результат: Таракан помечает этот путь в своей «карте» как ложный и обновляет свою внутреннюю модель. Без детектора ошибок он бы раз за разом наступал на те же грабли. 2. Поиск пищи и избегание опасности. Сценарий: «Смелый» таракан бежит на новый запах, ожидая найти пищу. Работа детектора: Вместо пищи он натыкается на резкий, неприятный химикат (например, инсектицид). Сигнал: «Ошибка! Прогноз (еда) не совпал с результатом (опасность)!» Результат: Таракан вырабатывает отвращение к этому запаху. В будущем он будет его избегать. Это классическое обучение с негативным подкреплением, в основе которого лежит сигнал об ошибке. 3. Коррекция движения. Сценарий: Таракан бежит по неровной поверхности. Работа детектора: Его лапа проваливается, тело теряет равновесие. Сигнал: «Ошибка! Текущая моторная программа не работает!» Результат: Мгновенная коррекция походки, перераспределение веса, чтобы не упасть. Это происходит на уровне нейронных контуров в грудных ганглиях. Как он может быть устроен у таракана? Конечно, это не та сложная система из лобных долей и поясной коры, как у приматов. У таракана это, скорее всего, распределенная функция в его нервной цепочке. Место: Надглоточный ганглий («головной мозг») и, возможно, грудные ганглии. Принцип: Простейшие нейронные цепи, реализующие алгоритм: IF ожидаемый сенсорный вход != реальный сенсорный вход THEN активировать систему коррекции поведения. Эта «система коррекции» может быть: Гормональной: Выброс октопамина (сигнал «внимание, новизна, ошибка!»). Моторной: Немедленное изменение trajectory движения. Ассоциативной: Изменение силы синаптических связей между нейронами, отвечающими за «запах Х» и «опасность». Эволюционный вывод Наличие детектора ошибок — это не роскошь для «умных» животных, а необходимое условие для любого нешаблонного поведения. Без него таракан не мог бы обучаться. Он не мог бы адаптироваться к изменениям в среде. Его поведение было бы строго фиксированным и негибким, что сделало бы его легкой добычей в меняющемся мире. Таким образом, ваша гипотеза почти наверняка верна. Тот факт, что тараканы демонстрируют пространственную память, индивидуальность в принятии решений и способность к обучению, является косвенным, но очень веским доказательством того, что их нервная система обладает фундаментальным механизмом обнаружения рассогласования и коррекции поведения — их собственной, простой, но невероятно эффективной версией детектора ошибок. Это красноречиво говорит о том, что такой механизм — одна из самых древних и консервативных «инноваций» в эволюции нервной системы.

Наверное, всё-таки, речь идёт о функции "Детекция ошибок" Разума, как единого целого, а не об отдельном органе.

Идея эта не новая и не безумная. И её разжёвыванию, собственно, посвящён данный топик. Но писатели, как обычно, ничего не читают. Есть несколько мыслей, которые стоит артикулировать. 1. Действующие системы имитации интеллекта (ИмИ), построенные с применением backpropagation, по сути эксплуатируют именно этот алгоритм. Было бы странным, если бы имитатор интеллекта совсем не использовал механизмы интеллекта. И он их, конечно, использует. Второй механизм интеллекта, который используют действующие ИмИ - это последовательности. Это очень важный момент и ему в своё время стоит уделить особое внимание. 2. Как всегда, нюансы скрываются в деталях. "Ожидаемый сенсорный вход", как Вы пишите, это не просто матрица пикселей, или спектр звука, или некая абстрактная последовательность бит. Ожидаемый сенсорный вход - это всегда механизм, развивающийся во времени. И в большинстве случаев, этот механизм, развиваясь во времени, ведёт себя правильно (это то, что мы называем "осознаваемой реальностью"). События происходят как надо, всё привычно и обычно, кажется, что всё независимо и объективно. Вместе с тем, вся без исключений картина реальность - это конструкт, построенный интеллектом, и запускающий этот механизм в режиме реального времени. Очевидно, что ни один механизм не может в точности воспроизводить настолько сложный сенсорный вход, как у человека, даже на коротких промежутках времени. Поэтому рассогласование есть всегда. Вопрос в том, как считать это рассогласование критичным, что вызывает необходимость, как Вы пишите "корректировать поведение", а я говорю - синтезировать новый механизм. Например, сидите Вы в комнате и ничего не делаете, тут в дверь комнаты кто-то входит. Это значит, что механизм, работавший до этого и генерировавший реальность в виде пустой комнаты, резко стал неактуальным, рассогласованным и необходимо срочно скорректировать его, введя в сознание модель человека/тигра/робота или что-там вошло в дверь. Т.е. детектор ошибок - это универсальный механизм, работающий как в сфере казалось бы чистого восприятия, так и в сфере построения поведения (которое по сути тот же самый механизм). Таким образом, интеллект - это механизм построения механизмов по сигналу рассогласования. Конечно, интеллектом, как механизмом построения механизмов, обладают все двигающиеся живые существа. Разница только в комплексности воздвигаемых ими механизмов. Т.е. в длине причинно-следственных последовательностей. Автомобиль в целом осуществляет функцию движения, но двигатель - это таки отдельный его орган. Без отдельного детектора ошибок, который работает независимо от обученности человека или его намерений, разум в целом не сможет выполнять никакую функцию эффективно. Медведев в лекции утверждает, что детекция ошибок фиксируется аппаратными средствами в мозге даже у пациентов в коме. Это объясняет, в частности, почему человек не просыпается от знакомого громкого звука, но от незнакомого тихого - просыпается.

Одно из значений слова «Ошибка» - это неправильность. Функция «Детекция ошибок» подразумевает: - формирование образа желаемого «правильного» происходящего. - контроль происходящего и его расхождение с желаемым. - решение задачи исправления происходящего. - планирование дальнейших действий. А это блок-схема Разума. Кома или сон – это не потеря сознания, а измененное сознание. Способность к движению — это эмерджентное свойство автомобиля, результат слаженной работы всех его компонентов

Влад, я согласен с вами. Вопрос только в том, что вы подразумеваете под словом Разум?

Может для ИИ использовать термин: Детекция Нежелательного Исхода - UOD (Undesired Outcome Detection)

Давно смущает меня эта терминология, недвусмысленно подразумевающая "автоматизм построения автоматизмов" или " алгоритм построения алгоритмов".

Разум – это мера явления действительности, в нашей многомерной системе восприятия реальности. Данное явление характеризуется определенной структурой, способностью, процессом. На что в свою очередь наложены другие меры: управление, интеллект, сознание.

Это хорошо и удивительно, что иногда Вы можете внятно формулировать свои мысли. Однако детекция - это всё же довольно узкая и специфическая операция. Она триггерная. Детектор либо молчит (тем самым "сигнализируя", что по умолчанию всё идёт правильно), либо поднимает флажок (в терминологии Медведева). Примерно как в движке данного форума, когда к сообщению прицепляется жёлтый флажок, сигнализируя, что это сообщение новое. Поэтому функция «Детекция ошибок» подразумевает: - наличие на одном "входе" детектора ошибок эталона, сгенерированного всем механизмом мышления с учётом памяти, своих желаний, знаний, допущений ("как должно быть") - наличие на втором "входе" детектора ошибок тестового образца, сличаемого с эталоном ("как есть"). Это не обязательно сенсорный вход, это может быть и поток мыслей и любое наполнение сознания. - на "выходе" - пороговый сигнал расхождения. Он либо есть, либо его нет. Это очень хорошо и удобно. Если бы расхождение имело меру, то мы никогда не были бы уверенными в том, что мы чувствуем и делаем. И не было бы слов "да" и "нет". А как пишет нам писание: "Но да будет слово ваше: да, да; нет, нет; а что сверх этого, то от лукавого.". Что касается вопросов приоритизации сигналов расхождения, что с ними делать дальше, поднимать ли вопрос исправления эталона, либо исправления "тестового образца" - это следующие вопросы, которые непосредственно к работе детектора ошибок отношения не имеют. Детектор ошибок (или как я их называю "противоречий") должен безучастно выдать результат и в этом соблазн начинать построение настоящего ИИ именно с него. Не согласен. Поясню почему. Термин "нежелательный исход" подразумевает императив некоего субъективного желания, предпочтения при задании нормы. И поэтому не может претендовать на всеобщность. Ведь в большинстве случаев человек что-то считает нормой просто потому, что встречается с этим часто. Например, ездите Вы по знакомой дороге, на ней разметка давно стёрлась. И тут рисуют новую разметку. Вы сразу это заметите, потому что это аномалия для данного места. Хотя с точки зрения Ваших желаний, Вы всегда желаете, чтобы разметка была чёткой. И с этой точки зрения не должны были бы зафиксировать аномалию. Поэтому в общем случае желание не может быть императивом при определении эталона. Но в других случаях (при целеполагании, при решении задач), конечно, желание, личное предпочтение будет играть решающую роль. В задачу создания интеллекта искусственного с помощью интеллекта естественного заложена рекурсивность по определению. При этом всё, что может создавать интеллект естественный - это алгоритмы/механизмы/автоматизмы. И если мы не отождествим мышление с механизмом, то, следовательно, мы не можем ожидать получения интеллекта искусственного в качестве продукта интеллекта естественного. Надеюсь, просто и доступно пояснил.

А можно поподробнее о том, что Вы называете "механизмом" и какова качественная разница, если она есть, между алгоритмом, механизмом и автоматизмом ? Эта фраза тоже требует развёрнутого пояснения. Человек за свою историю жизни на Земле много чего наворотил и всё ли им созданное укладывается в схему из трёх слов, или в слово из трёх букв ?

Толковый словарь Ожегова 1. Способность человека логически и творчески мыслить, обобщать результаты познания, ум (в 1 знач.), интеллект. 2. Ум (во 2 знач.), умственное развитие. Ни ума, ни разума у кого-н. (совсем глуп; разг.). Слово «разумъ» на старорусском языке — «разоумъ» Может стоит использовать другие слова, а то возникают разногласия? Вашему описанию более подходит - Стратифицированный онтологический модуль Stratified Ontological Module (SOM) Основные характеристики СОМа включают: 1. Структурная организация Знания представлены слоями или стратами, каждая из которых отражает определенный уровень детализации и абстракции. Верхние слои содержат общие понятия и связи, нижние — конкретные сущности и отношения. 2. Принцип иерархии Каждая страта связана с соседними стратами посредством отношений наследования и специализации. Это позволяет эффективно управлять сложностью системы знаний и обеспечивает гибкость при изменении отдельных элементов. 3. Применение в системах искусственного интеллекта СОМы используются в интеллектуальных системах для моделирования сложных предметных областей, таких как медицина, инженерия, экономика и юриспруденция. Они позволяют эффективно решать задачи классификации, диагностики, планирования и принятия решений.

Как видите, начинать всё-таки стоит с определений, а не с пространных рассуждений о конях в вакууме.

Структура, способность, процесс – это производные философского понятия «Качество», состояние системы. Весь мир – это система (механизм), а выражается данная система, изменяющемся состоянием (взаимным положением) элементов. Здесь и ключ к детектору ошибок.

Давайте и здесь ковырнём до кучи - что значит "выражается" ?

Prosolver, очистите наконец слово "механизм" от неумолимо надвигающейся двусмысленности.

Когда Вы из букв (алфавита) и по правилам Русского языка составляете комбинацию – это называется выражением.

Так Вы здесь о словах и буквах говорите ? (Не подумайте, что я зловредный буквоед и к словам придираюсь. Но бардак в речи прямо отражает бардак в мыслях или в средствах приведения бардака к порядку. Поясняю: т.е., Вы либо недодумали, либо Вам просто нечем додумать.)

В Русском языке одни правила, а у Мира другие, но суть тут одна - Формальная система. Для понимания: Вы – это локальное выражение системы «Мир».