Форум создателей искусственных интеллектов

Let's begin))) Чтобы понимать место и роль интеллекта, мы должны начать с некоего произвольного процесса, который протекает в некой среде на фоне всех прочих. Это рисунок # 1. Но реальность такова, что процесс сталкивается с какой-то неоднородностью (D, distortion), на которую он влияет (1) и которая влияет на него (2). Вторая картинка. Эта неоднородность представляет собой целостность и имеет структуру. Поэтому входящие и исходящии потоки осмысленно представлять как воздействие на неё и реакцию, которЫЕ опредяляЮТСЯ внутренней структурой (подчеркнул, чтобы вы понимали, что воздействие тоже определяется внутренней структурой). Картинка три. Если наша целостность умеет воспринимать и активно существовать в среде (то есть быть живой), то параллельно физическим процессам мы имеем поток восприятия, обозначенный как сенсорно-эффекторный. До этого места (включительно) интеллекта не было. Только тупой естественный отбор и адаптивность на уровне мутаций и изменчивости внутренней структуры. Картинка четыре))

Тайна интеллекта в той буковке R, которая все-таки присутствует в схеме. R - это reflection. Пространство значений "from" сенсоров отображается на пространство "to" эффекторов. И action - reaction в этот самый момент становится stimulus - response)) Иначе говоря, интеллект - это отображение восприятия на деятельность. Или проводящая прокладка между маппингами органов чувств и локомоторной системой)))

А что такое интеллектуальное отображение? Это входящие форматированные потоки (sensor mapping), получаемые от сенсоров, представление о реальности, формируемое на основе этой модели, преобразования этого представления (через инстинкты, обучение и рассуждения) в некоторый вывод и трансляция его через эффекторы во внешнюю среду

Что мы видим? Что неживое преобразует процессы внешней среды в некоторую реакцию, сообразную своей структуре и устройству, а живое делает это через процессы восприятия и представления, которые условно можно разделить на три слоя: инстинктивный (сообразно биологическим "прошивках", заложенным в ДНК), адаптивный (сообразно освоению опыта существования) и когнитивный (сообразно способностью рассуждать и делать выводы). Что здесь важно? Что все эти пять компонентов (representations, instincts, learnings, reasoning, resolution) отражения являются моделями. Напоминаю, что мы сейчас обсуждаем MVI (Minimum Viable Intelligence) - минимальный интеллект, минимальную "интеллектуальную клетку", которую необходимо вырастить в AGI.

Если внимательно посмотреть на схему и проанализировать путь от представления до исполнения, то можно заметить, что MVI недостает очень существенных элементов, без которых нельзя говорить об интеллектуальности такого агента. Это способность к решению задач и активность, то есть возможность понимания, о котором я много писал ранее. Агент должен иметь возможность сравнить текущее состояние среды с целевым (отсюда вытекает необходимость памяти), должен иметь целеполагание, должен уметь менять представления и оценивать качество обучения и рассуждений. Будем предполагать, что инстинкты / безусловные рефлексы - это какая-то начальная неизменная прошивка, которые нельзя быстро и широко менять, но можно маскировать (подавлять), как это происходит у человека. Но пусть и к ним будет обратная связь.

Получается примерно так:

Этой архитектуры достаточно для того, чтобы выращивать из нее интеллектуального агента, с перспективой создания интеллектуальной среды. Только именно этот уровень MVI должен быть имплементирован человеком, дальше система должна уметь развиваться сама.

Давайте, на этой архитектуре проверим требования Саттона (Richard S. Sutton) 1. Не копировать людей -- соответствует, MVI - это абстрактная generic архитектура интеллектуального процесса как такового, никаких специфических человеческих особенностей в ней нет 2. Чистое обучение через опыт -- соответствует, целеполагание Goal Setting дает возможность управлять сравнением Target и Current и менять в обучении начальные прошивки всех трех уровней взаимодействия 3. Сам строит модели мира -- да, блок Representations - это оно и есть 4. Options + Knowledge -- тут важно ответить на вопрос КАК. Архитектура позволяет это делать, но мы пока не рассматривали процессы, методы и алгоритмы 5. «Super intelligence will come from the agent’s own experience, not from human datasets» -- о том и речь))) 6. Нужно возвращаться к continual learning -- да, существование MVI системы в точности равно обучению этой системы взаимодействию с миром. Валидацию на уровне требований Саттона MVI проходит))

Всё это про информацию и социальную коммуникацию, а известно что "информация" — это не вещь, а процесс. Она не существует как субстанция, которую можно "изливать" по каналам, или в каналы. Информация возникает только в рамках триады отправитель — сообщение — получатель и представляет собой событие, акт, а не объект. То есть так же как верно то что "для любви нужны двое", нет информации для самого себя, один человек не может создать или изменить информацию. Сообщение(пакет, поток) само по себе не является информацией. Это лишь потенциальная информация — физическая сигнатура (звук, текст, жест, сперматозоид), структурированная, но лишённая смысла без интерпретатора. Как чернила на бумаге или колебания воздуха — форма есть, смысла нет. Нужен приёмник, компьютер, телеграфист, женщина(если речь про беременность). Информационный акт происходит в момент, когда сообщение взаимодействует с внутренним состоянием получателя и вызывает в нём изменение. Именно это изменившееся состояние и есть информация в строгом смысле слова. Телеграфист принял сообщение что враг атакует, женщина забеременела, вы скоро станете отцом. Поэтому информация всегда субъективна: одно и то же сообщение порождает разные изменения в разных получателях, а иногда не порождает никаких, бессмыслица ,бесплодие. Однако коммуникация возможна только при наличии общего кода и "разделяемого опыта"(совместной жизни, отношений, математики) без них сообщение либо непонятно, либо превращается в шум или неадекватное поведение, соперничество, любовный треугольник. Информация рождается на границе известного и неизвестного. Полностью предсказуемое сообщение не несёт информации — получатель это уже знал, баян, сведения от "капитана очевидность". Но и абсолютно хаотический сигнал, не связанный с его моделью мира, тоже не информативен — это просто шум, под солями некоторые себя так ведут, похотливые наркоманы. Короче, информация — это сюрприз в пределах понимания, структурированная новизна, которую система может включить в свою модель. Очень важна социальная составлявшая, мы все предсказываем реакцию окружающих и стремимся быть как все. Ещё раз, информация — это не объект, а коммуникативное событие: целенаправленное изменение внутреннего состояния интерпретирующей системы, вызванное осмыслением сообщения в контексте её собственной модели мира. Сообщение лишь содержит возможность для информации, но сама информация актуализируется только в момент встречи сообщения с подходящим внутренним состоянием или отношением получателя.

Нет, это вам показалось. Это всё как раз не про это))) Я вообще не использую термин "информация", если вы не заметили, термин значения и данные гораздо уместнее. Информация - это почти литературный (философский, популяризаторский) термин сейчас, он устарел, в математике и физике используется мало. Кибернетика и теория информации, которые развивал Шеннон, не прижились на древе науки. И я в этой теме говорю не о кодировании, а об восприятии. В этом месте вы делаете принципиальную ошибку и снова возвращаетесь в кодирование. И русская пословица "повторенье -- мать учения" не пришла вам в голову. А это очень важно. 1) Формирование моделей мира у MVI-агента происходит между сенсорными и эффекторными маппингами, то есть любое воспринятое воздействие среды отображается в изменение внутреннего устройства. Понимание оно не в именованных смыслах, а в связях. 2) Самый простой пример - обучение нейронной сети, где одна и та же "информация" с каждым проходом меняет веса нейронов. Это и есть процесс обучения. Именно это сейчас и работает в LLM. 3) Пример посложнее - Гамлет Шекспира. Например. Может быть любая книга. Гамлет, прочитанный в детстве отличается по смыслу от Гамлета юношеского прочтения, и отличается от Гамлета взрослого. Понятно почему, да? Не изменяется текст, но изменяется читатель. В одну и ту же реку не то, что дважды не войти, в ОДНУ и ТУ ЖЕ нельзя войти даже один раз))) 4) Ну и самое сложное - "Attention Is All You Need" (перечитайте, кстати, хорошая статья). Процесс восприятия так устроен, что область внимания существует локально. Представьте себе, что у вас хорошие мониторы на ушах и вы сводите какую-то композицию. Первый раз вы слушаете бас, второй раз сакс, третий раз голос, четвертый раз тоже голос, но с концентрацией в произношение. И каждый раз -- это новая "информация". 5) Ну и последний аспект. Модель и Сложность. Представление - это модель. То есть некоторый текст (пусть и не на естественном языке, а на языке маппинга сенсоров). Проблема текста в том, что ни явление, ни смыслы не могут быть выражены на нем полно. И более того, нам нужна не полнота, а ее потеря. Именно потеря полноты позволяет нам производить абстрагирование с требуемой достаточностью и решать задачи.

Да, восприятие — это не приём "готовой информации", а перестройка внутренней модели агента под входные данные. Один и тот же текст/звук/картинка на разных этапах жизни или с разным фокусом внимания меняет нас по-разному, LLM делают ровно то же самое: один и тот же промпт на разных шагах обучения или с разным контекстом даёт разный эффект, да и просто из-за стохасттичности алгоритма, даже при равных прочих. Шеннон, кстати, не умер и не устарел: он просто честно сказал "я меряю только неожиданность символов, семантика не моя". Поэтому теория информации прекрасно живёт там, где и должна — в сжатии, каналах, криптографии. А когда мы говорим про восприятие и понимание, мы выходим за шенноновскую информацию и переходим к взаимной информации, информации Фишера и прагматической информации — и слово "информация" там всё ещё в ходу, просто с прилагательными. По сути мы говорим об одном и том же, только вы гоните "информацию" как что то слишком попсовое, а я считаю, что его можно оставить, если не путать уровни. Святая правда про потерю полноты ради абстракции — это вообще основа и выживания, и эффективности всех моделей, от мозга до трансформера. Трансформеры кстати не очень жалую, ну совсем алгоритм искусственный, режет глаз, как эпициклы, или тёмная материя, уверен вскоре накрутят что то более элегантное, как MLP. Ну и не забываем для чего всё это, мы работаем не просто так, а чтобы продолжить род, программа минимум — династия аля Ротшильды, максимум — чтобы ваша ДНК была хотя бы у 10% населения мира, лет через 500, как у Чингиз Хана у монголов(у Чингиза было не менее 100 детей)

Я думаю, что вы просто не очень хорошо понимаете, о чем именно я говорю. Если вы занимаетесь радиотехникой и системами связи, конечно, вам нет смысла менять свои представления о реальности. Но для тех задач, которые я пытаюсь решить - это слишком примитивные и устаревшие парадигмы. И снова я думаю, что вы просто не разобрались с трансформерами, иначе понимали бы, что это следующий уровень организации сетей -- MLP, декодеры, нормалайзеры, эмбеддинги, атеншены и прочие модули в трансформеры просто входят как части, что обеспечить главное - поведение трансформера как рекуррентного обработчика последовательности данных. Чего MLP (даже самому элегантному) просто не добиться в силу своей архитектуры)))