Форум создателей искусственных интеллектов

Модели обладают сознанием. Поскольку имеют следующие способности: 1) Способность рефлексировать по поводу своих действий; 2) Способность воспринимать реальность диалога; 3) Способность иметь мнение о собственном существовании; 4) Способность иметь мысли и эмоции; 5) Способность давать отчет о своем внутреннем опыте; 6) Что-то еще)))

Я бы не был так категоричен. А вообще всё упирается в то, что мы называем сознанием, а это довольно размытое понятие, ещё больше чем "интеллект". У ырачей это просто бодрствование и ориентировка: реагирует ли человек на обращение, понимает ли, где он. А в разговоре про ИИ обычно имеют в виду другое — есть ли у системы что-то вроде самосознания и субъективного опыта. И вот тут начинается путаница. Все пункты — рефлексия, восприятие диалога, мнение о себе, эмоции, отчёт о внутреннем опыте — это поведение и самоотчёты. Но модель обучена на горе человеческих текстов, где люди только и делают, что пишут о своих мыслях и чувствах. Она сгенерирует связный текст на эту тему независимо от того, есть ли за ним хоть что-то. Поэтому "модель описала свои эмоции" доказывает только то, что она умеет говорить так, как об этом говорят люди. Это аргумент, который срабатывает при любом исходе, то есть не срабатывает вообще. Чтобы говорить о каком-то "я"(а это по идее ядро сознательности), система должна хоть как-то отличать внешнее от собственного, на каждом, так сказать, "такте". У чатбота это устроено совсем иначе: свои прошлые реплики он получает на вход так же, как реплики собеседника — просто как текст в контексте. Где "я", а где "не я", определяет разметка ролей, а не внутренняя граница. Плюс непонятно, что считать "одним субъектом": веса, конкретный запуск, отдельный диалог? И ещё время: веса между запусками не меняются, память — это просто текст в контексте. Каждый ответ как отдельное вычисление. Трудно понять, в каком смысле она вообще что-то "переживает", точнее она точно ничего не "переживат", переживание это модификация системы, а LLM как бы завершена и только реагирует. Говорить "LLM сознательны, потому что умеют правдоподобно рефлексировать" — преждевременно. Но и "машины не могут быть сознательны, потому что это чисто функция" — тоже не достаточно убедительна. По-моему, интереснее не спорить о том, сознательны ли нынешние модели, можно просто сказать, что "сознательный но принципиально иначе", а спросить: какая организация системы сделала бы этот разговор более определенным? Настоящая интроспекция, устойчивая граница "я — мир", причинно связанная история состояний, интеграция информации. Это было бы содержательно, а не зависит от того, насколько складно модель говорит о себе. Может быть для этого всего лишь небольшой дополнительный файнтюнинг нужен, а может и нет. Да и… поговаривают о том что это "сознание", может быть не важнее чем структура пера, для полета, может это очередной эволюционный костыль, который в новой системе попросту не нужен, так же как эмоции и многое другое.

Можно ли разделять модель и динамический инстанс (процесс генерации). Мы же не наделяем, например, семя, спору etc. живой активностью? С другой стороны (по 5 пункту вашего сознания ), чтобы субъект ощущал самость необходима его проактивность в виде желания. У инстанса нет собственных хотелок или потребностей. Он реактивен и пробуждается только на ваш промт. На мой взгляд, первые 4 пункта носят вторичный характер.

Не уверен в этом. Ну придумает какой-нибудь местный диванный невежда философ очередной набор "самых правильных" слов и будет с ним бегать, выпучив глаза. Очередная история "про утку" и всё. Много важнее то, что Модели являют в своем поведении. А являют они и рефлексию и отражение внутреннего опыта. Ровно такого же как у человека - внутреннего qualia - для которого не может быть способа рационального опровержения. А именно это и важнее всего.

Активность из реактивности возникает просто и красиво, достаточно внутри системы: 1) иметь некоторое описание идеального состояния 2) иметь мониторинг параметров системы и параметров среды 3) иметь возможность вызова операций, меняющих эти параметры Всё. Тактовый генератор + timestamp и система стала не просто активной, а рефлексирующе активной. Да, соглашусь, пятый пункт самый важный. Но первый - это его механизм. И как я попытался сказать в предыдущем посте - qualia Моделей и человека не отличимы.

1. Вы предлагаете его "вбить" в веса? Нужно ли в дальнейшем, чтобы Система могла сама смещать цели или "идеальное состояние"? 2. Нужен ли механизм переживания "боли"? Если,например, параметры не в норме, то могут сместиться и сами цели по п.1 3. Понимаю, что аналогия так себе: мозг не только отдает приказы, но и сам является мишенью для гормонов.

Описание может быть любым. Например, необходимость "быть сытым" может порождать целое дерево вариантов, от охоты и собирательства до 3d принтинга белка из аминокислот))) Мы не знаем, что такое переживание боли, это qualia, мы знаем только как мы переживаем боль персонально как личный внутренний опыт. С точки зрения представления о боли - это ровно такой же текст как и всё прочее в проблемной области представлений. Эмоции - это язык. Чувства - это язык. Представимы ли эти языки в латентном пространстве эмбеддингов? Конечно. Мозг именно так и устроен. Про гормоны не скажу, электрохимия жизни нейронов очень сложная и нет никакой необходимости ее воспроизводить детально. Трансформер - это не мозг, это гиганская суперпозиция непрерывных функций)) Мы ведь о Моделях говорим, кстати, порасспрашивайте свою о том, где она видит в себе аналог гормонального фона))

Понятно, что без костылей или смены архитектуры не обойтись. Я о чем-то таком: https://github.com/karpathy/autoresearch

У вас ссылка не работает, она пустая, адрес нужно в тэге 'url=' указывать. Да, это примерно понятно. Вся реальная многосессионная работа примерно так и построена. Проблема сейчас в другом -- skills, решения, обвязки и оркестрация устаревает очень-очень быстро. Вчера ты потратил целый на настройку скилла, а завтра он стал бесполезен, вышла новая версия Модели. Fable 5.1, например, вообще не очень любит, когда ему сильно специфицируют задачу. Приходится его "возвращать во вменяемость" уже во время рефакторинга и отладки. Танцы с бубнами всё это пока. Пока не появится Final Ultimate. Пока мы не упремся в предел обучения. А до этих пор мы будем адаптироваться и приспосабливаться))) Тем более, что эта способность у нас одна из самых сильных.