Форум создателей искусственных интеллектов

Ну вот хочется понять рамки, когда именно это станет не очевидно, каким образом чат-бот сможет полностью пройти ТТ, так как пока что ChatGPT в лучшем случае тянет на некую справочную службу в стиле "китайской комнаты", только выдающий не точный текст, из какого либо источника, а вроде бы новый, но вероятней всего близкий по содержанию с имеющимся. Какова может быть проверка того что "черный ящик"(не известно что внутри, может даже человек) действительно понимает, а не только более мене удовлетворительно складывает слова, на соответствующий запрос?

Мультимодальность… Да, все о ней говорят, я и сам лет 5 назад думал что это тот самый "грааль ИИ", но теперь хз, сомневаюсь, что это существенную даст подвижку, разве что маркетинговую, "хайповую", как сейчас с текстовыми LLM. Как по мне, вообще глупо ожидать что нейросеть обучаемая бекпропом, на каких то производных данных, вроде текста и картинок, вдруг сложит более менее "верную" модель мира, близкую человеческой, или эффективнее. Будут максимум получаться оверфиты под отдельные виды датасетов, более менее сносно их симулирующие. Что по сути мало отличается от пресловутой "китайской комнаты", хотя не стоит недооценивать практической пользы от китайских комнат, это очень может быть полезно в почти всех областях, но это не СИИ и в принципе им стать не может. Такой СИИ не сумеет изобретать, где под "изобретать" я имею в виду не уровень Эйнштейна или Ньютона, а базовая бытовая изобретательность, которой пропитан весь быт и ремесло каждого человека. Конечно такую изобретательность может на 95-99% наверно заменить и китайская комната, так как вероятно все эти мелкие бытовые эвристики и догадки, кто-то когда то уже делал и документировал, но… всё равно это довольно быстро привело бы такой ИИ к стагнации. Потому что это никакой не ИИ а просто - поисковик на нейросетках. Нейросетки и вообще ML безусловно — основной инструмент моделирования СИИ, тут бессмысленно спорить, другое дело что ещё долго люди будут маяться с тем как обучать эти системы и как их строить таким образом что бы в них для начала физическая модель мира, гармонично укладывалась. На самом деле действительно сложный вопрос как получить "истинную мультимодальность", а не очередной оверфит. Мультимодальность же не в том чтобы теперь вместо только картинок, подавать смешанный вектор картинки и например фурье спекра звука а на выходе например детектить что за зверь, или рэпер, ну или по тексту рисовать чепуху. Всё дело в получении модели мира, где в базисе идёт физика, а затем всё остальное, в виде множества объектов с рядом свойств, в рамках законов физики. Если бы мне кто дал пару сот лимонов зелени и большую галеру в хотя бы 30-50 гениальных агнцев, я бы начал копать на синтетических данных, например на близких к реалу 3д играх, с реализованной там близкой к реальности физикой и графикой.

Привет, вот что я думаю по пунктам: I этап: Искусственный интеллект стучится в двери (1–2 года) 1. Мультимодальность: Уже внедряется, хотя… это как говорится "первый блин", системы интегрируют текст, изображения, код, оно уже вполне хорошо работает, но всё только в начале пути. 2. Универсальные ассистенты: Тренд реален, но сложность в синхронизации с ПО и создание интуитивного интерфейса. 3. Улучшенный поиск: Достижимо, но поиск с глубокой аналитикой ограничен доступом к данным, будет полно палок в колёса с этикой, правами и тд. 4. Самостоятельные агенты: Прототипы существуют, но они ещё далеки от массового внедрения., надёжность остаётся проблемой, да и работы ещё очень много, не 1-2 года. 5. Гуманоидные роботы: Вероятны тестовые сценарии, но не массовая автоматизация, тоже далеко не 1-2 года, 10 в лучшем случае, чтобы на улице встретить. 6. Сокращение найма: Поначалу на десятки %, но адаптация людей затормозит процесс, тут вопрос уже политический, проблема определённо будет уже вот вот. 7. Снижение галлюцинаций и увеличение контекста: Уже в работе. Локальные вычисления для мощных ИИ — сложный, но необходимый шаг. II этап: Полноценный ИИ (3–5 лет) 1. Искусственное сознание: Пока недостижимо. Возможны системы с улучшенным планированием в узких задачах. LLM пока это своего рода супер крутой рекомбинирующий поисковик, "рассуждения" реализованы как просто дополнительный этап дробления, на подзадачи и затем их обычная последовательная генерация(следующий токен по предыдущим). Это не то "сознание" как у человека, ну совсем. 2. Масштабирование и память: Контекстное окно увеличивается, но работа с крупными проектами потребует кардинально новых подходов. 3. Искусственные личности: Возможно в виде "цифровых персонажей", воплощенные дорого и вероятно не очень целесообразно в массовом количестве. 4. Интеграция ИИ в программы: Процесс идёт, но вызовы связаны с UX и адаптацией пользователя. 5. Сеть интеллектуальных агентов: Теоретически, это возможно, но взаимодействие между агентами остаётся открытым вопросом. Потенциал определенно есть, в идеале специализация агентов и децентрализация такого цифрового "сознания", но много проблем и не решенных вопросов. 6. Военные дроны: Реалистично, работа идёт, потребует строгого контроля. Риски применения значительны. 7. Роботы в физическом труде: Ограничено экономической целесообразностью, бабы пока делают дешевле рабов чем роботы, по крайней мере в ближайшие лет 10. 8. Автономный транспорт: Развитие продолжается, основные барьеры — регуляции и инфраструктура. 9. Нейроинтерфейсы: Возможны прототипы, но массовое внедрение под вопросом, может быть много злоупотреблений и травм. 10. ИИ в искусстве: Уже заметный тренд, но искусство останется совместным полем человека и машины, так как всегда на границе эксклюзива, а не того что доступно массам. 11. Ускорение науки: Прогресс ускорится за счёт "копилотов" в науке. 12. Наводнение на рынке труда: Вероятно, но адаптация может смягчить кризис. 13. Общественные протесты: Вполне возможно. Проблема — слабая социальная политика и реакция властей. III этап: Сверхинтеллект (10–15 лет) 1. ИИ с обучением как у человека: Пока гипотеза. Потребуются радикальные научные прорывы. 2. Робототехника: Замена людей возможна, но вопросы стоимости и управления остаются. 3. ИИ в искусстве: Конкуренция с человеком возрастёт, но творчество не исчезнет. По сути и сейчас техника в творчестве уже не важна, важен бренд, имя творца, которое раскручивается покупками у него(неё) творений за большие бабки. 4. Религия: Эффекты могут быть, но прогнозы выглядят спекулятивно. Хотя это интересный вопрос, в какой то момент, лет думаю через 50, это станет актуально, когда действительно будет уже почти что СИИ. 5. Военные системы: Управление боевыми действиями ИИ реально, но несёт глобальные риски. Скайнет конечно в ряд ли возможен, по крайней мере ИМХО это менее вероятно чем запуск ядерных ракет по пьяни или в каком либо неадеквате, но… да, всё будет управляться автоматикой с ИИ. 6. Общественный строй: Утопия или антиутопия зависят от контроля за ИИ. Прогноз слишком неопределённый. Можно сделать так что все будут счастливы, а можно что будут счастливы только один на миллион, как сейчас. 7. Рынок труда: Реальна необходимость безусловного дохода, но его внедрение будет политически сложным. Думаю речь о десятках лет, 30-50, когда оно будет повсеместно и адекватно(ну хотя бы унцию золота в месяц в перерасчете). 8. Прорывы в науке и медицине: Вероятны. Технологии термоядерной энергии, генной инженерии и цифрового бессмертия — долгосрочные цели.

Такс… небольшой экскурс в историю… Напомню, в 1950-х годах ученые были УВЕРЕННЫ, что термоядерные реакторы будут работать через несколько десятилетий, но проблемы стабильного удержания плазмы, потерь энергии и материала стен оказались куда сложнее. Сегодня мы всё ещё далеки от коммерческого термоядерного синтеза. А это всего лишь технология, инженерная ловкость рук, не фундаментальная проблема. То же было с вирусами после изобретения антибиотиков, думали что вот уже, но оказалось, что вирусы куда сложнее атаковать, чем бактерии. Эффективные антивирусные препараты и вакцины остаются трудной задачей, и до сих пор появляются новые неизлечимые вирусы. Все были уверенны что в 2000 году летающие автомобили станут массовым транспортом, где они? Первые успешные эксперименты с квантовыми вычислениями были в 1990-х годах но проблемы с масштабируемостью кубитов, исправлением ошибок и охлаждением оставили технологию на уровне прототипов даже в 2025 году. И это может затянуться как с термоядом на пол века и больше. В 1956 году на конференции Дартмута было заявлено, что создание "машинного разума" займёт 10 лет. Но отсутствие вычислительных мощностей, данных и понимания основ интеллекта привело к десятилетиям "зимы ИИ". Потом новая зима в 80е, на этот раз в основном из-за экспертных систем, которым тоже пророчили "станут СИИ через 5 лет". Но всё это нормально, особенно при капитализме, когда хайп = бабки, ну и вообще приятно помечтать о хорошем. Однако стоит быть готовым что СИИ этот хайп LLM не закончится, да конечно это круто, это изменит мир, возможно как и гугл или даже как веб вообще, но сотни сложных проблем могут подстерегать за углом, которые могут застопорить процесс на десятилетия или даже сделать подход к СИИ тупиковым и остаться для специального использования. ИМХО единственное что реально можно сделать бабками, это дойти до предела масшбаируемости LLM, ещё на два три порядка увеличить количество весов сетки, пока оно будет давать какой то дополнительный профит. И получится почти идеальная китайская комната. Да, она будет великолепна, в игры типа "Что Где Когда" с ней соревноваться не стоит. И вообще, на 99% она будет как СИИ, причем намного интереснее, приятнее, позеленее чем коллега, специалист по какому либо вопросу, или даже друг. Но ЭТО КИТАЙСКАЯ КОМНАТА, такой "разум" можно сравнить с батаном с идеальной памятью, которому вскормили все книги и тексты с сети, показали картинки фильмы и звуки. Вроде всё знает, всему может подражать, но… как минимум это девственник, невинное существо, а жизнь нужно ЖИТЬ, хлебнуть горя и радости, чтобы понять что к чему.

Про невинность это я так, для юморка)) ИМХО через 5–10 лет то, что будут называть искусственным интеллектом, вероятно, будет основываться на совершенно иных алгоритмах и принципах обучения, чем сейчас. Логика трансформеров, где ключевым элементом является слой "внимания" поверх MLP, утратит своё доминирующее положение, таких кастомных слоёв под разные данные будет сотни. Появится множество новых, принципиально различных архитектур и слоёв и не факт что это всё будет бэкпропное(читай жутко медленное). И эти компоненты, скорее всего, будут обучаться не совместно в единой модели, что сейчас является крайне медленным процессом, а по более эффективным, модульным подходам. Современные трансформеры в чистом виде будущем останутся лишь как инструмент для генерации текста, для чего они собственно и содавались. Мультимодальность, хотя её уже начинают развивать, находится на самых ранних стадиях. Полноценной интеграции разных типов данных (текста, изображений, звука и так далее) ещё предстоит пройти долгий путь, который займёт десятилетия. Самое важное, что пока почти никто не задумывается над последовательностью обучения. Сейчас ИИ в основном занимается "тупым" структурированным запоминанием. Пофиг как фаршировать трансформер, можно начать с высшей математики или с элементарной одинаково, потому что оно не формирует целостное видение мира, метамодель. Не создаётся иерархия закономерностей, которая бы отражала взаимодействие всех элементов универсума и могла бы сформировать осмысленное мировоззрение. Чтобы ИИ вышел на новый уровень, необходим качественно иной подход к обучению. Он должен уметь не только интегрировать информацию из разных источников, но и понимать её взаимосвязь, формируя системное восприятие реальности. Такой ИИ будет способен выделять ключевые закономерности, строить причинно-следственные связи и формировать что-то вроде "интеллектуального ядра" — основы, которая позволяет осмысленно адаптироваться к новым данным и контекстам, путём так сказать достройки. Такая система выращивается из очень простой. Если начать ей фаршировать чем то сложным она это никак не воспримет, так как оно не "приСОВОКУПИТСЯ" к её метамодели, модель "не поймёт", а не тупо запомнит как нынешние сетки, потюнив веса. Это потребует кардинальных изменений в архитектуре. Возможно, будущие ИИ-системы будут состоять из множества специализированных модулей, каждый из которых обучается отдельно, но умеет взаимодействовать с другими через сложные механизмы обмена данными. Например, один модуль может быть ответственен за обработку зрительной информации, другой — за анализ текста, третий — за прогнозирование. Однако ключевым станет "метамодуль", способный интегрировать результаты их работы и принимать осознанные решения, опираясь на междисциплинарный подход. Кроме того, развитие ИИ должно идти в сторону само генерации архитектур и самообучающихся систем, которые могут самостоятельно определять, какой аспект информации важен для их задач, и планировать процесс обучения. Это предполагает переход от традиционного, строго детерминированного обучения к гибким моделям, способным адаптироваться на ходу. Повторю самое главное — ИИ будущего должен начать формировать собственную концепцию реальности, единую модель. Это потребует создания алгоритмов, которые смогут "осознавать" контекст, учитывать долгосрочные последствия своих решений и даже задаваться фундаментальными вопросами, вроде тех, которые стоят в основе философии. Только так ИИ сможет перейти из инструмента в категорию полноценных участников интеллектуальной среды. А чтобы добавить ДУШУ в ИИ, нужны эмоции, способность испытывать муку и стыд.

Класс! Я в последнее время тоже балуюсь с математикой и физикой, вспоминаю и даже узнаю то что никогда не знал, благо с современными LLM можно быстро получить ответы на вопросы, "разъяснения на пальцах" круче любого преподавателя. Чисто ради интеллектуального удовольствия, как говорится "вилами по воде", но приятно)))

Симпатичная философия, но конкретно к ARC она имеет скорее косвенное отношение. Мультимодальность, агентность, мотивация, культурное наследие — всё это, возможно, когда-нибудь пригодится для создания универсального интеллекта. Но задачи Шоле — это не про понимание мира в широком смысле, а про способность распознавать и применять визуальные абстракции. Это не "жизнь в теле", а манипуляции с пиксельными паттернами. В ARC всегда есть явные или скрытые трансформации: перемещения, повороты, отражения, масштабирования, замены цветов, составление или разбиение форм. Мы легко узнаём эти штуки, потому что имеем богатый визуальный опыт. Но для модели это неочевидно — ей нужно специально объяснять, что такое "поворот на 90°" или "зеркальное отражение". Ни CNN ни GPT такому специально не обучали, это не статистика токенов, а чистая геометрия + логика. А мы люди с таким сталкиваемся с детства, но нужно отделить именно относящиеся к этому задачи и данные от всего остального, чтобы не закончить не начав. Поэтому для продвижения здесь нужен не симулятор тела, а тс. "визуальный компилятор". Сначала — обучить модель распознавать базовые трансформации по паре картинок. Потом — научить её определять цепочку преобразований: например, "перемещение вправо", затем "поворот", затем "смена цвета". И только потом подключать реальные задачи из ARC, чтобы оттачивать композиции и логику применения. Не надо сразу лепить GPT в Minecraft и учить его щупать камень, чтобы понять отражение по оси X. Надо тренировать на чётко заданных визуальных задачах с понятной структурой. Если модель не может объяснить, как один объект стал другим — она в принципе не сможет решать ARC на уровне здравого смысла, хоть ты её и обложи сенсорами и целями. Простой пример: дана картинка с синим квадратом, а потом — та же картинка, где квадрат стал зелёным и сдвинулся на три клетки вправо. Модель должна уметь выдать: "перемещение вправо на 3, смена цвета с синего на зелёный". Пока она не научится это декомпозировать, о высокоуровневом понимании говорить рано. Начинать надо с простого, но объяснимого. Этим ML пока не занимался(не учили этому): объяснимым выявлением элементарных визуальных операций, этому нужно СПЕЦИАЛЬНО УЧИТЬ(как в прочем и десятками других фишек человеческого опыта, если речь уже про "AGI" почти как у человека). Всё упирается не только в данные, а в структуру опыта и специфические задачки, развивающие тот или иной скил. Это можно формализовать, не прибегая к телесному воплощению или культурному багажу — достаточно зрительного опыта и чёткой постановки задач. Это путь быстрее, проще и практичнее для ARC-специфики. Ну и вообще это более целенаправленный и ОСОЗНАННЫЙ путь решения задачи, а не "сделать всё как у человека и ждать чуда". Когда модель сможет "рассказать" что произошло с объектом между двумя состояниями — вот тогда появится шанс на качественное решение таких задач. Пока же мы чаще видим либо угадайку, либо brute-force. Так что стоит меньше говорить о мотивации ИИ, и больше — о геометрии и преобразованиях. ARC — это не про желание, это про структуру. Ну и да, конечно, когда её решат, то это ничего не изменит, подобных скилов у человека десятки ещё есть, чему нужно обучать специализированно, которые "просто так" не возникнут, если учить угадывать следующее слово или описывать\генерировать картинку. Как то так. PS: Далиб мне пару десятков миллионов долларов, чтобы нанять десяток дерзких агнцев, чтобы игрались на вычислительном кластере в пару сотен видях, через год бы решил бы арк, зуб даю))