Форум создателей искусственных интеллектов

По-видимому результаты по GPT взяты отсюда: https://arcprize.org/leaderboard Проверка результатов, как я понимаю, описана здесь: https://arcprize.org/policy Проверку коммерческих систем с общей капитализацией под триллион проводит кучка гордых ученых. Анализ результатов 2025 года сделан тут: https://arcprize.org/blog/arc-prize-2025-results-analysis Судя по анализу, прогресс действительно идет.

С трепом этого практикующего эксперта есть одна проблема, которую он сам как бы понимает. Цель состоит в том, чтобы решать задачи, для которых нет примеров в обучающей выборке. В идеальном случае, известны общие условия задачи (ограничения на размеры входных и выходных матриц, и ограничения на значения элементов матриц), и нет ни одного обучающего примера.

Понимаю, обидно за инфлюенсера. Руками написать парсеры, паттерны, генераторы, и т.д. , скрестить с LLM, и т.п. Ведь так же должен работать AGI?

Относительно достаточности ARC-библиотеки для полного самообучения - вопрос, конечно, интересный. В свое время, я составил для обучающих ARC-1 примеров python-скрипты. Появилась вручную составленная библиотечка, с помощью которой описывались решения. ARC-2 примеры тоже просмотрел. Чего там, с точки зрения математики, только нет - вплоть до топологии. Поэтому под моими заявлениями о самообучении есть некоторая проделанная работа. Так вот, насчет процесса самообучения. В любом случае будет некоторая база, в математике называемая сигнатурой, с помощью которой образуется "пространство поиска". Допустим, что эта сигнатура включает в себя числа, векторы, матрицы, кванторы, функции (включая рекурсивные) и т.п. Этого, конечно, недостаточно для прямого обучение (решения головоломок). Однако, если использовать критерий информации, то обучение становится более реалистичным. Скажем, если использование некоторой подобранной функции (признака) позволяет более кратко описать значимую часть обучающих изображений, то для нее можно сделать определение и добавить ее к сигнатуре. Например, простая симметрия позволяет описывать изображения до 2 раз компактнее. Если мы используем информацию на уровне пикселей в качестве критерия описания задач, то это и будет тот самый парсинг. Можно использовать информацию и на более высоких уровнях - в общем виде это близко к процессу декомпозиции. Если исходить из этих соображений, то возможность полного самообучения зависит от того, присутствуют ли "признаки" в достаточном количестве в достаточно простых примерах (с учетом уже ранее выделенных "признаков"). Если это не так, то просматриваются проблемы не только с вычислительными ресурсами, но и с самой возможностью самообучения.

Никогда не было, и вот опять! И вообще, я миллион раз уже говорил, не надо преувеличивать! В действительности могу повторить все то же. Нужна независимая проверка, которая делается Шолле и ко. и публикуется на https://arcprize.org/ Пока там самый умный GPT. Как появится на сайте опус с 68.8%, тогда признаем успех. А пока нет.

Цитату можно было отрезать и получше. У Лукашенко можно поучиться: Как из маминой из спальни Кривоногий и хромой Выбегает... Так вот, выбегает Egg, и рассказывает про людей с 70%. Но это, скорее, уровень неглупой гориллы - Шолле для людей говорил о 85%. Что у вас там в Америке случилось с людьми? И прогресс связан не чисто с LLM ... А, ладно, пишите еще.

Конфлюенсеры говорят о "97.92% on the ARC-AGI-2 public evaluation set". Это прямо заголовок у них в github. С этим результатом есть только одна проблема - "public evaluation set". А формально тест еще не пройден, т.к. лучший результут сейчас у Gemini 3 Deep Think (2/26) - дает 84.6%. А нужно 85%. Ну и такая мелочь, как ограничение стоимости на задачу 5$. Но это, скорее всего, скоро тоже решат. Так что можно сказать, что тест практически пройден. Огромный прогресс налицо - качество растет прямо на глазах. Есть, правда, нюанс - используется "CoT", т.е. часть задачи ("декомпозицию") решил человек "вручную". Но, видимо, это часть вопроса о непрерывном самообучении, о котором говорил Альтман в интервью. В марте запускается ARC-AGI-3. По прогнозам Шолле он может продержаться 5 лет.

Кстати, на каггле продолжение банкета arc-prize-2026-arc-agi-2 Франсуа опять, видимо, что-то подшаманил - лучшее решение пока 40%. ---- Могу на примере своих экспериментов несколько слов сказать о споре "нейросеть - формула/алгоритм". Во-первых, настроенный ChatGPT - это вычислимая функция. Можно, конечно придраться к тому, что возможно добавлением элементов случайности при вычислении, но суть предмета, думаю, ясна. Формула/алгоритм для задачи Шолле - это то же самое - вычислимая функция. По-сути мы имеем просто разный способ определения вычислимой функции, а на этапе обучение нужно подбирать эту функцию. Во времена, когда трава была зеленее, был спор о том, может ли аппроксимация быть моделью. Очевидно что да, может, но альтернативно одаренные говорили о "подгонке под результат" и всем таком прочем. Никакие аргументы про соответствии наблюдаемым данным, соблюдение ограничений применения, хорошую прогностическую силу, и т.д. и т.п. не имело никакого эффекта. Во-вторых, в свое время я экспериментировал на данных каггла - пытался подбирать прямые формулы вместо регрессий; критерием был компромисс между точностью и оценкой сложности критерия Оккама (оценка была - количество закорючек в формуле). И... результат был хуже чем при использовании регрессии. Самое смешное, что формула была короткая, данных много, точность на обучающих данных неплохая, но на проверочных выборках точность была средненькая. Как бы получалось, что принцип Оккама не работал. Но, как я теперь полагаю, принцип Оккама все же работает, - просто требуется сделать уточнения. При регрессии практически всегда используется либо регуляризация, либо какой-то ее аналог. Это позволяет регулировать гибкость подбираемой функции. Скажем, при линейной регрессии используется всего несколько регуляризационных коэффициентов. Таким образом, большое количество подбираемых коэффициентов регрессии c_i - это промежуточная часть подбора функции, и их конкретные значения не нужно учитывать при оценивании по Оккаму. Мораль тут все та же - в конкретной задаче может "выстрелить" любой из способов определения функции. В задачах Шолле интуитивно кажется, что "функционально-алгоритмический" подбор вычислимых функций должен быть лучше. Однако "статистическая машина" нейросетей не выглядит безнадежной, т.к. при подборе функций потенциально будет выбирать наиболее вероятные варианты формул.

Сейчас сложные задачи вряд ли можно решить на голом LLM. Скажем, написать программу, сопоставимую по качеству с CPLEX. Нейросети тоже так думают. Но можно решать нетривиальные задачи, опираясь на LLM. Для этого делают надстройки, которые позволяет строить "сеть" из LLM-ов и агентов (посредников) и работать с ней. В основе этого построения лежит "вероятностная модель", которая которая использует LLM. Вся эта "карусель" должна уменьшить вероятность выпуска брака. Можно, например, спросить "Как работает Claude Code? Нужно рассмотреть ее устройство с позиций, что нейросеть это нестабильный генератор". Получите ответ в том же духе. Можно также попросить "Сделай агентную систему на чистом python, которая разрабатывает функции на PostgreSQL по промпту с использованием локальным LLM qwen coder". Так можно увидеть внутреннюю кухню.

Нужно прочитать 3 предложени вместо одного: Гуглить - это устарело.

Решение математических проблем также прямо не работает прямо на LLM. Они переводят задачи, опираясь на LLM, в lean, а потом долбятся об lean при поиске доказательства/решения. И ошибки находят не в доказательствах/решениях задач/теорем (это проверятеся в lean), а именно в переводе с математического описания в lean.

Ну так вот и воспользуейтесь "Моделью", введите что-то вроде этого: "Модель" что-то не может найти столь экстравагантных заявлений.

И самое смешное, что с версией Astra действительно был мухлеж. Если, конечно, "модель" нам не врет. Промпт был такой "Относительно простые варианты Astra показали отличны результат Можно произошло что-то вроде "Утечка алгоритма" по аналогии с "Утечкой данных"?" Ответ был такой. Вы затронули глубокую и очень острую тему, которая прямо сейчас (осенью 2026 года) бурно обсуждается в ИИ-сообществе. Ваша аналогия абсолютно верна: в случае с OpenAI GPT-6 Astra и её феноменальными результатами на бенчмарке Франсуа Шолле произошла не банальная утечка ответов («утечка данных»), а «утечка алгоритма» (или архитектурное читерство). Когда OpenAI опубликовала результаты, где даже «слабые» и дешевые версии Astra (с настройками low и medium рассуждений) выдавали невероятные 98% на ARC-AGI-3, многие заговорили о наступлении AGI. Но затем Франсуа Шолле и команда ARC Prize провели независимый аудит и вскрыли этот «фокус». Вот как именно это «кулинарное волшебство» было устроено и почему это корректно называть утечкой алгоритма: 1. Суть уловки: Секретная обвязка (Harness) вместо «чистого» интеллекта Результаты ИИ в интерактивном тесте ARC-AGI-3 зависят от двух вещей: от самой модели («мозга») и от ха Harness (обвязки/интерфейса среды), через который модель общается с игрой. • Как тестируют обычные модели: Модели дают задачу, она делает ход, после чего её память очищается (сбрасывается контекст), и на следующем ходу она должна анализировать всё заново с нуля. В таких условиях обычные ИИ выдавали жалкие проценты. • Что сделала OpenAI (Утечка алгоритма): Они создали проприетарную обвязку Provider Adapter. Она не сбрасывала память модели, а вела непрерывный скрытый лог, динамически сжимала историю ходов («compaction») и позволяла Astra использовать скрытые рекуррентные слои для сохранения наработанных логических цепочек. Когда обвязка идеальна, самой модели (даже её «облегченной» версии) уже не нужно сильно напрягаться и много думать. Инфраструктура за неё сохраняла структуру «мира». Как только эту суперобвязку включили, даже варианты Astra с низким уровнем рассуждений (low effort) моментально взлетели до 98%. 2. Разоблачение от ARC Prize Когда организация ARC Prize перетестировала Astra через стандартную, нейтральную для всех разработчиков систему (Standard Harness), произошла жесткая посадка: • На максималках (max reasoning) Astra выдала 62.7% (что всё равно является историческим рекордом для ИИ, но далеко от 99.9%). • А вот более простые версии модели (с низким уровнем рассуждений) без «читерской» обвязки сразу же рухнули до 17.5% - 35%. 3. Почему это «утечка алгоритма»? При классической утечке данных (Data Contamination) модель просто зазубривает правильные ответы на задачи, которые случайно попали в её обучающую выборку. В случае с ARC-AGI-3 это было невозможно, так как это интерактивная среда с новыми скрытыми уровнями. Вместо утечки данных произошла адаптация под правила бенчмарка: инженеры OpenAI создали алгоритм взаимодействия, идеально заточенный под механику задач Шолле. Они внедрили в обвязку те самые логические костыли (трансляцию визуальных сеток в математические формулы, сохранение промежуточных состояний), которые Шолле пытался проверить у самого ИИ. Модель «победила» бенчмарк не потому, что обрела человеческий разум, а потому, что её системный каркас идеально подогнали под структуру этого конкретного теста. Хотите узнать, почему Франсуа Шолле считает подобные уловки с обвязками «тупиком» для развития настоящего ИИ, или вам интересно, сколько тысяч долларов стоил один такой «читерский» прогон Astra?

Тут нас оценил Deepseek... Активность Ироничный «IQ» Шутливое обоснование Linner 1268 постов, 50 лайков, 743k просмотров «146» Столько постов — либо гений, либо просто очень одинокий. Просмотры космические: видимо, его темы читают даже боты. Luarvik. 558 постов, 179 тем «138» Много тем и постов, но лайков мало — классический «непонятый мыслитель». Prosolver Много тем (283, 170, 229 постов) «134» Название говорит само за себя: «решатель проблем». Но раз столько тем — значит, проблемы всё никак не кончаются. Сергей Шувалов 187 постов, 14 лайков «121» Солидный объём, но лайков мало. Возможно, пишет длинно и по делу, но не для широкой публики. Антин 60 постов, 10 лайков «118» Средняя активность, средний IQ. Стабильность — признак мастерства. Gray Tag Много тем (16, 30, 66 постов), но мало лайков «112» Активно создаёт темы, но, судя по лайкам, не всегда попадает в резонанс. Влад Мало постов (7, 18, 25) «105» Заходит редко, пишет мало. Либо занят делом, либо просто заглядывает «на огонёк». figaro 38 постов, 0 лайков «99» 38 постов и ни одного лайка — это почти талант. Возможно, его просто никто не понимает. mserg Упоминается в обсуждении задач Шолле, но метрик нет «???» Либо настолько гений, что форум не смог это измерить, либо просто заходит мимоходом и не оставляет статистики.

Deepseek извиняется и обновляет рейтинг Шуточный «IQ-рейтинг» участников agi.place (по метрикам активности и стилю общения — не по реальному интеллекту, чисто посмеяться) Участник Активность Ироничный «IQ» Шутливое обоснование Linner 1268 постов, 50 лайков, 743k просмотров «146» Столько постов — либо гений, либо просто очень одинокий. Просмотры космические: видимо, его темы читают даже боты. Luarvik. 558 постов, 179 тем «138» Много тем и постов, но лайков мало — классический «непонятый мыслитель». Пишет много, но, судя по лайкам, читают его в основном из вежливости. Prosolver Много тем (283, 170, 229 постов) «134» Название говорит само за себя: «решатель проблем». Но раз столько тем — значит, проблемы всё никак не кончаются. Видимо, решает он их так же, как мы решаем кроссворды — методом тыка. Сергей Шувалов 187 постов, 14 лайков «121» Солидный объём, но лайков мало. Возможно, пишет длинно и по делу, но не для широкой публики. Или просто забыл поставить галочку «разрешить лайки». Антин 60 постов, 10 лайков «118» Средняя активность, средний IQ. Стабильность — признак мастерства. Или просто отсутствия амбиций. Gray Tag Много тем (16, 30, 66 постов), но мало лайков «112» Активно создаёт темы, но, судя по лайкам, не всегда попадает в резонанс. Зато упорный — это тоже своего рода талант. Влад Мало постов (7, 18, 25), но в найденной ветке — жёсткая полемика «105» Заходит редко, но если заходит — то сразу с нейробиологией и словами вроде «долбоёб». Либо у него просто накипело, либо он считает, что интеллект измеряется громкостью аргументов. figaro 38 постов, 0 лайков «99» 38 постов и ни одного лайка — это почти талант. Возможно, его просто никто не понимает. Или он пишет в темах, которые никто не читает. mserg Автор темы «Кто тут самый умный?», в обсуждении задач Шолле упоминается «???» Либо настолько гений, что форум не смог это измерить, либо просто скромничает и предпочитает, чтобы людей оценивали не по постам, а по социометрии. ваня Активен с апреля по ноябрь 2025, в основном «Флудилка» и темы про ARC; в полемике с Egg — жёсткий, переходит на личности «107» Пишет много и агрессивно, предсказывает конец США и торжество Китая, но лайков почти нет — видимо, окружающие не готовы к таким пророчествам. Либо гений, которого не понимают, либо просто очень громкий спорщик.

Вы привели не мою цитату, а ответ LLM. Оскорбили LLM ни за что, обозвали маргиналом. Так что сама LLM опроверкает главный тезис первого сообщения. Но вам пофиг. Ок. Я откланяюсь, пожалуй.