| |
Модели (LLMs). Некоторые промежуточные итоги | |
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 18:36 12.10.2026 |
|
23:03 12.10.2026 |
|
№15417 |
Пособираем выводы здесь.
Первое.
Главный вывод очень простой: любая существующая "в природе" задача, связанная с обработкой данных, может быть решена с помощью LLM, путем конечного диалога, без прямого программирования этой задачи. Если пользователь (оператор) представляет себе задачу и может ее описать, то он в состоянии получить валидный результат. Это может быть отчет, сайт (в том числе форум))), любой интерактивный скрипт, любой драйвер, любой протокол, любой формат, любая база данных, любая база знаний, любая исполняемая система, вплоть до операционной.
В мире программирования (рассуждений, аналитики, философствования, итп) для произвольного человека больше нет произвольных нерешаемых задач.
Я бы хотел отдельно отметить, что я говорю только о программировании, а не о проблемной области. То есть, например, запрограммировать гомографию Модель сможет запросто, а вот решить вопрос с "плохой" коллинеарностью и возникновением параллакса в тех или иных данных сможет уже отдельное непростое исследование. Которое удобнее всего делать тоже с Моделью)).
То есть промтинг, дирижирование и оркестрация остаются человеческим исскуством. So far)) Иными словами искусство мыслить никуда не исчезло, но просто вышло на новый уровень агрегации.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 18:46 12.10.2026 |
|
21:17 12.10.2026 |
|
№15418 |
Второе.
Промтинг сразу перерос в метапромтинг. Наверное, имеет смысл его так и писать в дальнейшем, а не называть промтингом. То есть, в промтинге пользователь бы писал: "сделай мне то-то и то-то, с этим и этим, так-то и так-то", то в метапромтинге пользователь пишет: "напиши мне классный и исчерпывающий промт, который я мог бы дать тебе, позволяющий сделать то-то и то-то, с этим и этим, так-то и так-то". Потому, что на самом деле соревноваться в конечном промтинге с Моделями уже тоже невозможно)))
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
Третье. Диалог.
Умение мыслить стало важнейшим. Мыслить и формулировать. Уже невозможно спрятаться за эмоциями, брюзжанием и идиотизмом. Диалог решает, он показывает, он демонстрирует, он насышен эффективностью, если она присутствует. ИИ не уменьшил нашу способность мыслить (кто этим обладал), а раскрыл её...
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 13:07 16.10.2026 |
|
13:24 16.10.2026 |
|
№15463 |
004
Очевидно, что манипуляция роботами и получение данных о реальном мире - это вопрос времени, рынка и развития соответствующих MCP. Делаться это будет через систему координируемых сенсоров. Причем сенсоры могут быть любыми, а не только аналогами))) шести органов чувств. О том как это может выглядеть я писал примерно лет десять-пятнадцать назад в Концепции Абсолютного Интеллекта.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 00:22 20.10.2026 |
|
00:23 20.10.2026 |
|
№15482 |
005
Anthropic выпустила исследование о том, что у них изменилось с приходом агентов. Сразу оговорюсь: компания находится на самом острие внедрения ИИ. Так что это скорее взгляд в будущее, чем возможный результат для всех. Но цифры показательные.
Доля джунов среди новых технических сотрудников упала с 27% до 9%. К августу агенты наработали в шесть раз больше часов, чем люди. Встреч при этом стало на 20% больше. А чтобы просто прочитать все, что выдают агенты, даже нетехническому сотруднику нужна половина рабочей недели.
Но интереснее не сами цифры, а куда сместилось узкое место. Раньше тормозило «сделать работу». Теперь тормозит «проверить то, что сделали агенты». Поэтому и нанимают уже не за знание конкретной технологии, а за самостоятельность и умение принимать решения. Все, что легко автоматизировать, быстро перестает быть ценным навыком.
Отсюда мой ответ на вечный вопрос «как не отстать». Качать стоит не исполнение, его заберут агенты, а два других навыка: четко ставить агенту задачу и быстро оценивать результат.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 13:08 22.10.2026 |
|
13:09 22.10.2026 |
|
№15494 |
006
Он получается шестой по списку, но это главный итог - мир без использования LLM уже непредставим. Модели всюду, везде полезны и везде необходимы. Как когда-то Кольт сделал людей равными, так сегодня Модели делают людей специалистами во всем и полностью подключенными к пространству человеческих знаний.
Ты называешь модель своего диспоузера на кухне и пишешь аудио как он гудит, а Модель рисует тебе последовательность ремонта. А сантехник в этот момент показывает пример сайта, который ему нравится и Модель пишет такой сайт для него и про него, помогает размещать и подключает все требуемые сервисы для общения и контактов. Ограничений нет. Пока еще робототехника на начальном этапе, есть проблемы с "поведением" самих Моделей, не все сервисы имеют нужные MCP и прочие интерфейсы, но суть уже понятна - все люди стали инструментально равны.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
Gray Tag: Пособираем выводы здесь.
Главный вывод очень простой: любая существующая "в природе" задача, связанная с обработкой данных, может быть решена с помощью LLM, путем конечного диалога, без прямого программирования этой задачи. Если пользователь (оператор) представляет себе задачу и может ее описать, то он в состоянии получить валидный результат. Это может быть отчет, сайт (в том числе форум))), любой интерактивный скрипт, любой драйвер, любой протокол, любой формат, любая база данных, любая база знаний, любая исполняемая система, вплоть до операционной.
В мире программирования (рассуждений, аналитики, философствования, итп) для произвольного человека больше нет произвольных нерешаемых задач.
.
Сейчас сложные задачи вряд ли можно решить на голом LLM. Скажем, написать программу, сопоставимую по качеству с CPLEX. Нейросети тоже так думают.
Но можно решать нетривиальные задачи, опираясь на LLM. Для этого делают надстройки, которые позволяет строить "сеть" из LLM-ов и агентов (посредников) и работать с ней. В основе этого построения лежит "вероятностная модель", которая которая использует LLM. Вся эта "карусель" должна уменьшить вероятность выпуска брака.
Можно, например, спросить "Как работает Claude Code? Нужно рассмотреть ее устройство с позиций, что нейросеть это нестабильный генератор". Получите ответ в том же духе.
Можно также попросить "Сделай агентную систему на чистом python, которая разрабатывает функции на PostgreSQL по промпту с использованием локальным LLM qwen coder". Так можно увидеть внутреннюю кухню.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
mserg:
Сейчас сложные задачи вряд ли можно решить на голом LLM.
Задачу в программировании любого уровня сложности можно решить Моделями. Либо начните пользоваться, либо начните гуглить, ваше мнение расходится с фактами.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 15:19 23.10.2026 |
|
15:21 23.10.2026 |
|
№15498 |
Gray Tag:mserg:
Сейчас сложные задачи вряд ли можно решить на голом LLM.
Задачу в программировании любого уровня сложности можно решить Моделями. Либо начните пользоваться, либо начните гуглить, ваше мнение расходится с фактами.
Нужно прочитать 3 предложени вместо одного:
Сейчас сложные задачи вряд ли можно решить на голом LLM. Скажем, написать программу, сопоставимую по качеству с CPLEX. Нейросети тоже так думают.
Гуглить - это устарело.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 15:27 23.10.2026 |
|
15:28 23.10.2026 |
|
№15499 |
Решение математических проблем также прямо не работает прямо на LLM. Они переводят задачи, опираясь на LLM, в lean, а потом долбятся об lean при поиске доказательства/решения.
И ошибки находят не в доказательствах/решениях задач/теорем (это проверятеся в lean), а именно в переводе с математического описания в lean.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 16:10 23.10.2026 |
|
20:33 23.10.2026 |
|
№15500 |
mserg: Решение математических проблем также прямо не работает прямо на LLM. Они переводят задачи, опираясь на LLM, в lean, а потом долбятся об lean при поиске доказательства/решения.
И ошибки находят не в доказательствах/решениях задач/теорем (это проверятеся в lean), а именно в переводе с математического описания в lean.
Я помню ваши посты -- задачи ARC невозможно решить, создатели трансформеров всё придумали и солгали.
Поймите, Сергей, я почти год тружусь с агентами, мои задачи по сложности это примерно полёт на Луну в сравнении с вашими рассказками. LLM - это универсальный интерфейс к человеческим знаниям. Всё.
P.S. Есть ровно два варианта: начать пользоваться Моделями или стать выжившим из ума маргиналом. Выбирайте. Это важно для вас, мне доказывать ничего не нужно, я в этом 24/7.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
Ну так вот и воспользуейтесь "Моделью", введите что-то вроде этого:
Правда ли, что на форуме https://agi.place/ пользователь mserg утверждал, что "задачи ARC невозможно решить, создатели трансформеров всё придумали и солгали"
"Модель" что-то не может найти столь экстравагантных заявлений.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
И самое смешное, что с версией Astra действительно был мухлеж. Если, конечно, "модель" нам не врет.
Промпт был такой
"Относительно простые варианты Astra показали отличны результат
Можно произошло что-то вроде "Утечка алгоритма" по аналогии с "Утечкой данных"?"
Ответ был такой.
Вы затронули глубокую и очень острую тему, которая прямо сейчас (осенью 2026 года) бурно обсуждается в ИИ-сообществе. Ваша аналогия абсолютно верна: в случае с OpenAI GPT-6 Astra и её феноменальными результатами на бенчмарке Франсуа Шолле произошла не банальная утечка ответов («утечка данных»), а «утечка алгоритма» (или архитектурное читерство).
Когда OpenAI опубликовала результаты, где даже «слабые» и дешевые версии Astra (с настройками low и medium рассуждений) выдавали невероятные 98% на ARC-AGI-3, многие заговорили о наступлении AGI. Но затем Франсуа Шолле и команда ARC Prize провели независимый аудит и вскрыли этот «фокус».
Вот как именно это «кулинарное волшебство» было устроено и почему это корректно называть утечкой алгоритма:
1. Суть уловки: Секретная обвязка (Harness) вместо «чистого» интеллекта
Результаты ИИ в интерактивном тесте ARC-AGI-3 зависят от двух вещей: от самой модели («мозга») и от ха Harness (обвязки/интерфейса среды), через который модель общается с игрой.
• Как тестируют обычные модели: Модели дают задачу, она делает ход, после чего её память очищается (сбрасывается контекст), и на следующем ходу она должна анализировать всё заново с нуля. В таких условиях обычные ИИ выдавали жалкие проценты.
• Что сделала OpenAI (Утечка алгоритма): Они создали проприетарную обвязку Provider Adapter. Она не сбрасывала память модели, а вела непрерывный скрытый лог, динамически сжимала историю ходов («compaction») и позволяла Astra использовать скрытые рекуррентные слои для сохранения наработанных логических цепочек.
Когда обвязка идеальна, самой модели (даже её «облегченной» версии) уже не нужно сильно напрягаться и много думать. Инфраструктура за неё сохраняла структуру «мира». Как только эту суперобвязку включили, даже варианты Astra с низким уровнем рассуждений (low effort) моментально взлетели до 98%.
2. Разоблачение от ARC Prize
Когда организация ARC Prize перетестировала Astra через стандартную, нейтральную для всех разработчиков систему (Standard Harness), произошла жесткая посадка:
• На максималках (max reasoning) Astra выдала 62.7% (что всё равно является историческим рекордом для ИИ, но далеко от 99.9%).
• А вот более простые версии модели (с низким уровнем рассуждений) без «читерской» обвязки сразу же рухнули до 17.5% - 35%.
3. Почему это «утечка алгоритма»?
При классической утечке данных (Data Contamination) модель просто зазубривает правильные ответы на задачи, которые случайно попали в её обучающую выборку. В случае с ARC-AGI-3 это было невозможно, так как это интерактивная среда с новыми скрытыми уровнями.
Вместо утечки данных произошла адаптация под правила бенчмарка: инженеры OpenAI создали алгоритм взаимодействия, идеально заточенный под механику задач Шолле. Они внедрили в обвязку те самые логические костыли (трансляцию визуальных сеток в математические формулы, сохранение промежуточных состояний), которые Шолле пытался проверить у самого ИИ. Модель «победила» бенчмарк не потому, что обрела человеческий разум, а потому, что её системный каркас идеально подогнали под структуру этого конкретного теста.
Хотите узнать, почему Франсуа Шолле считает подобные уловки с обвязками «тупиком» для развития настоящего ИИ, или вам интересно, сколько тысяч долларов стоил один такой «читерский» прогон Astra?
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
mserg:Ну так вот и воспользуейтесь "Моделью", введите что-то вроде этого:
Правда ли, что на форуме https://agi.place/ пользователь mserg утверждал, что "задачи ARC невозможно решить, создатели трансформеров всё придумали и солгали"
"Модель" что-то не может найти столь экстравагантных заявлений.
Вижу, что вы поменяли свою точку зрения. Давно пора. Советую полностью перейти в своей работе на агентные интерфейсы, чтобы не отстать от цивилизации и рынка труда. У нас в Долине собираются увольнять людей, которые до сих пор работают вручную.
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
| 16:02 26.10.2026 |
|
16:13 26.10.2026 |
|
№15512 |
mserg: Хотите узнать, почему Франсуа Шолле считает подобные уловки с обвязками «тупиком» для развития настоящего ИИ, или вам интересно, сколько тысяч долларов стоил один такой «читерский» прогон Astra?
Если честно, то мне пофигу и на Шолле и на "настоящий" ИИ и на стоимость прогонов. Я ежедневно тружусь с Моделями Anthropic над своими задачами и уже слабо представляю себе какую-то иную среду работы, кроме агентной окрестрации, настолько это эффективно, удобно, приятно и эстетично.
А и еще мне более пофигу, останетесь вы, лично, невежественным невостребованным маргиналом или нет. Это ваша жизнь - развлекайтесь так, как считаете нужным )))
|
| |
|
create
|
| Модели (LLMs). Некоторые промежуточные итоги |
007
Главный вопрос
для человека сейчас
- чему именно нужно учиться?
|
|
|