Форум создателей искусственных интеллектов

При использовании указанной выше сигнатуры максимальная глубина поиска количества закорючек в формуле - 5, т.е. если оценка сложности алгоритма подбора функции выше O(n⁵), то задача не решается. Если, конечно, использовать мощное оборудование, можно нарастить максимальную глубину до 7 или более. Рассмотрим задачу d631b094. Если выписать действительно "переборное решение", то получим следующее (x-входная матрица) f(x) = max(x)*sum(bool(x)) Итого 6 закорючек - задача в лоб перебором не решаема. При использовании декомпозиции исходных изображений имеем x=max(x)*bool(x) Т.е. глубина 5 - эта задача решаема перебором. Получаем три аргумента x, c=max(x), m = bool(x) При использовании декомпозиции целевых изображений имеем y=monomatrix(w, 1, e) Здесь w - ширина матрицы, e - цвет. Глубина поиска 3 (высота вынуждено равна единице - не является параметром для поиска) Далее решаем 2 задачи - поиск функции вычисления w в зависимости от x, c, m, и функции вычисления "e" в зависимости от x, c, m. Глубина решения будет будем 2 и 1 соответственно. С одной стороны, для решения задачи использован перебор. С другой стороны нерешаемая задача решилась. Фокус тут состоит в том, чтобы использовать полиномиальные алгоритмы, которые экспоненциально снижают количество вариантов. Т.е. с ростом "размера задачи" общее число шагов все равно растет экспоненциально, однако основание экспоненты становится меньше. Возьмем, например, декомпозицию исходных изображений. Подбор функции требует глубины поиска 5: x=max(x)*bool(x) Однако, при поиске в ширину используются свободные переменные (обозначим их через знак вопроса). Т.е. функции в ходе поиска могут выглядеть так: x = max(x)*? x = ?*bool(x) Если использовать библиотеку интервального анализа, то x = ?*bool(x) приведет к подзадаче поиска свободной переменной, т.к. для каждой обучающей пары эта переменная будет выявлена как постоянная. Таким образом, выявление формулы декомпозиции x=max(x)*bool(x) потребуется глубина не 5, а 4.

Просто Вы рассматриваете задачи, которые может решить даже о1))) И зачем Вы рассказываете решение конкретных задач, дайте метод, который решает хотя бы 87% всех как о1))

Здесь происходит описание элементов решателя с примерами, а не разбор решения примеров. Народ же хочет понять как происходит мышление - поэтому и приводится разбор примеров, а не просто описание. Описание задачи сводится к системе функционально-алгебраических систем - немного людей, которые это осилят. - поэтому изложение происходит в упрощенной форме, понятное, думаю, большинству. И, опять же, на данный момент по сведениям https://arcprize.org рекорд на скрытых данных составляет 55.5%, на полускрытых данных - 75.7%. Рекорд на полускрытых данных принадлежит алгоритму o3(tuned), второе место на полускрытых данных составляет 53.6%. Все возвращается к тому, что o3 не работает так, как openai пытается как бы заявлять. Для того чтобы им поверили, нужно чтобы хорошо работал o3 а не o3(tuned), и демонстрировать результаты на скрытых данных. Кстати, у нас в конторе, обсуждали эту задачу. У коллег первая же идея была - использование LLM. Но нужно сгенерировать побольше примеров. Можно было, скажем, на Python создать скрипты решения всех обучающих задач, а для генерации использовать рандомизацию каждого из этих скриптов. Далее сгенерировать фигову тучу примеров и обучить в LLM (в ламе, например). В соревновании за 2019 приводились отдельно обучающие, тестовые и оценочные (evaluation - их разработчики могли использовать для локальной проверки при обучении на обучающих данных, и для обучения алгоритма для проверки на тестовых). Анализ примеров предвещал неплохие результаты - значимая часть примеров для проверки имела ту же "формулу" и что и некоторые обучающие примеры, или же близкие к ним. Я им сразу говорил, что такая процедура лишена смысла, т.к. в действительности нужна система, которая способна решать задачи не схожие с обучающими. Для получения гладкой оценки, скажем, на 100 примерах, "первые" примеры должны иметь максимальную схожесть с обучающими примерами, а "последние" примеры должны иметь "нулевую" схожесть. При этом изменения сложность самих примеров должна быть равномерной по всей шкале от "первых" до "последних" задач. Тогда по мере интеллектуализации решателя, он "гладко" будет увеличивать количество решаемых примеров. Поэтому для тестирования важна не только сложность примеров, но и отличительность их от примеров обучающих. О опять же, все возвращается к неспособности o3 решать простые примеры (со слов Шолле) - тут возникает эффект а ля "утечка данных", что обесценивает результаты.

Я вижу другое, вместо того, чтобы показать алгоритм решателя (ARC задачу я ему придумаю сам, чтобы не было утечек)))), Вы что-то очень долго и мутно рассказываете. Алгоритм o1 такие задачи решает, я это проверял и хорошо представляю себе как работает генеративный трансформер. Ваш алгоритм существует только в Ваших рассказах и смутных желаниях))). В этом есть очень большая разница между LLM и какими-то переборами, которые Вы проповедуете.

Если Ваш «o1» решает ARC задачи без подсказки, то где перечисление подмеченных принципов (особенностей в своеобразии) преобразования по размещению, сочетанию и перестановкам элементов участвующих в задаче?

Там же - в решении. Спрашиваешь его про подмеченные принципы и он тебе хорошим русским языком (без перестановок и особенностей в своеобразии) отвечает как и почему он делает. ))) Влад, Вы сильно отстали от жизни в своем своеобразии, с ИИ-инструментами люди уже пару лет общаются на естественном языке))) upd: Вот я привел пример маленького кусочка нашей совместной работы: https://agi.place/?ai=9&msg=11264#11264

А что я проповедую? Я говорил, что решение задачи состоит в построении вычислимой функции, которая обладает определенными свойствами: соответствуют обучающим примерам, не валится при вычислении тестовых изображений, и т.д. Я говорил что нужна сигнатура, определяющая "язык" для записи функции (программ). Сигнатура определяет пространство допустимых функций (программ), в которой нужно осуществить поиск. И т.д. Функциональное пространство суть есть дерево (точнее, DAG), узел которого есть функция (программа). В этом DAG нужно найти наиближайший к корню узел (функцию/программу), которая отвечает нашим требованиям. Вопрос состоит в решении функциональной системы. А теперь насчет o3, а которой нам никто не расскажет. Идем сюда https://arcprize.org/blog/oai-o3-pub-breakthrough и читаем раздел "What's different about o3 compared to older models?". И что там насчет сути (т.е. адаптации к новизне)? Надо же, "Синтез программ" для новых задач - а не об этом ли я "проповедаю"?. Оказывается для решения ARC-задач требуется "рекомбинация", с помощью которой создаются новые программы, чем суть осуществляется в пространстве функций (программ). Оказывается, как пишут дальше, без этого LLM решает только 5% ARC-задач. Поиск может происходить регулярным образом, случайным, по эвристике (полученной, скажем, глубоким обучением), и т.п. Игра в слово "перебор" не имеет смысла - он будет все равно, но может быть направленным, усеченным, и т.п.

Это тоже к Владу, он самый большой специалист по системам)) Давайте еще раз: я решал с о1 задачи ARC и опубликованную Андреем в стартовом посте и даже привёл ее в качестве примера. Я не хочу разбираться в том, что именно Вам не нравится в решении (это будут очередные слова), я прошу Вас привести своё общее решение задач ARC, которое я мог бы применить к произвольной задаче. Вы этого не можете. Зачем мы продолжаем эту бессмысленную беседу? По факту о1 решает ARC, по факту Ваши методы не существуют иначе чем фантазии. Всё. Да, LLM - это алгоритм генерации алгоритмов, это программа создания программ, это система продуцирования систем, я примерно два года об этом рассказываю. Ваше предположение, что можно просто перебором генерировать произвольные алгоритмы, проверять discrepancy и адаптировать путём минимизации ошибки - рано или поздно закончится "изобретением" нейронных сетей как универсального аппроксиматора. Так что Вы на правильном пути. Прочитайте еще про 13ую проблему Гильберта и теорему Колмогорова-Арнольда. Очень полезно будет.

Вот именно это и не работает для ARC задач - "чудо-аппроксиматор" был еще до серии "o". https://arcprize.org/blog/oai-o3-pub-breakthrough А потом Шолле описывает, что нового в серии "o". Речь идет о поиске в пространстве программ, а не о универсальном аппроксиматоре. Так что кто-то из вас с Шолле не прав. Еще раз - мопед Шолле. Я могу сказать, что мне не нравится в вашем решении и что Вы пишете. 1. Отсутствуют реальные результаты по решению ARC-задач как с помощью "o1", так и с помощью "o3", Есть результаты по системе, которую Шолле называет "o3(tuned)". "o3" и "o3(tuned)" - это не одно и то же. Проверить "o3" контора openai почему-то не захотела. 2. Задачи нужно не просто решить, а решить эффективно. Результат, на который Вы ссылаетесь (87%), отображен на графике стоимости (см. его по ссылке выше). Цена решения несколько тысяч баксов на одну задачу. Чтобы пройти тесты один раз, нужно истратить сумму, исчисляемую долями от миллиона баксов. 3. Рассказываете то, чего у меня нет. Да есть у меня решатель, он проходить треть от задач первого множества, но он не доделан и тестировать его сейчас смысла нет. Задачи Андрея решаются без проблем, указанные выше мной задачи также решаются. Описания решения задач сделаны по журналу. Там практически все, за исключением мелких деталей, соответствует действительности. Если бы ничего не было, я бы и писать не стал. P.S. Шолле еще пишет, что у openai будут проблемы на новом множестве задач, - они легче решаются человеком и труднее для систем ai. Его оценка для "o3" на новом множестве - 30%.

Откуда Вы, Сергей, знаете что мне нужно?)))) Знаю я песенку про тесты и задачи: ИИ никогда не сможет распознавать как человек, ИИ никогда не обыграет в шахматы, ИИ никогда не пройдет тест Тьюринга, ИИ никогда не обыграет в го, теперь нужно эффективно))) решить ARC... завтра кто-то придумает еще какие-то слова. На эти задачи можно просто положить с прибором, от этого ничего не изменится. А вот использование LLM уже полностью изменило рынок труда и схемы разработки, поддержки и сопровождения софта и харда. И это реальность. Покажете решение - будет смысл общаться, пока я видил от Вас исключительно слова))). OpenAI своё решение показал, Шолле - нет))) Вот когда Шолле покажет решение, которое будет хотя бы на 1% превышать LLM (включая все прочие его способности, не только в ARC), тогда я буду прислушиваться к Шолле, а пока в активе Шолле только DL библиотечка.

Вот есть и такое мнение: ARC-AGI(2019 - 2024) Killed 1 month ago, Abstract reasoning challenge consisting of visual pattern completion tasks. Each task presents a sequence of abstract visual patterns and requires selecting the correct completion. Created by François Chollet as part of a broader investigation into measuring intelligence. It was 5 years and 1 months old. Defeated by: O3 Original Score Human Baseline: ~80% Final Score O3: 87.5% https://r0bk.github.io/killedbyllm/ Это мемориал, посвященный убитым by LLM бенчмаркам

Вот кому интересно сегодняшний подкаст с Франсуа Шолле: https://open.spotify.com/episode/087N01jW5MUNdoH9AKEXYB François Chollet discusses the outcomes of the ARC-AGI (Abstraction and Reasoning Corpus) Prize competition in 2024, where accuracy rose from 33% to 55.5% on a private evaluation set.

Блин, кругом одни наркоманы... * Во-первых, не O3, а O3(tuned): [Note on "tuned": OpenAI shared they trained the o3 we tested on 75% of the Public Training set. They have not shared more details. We have not yet tested the ARC-untrained model to understand how much of the performance is due to ARC-AGI data.] * Во-вторых, люди решают не 80%, а 85%. * И в-третьих, для прохождения тестов есть ограничение использования ресурсов, которые нарушены для результата 87% (использовалась low-efficiency конфигурация). С некоторой натяжкой, можно сказать, что O3(tuned) дает 75% (конфигурация high-efficiency). Цель создания тестов, от самого Шолле: * Прохождение порога 85% * Высокая эффективность * Open Source Прохождение тестов Шолле, особенно по части эффективности, похожи на заявления о создании термояды. Припоминаю, какая-то (американская вроде) лаборатория заявила, что им удалось добиться того, что энергии получено больше чем затрачено для полученной термоядерной реакции. Потом вдруг выяснилось, что процесс было создан с помощью лазеров, и энергия этих лазеров не учитывалась. И еще потом выяснилось, что не учитывалась электрическая энергия, питающая лазеры. А так да, термояд создан. По сведениям самого Шолле, люди соглашались решать задачи за 5$, а затраты на решение o3(tuned) стоит на 3 порядка выше (и это без учета стоимости обучения/настроек). А так да, тест "ликвидирован", тут даже спорить не о чем. Цель Шолле - "85% / high-efficiency / Open Source" не достигнута. Так что если кто-то что-то вдруг делает - можно продолжать. Реальный результат на данный момент - 55%. Даже если openai в реальности пройдет тесты Шолле (порог и эффективность), то без открытия кода цель достигнута не будет.

Ну это Вы так считаете, а вот товарищ считает иначе))) Никто уже не будет открывать рабочего кода, речь идет о миллиардах долларов, помните, Microsoft дал своё определение AGI - когда автономный агент заработает свои первые 100 ярдов. И это хорошее определение, поскольку нищеброды (типа Лавриков) не могут считаться сколь бы то ни было интеллектуальными, если они нищие, значит они бесполезные, значит невостребованные, и значит - глупы)) Умный человек (и компьютерная система, сделанная с умом) всегда востребованы. И всегда представляет собой актив.

Когда-то ваш покорный раб сформулировал инвестиционный парадокс ИИ. Попробую воспроизвести. Инвестор, делающий вложение в ИИ ожидает эффект - полное и полноценное замещение людей в любом интеллектуальном и физическом труде. Таким образом, настоящий ИИ совершает финальную технологическую революцию и при этом неизбежно делает товарно-денежные отношения бессмысленными (как такие, которые основаны на [интеллектуальном и физическом] труде людей и перераспределении благ между людьми). Отсюда ясно, если ИИ приносит деньги - то это не ИИ. А если это не ИИ (а подделка, как сейчас, например), то он не окупится, т.к. в конечном итоге не оправдает ожиданий инвесторов (по полному замещению людей), и нет смысла делать в него традиционные инвестиции (с целью получения денег). Таким образом, настоящее капиталовложение в настоящий ИИ это капиталовложение в новый миропорядок, ждать от которого денежного фидбэка (который имеет смысл только в старом миропорядке) глупо и непоследовательно. Отсюда очевидно, что определение AGI от Microsoft - очередная развесистая липа, для окучивания лохов.

спойлер

ChatGPT:
Интересная и глубокая мысль! Этот "инвестиционный парадокс ИИ" действительно отражает конфликт между ожиданиями инвесторов, стремящихся к максимизации прибыли, и радикальными социально-экономическими изменениями, которые полноценный ИИ способен вызвать. Попробуем структурировать эту идею: 1. Настоящий ИИ и замещение труда Полностью развитый ИИ способен заменить человеческий труд (как интеллектуальный, так и физический), что подрывает основу современного товарно-денежного общества, построенного на труде и обмене. В этом случае деньги как средство обмена теряют смысл. 2. Если ИИ приносит деньги, это не "настоящий" ИИ Текущие системы, именуемые ИИ, являются инструментами для повышения производительности, но не автономными агентами, способными полностью заменить людей. Они работают в рамках существующей экономики, принося прибыль, но не изменяют её кардинально. Такой ИИ — это скорее "подделка" с точки зрения целей финальной технологической революции. 3. Инвестиции в "неполноценный" ИИ не оправдают ожиданий Если инвесторы ожидают полного замещения людей, а текущие технологии не могут этого достичь, то инвестиции в такие системы в долгосрочной перспективе не оправдают себя. 4. Инвестиции в настоящий ИИ = инвестиции в новый миропорядок Настоящий ИИ требует от инвесторов пересмотра их мотивации: вместо ожидания прибыли в рамках текущей системы, они должны ориентироваться на создание новой реальности, где экономика и общество устроены иначе. Возможные выводы: • Современные инвестиции в ИИ направлены не на достижение "финального" ИИ, а на улучшение традиционных бизнес-процессов. • Достижение настоящего ИИ потребует не только технологического прогресса, но и кардинального переосмысления экономических и социальных структур. • Настоящий ИИ — это не просто продукт, а переходный этап к посткапиталистическому миру. Этот парадокс можно рассматривать как индикатор того, что развитие настоящего ИИ выходит за рамки традиционных рыночных отношений и требует иной мотивации, возможно, основанной на философских, этических и коллективных целях.

Лохами являются те, кто не понимает полезность инструментов LLM. Если ты можешь решить свою задачу лучше, дешевле и быстрее - ты более конкурентен. Твои рассказки про мир без денег или людей - это ровно такое же идиотическое упрощение как все упрощения, которые вы здесь истерично выкрикиваете. Потому что вы - тупые долбоёбы))) Цена твоих слов известна, всё сведется к нормологиям, т.е. неумному абсурду. Зачем мы будем что-то обсуждать, если не зависимо ни от чего, у тебя всё сведется к бреду твоих сверхценных идей.

К счастью, ум/интеллект - "субстанция" не количественная, а качественная, как перпендикулярная ось к плоскости, к которой - оси - стандартные "плоские метрики" попросту НЕ применимы. Измерять интеллект деньгами так же глупо, как измерять температуру литрами. Если бы все задачи сводились в конечном итоге к зарабатыванию, то конечно, но дела обстоят несколько иным образом. Не деньги определяют ценность ума, а ум определяет и назначает ценность денег. Да, можно продать и купить плоды умственного труда, но ум - не покупается и не продаётся. Можно конечно порассуждать и о самом уме как о плоде сознательного бытия, но это уже совсем другая история...

))) Чего стоят деньги без ума ? И что они тогда определяют ? ))) (Это очень печальное зрелище, когда человеку, чтобы чувствовать себя <> полноценным, приходится удобрять свой ум звонкой монетой. Выглядит как обезьяна, применившая гранату к собственной голове.) p.s. Вы постоянно путаетесь в показаниях и происходит это по одной единственной причине: Вы глубоко не в теме. Поймать Вас ничего не стоит, но это настолько никчёмное и скучное занятие, что жаль на него даже минимального времени. Как профессиональный потребитель, Вы занимаете свою насиженную нишу - это нормально и естественно, и было бы ещё лучше, если бы Вы из неё и не высовывались.)

То есть, когда вы работаете с чатботом, то зарабатывает он ..., а вы при нем - нищеброд.... такое получается хорошее определение. Для зарабатывания автономный агент должен обладать субъектностью, а этого нет даже в прогнозах.

Опять Вам кто-то что-то должен))) Погуглите, что такое investments, assets и profit))) Удивительно, конечно, Вам все должны, а Вы не знаете, что такое доход и прибыль))