| |
Решатель ARC-задач Франсуа Шолле | |
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Надо вынести это мое сообщение ниже в отдельную тему?
Смотрите какая ситуация: мы рассматриваем интеллект как некую функцию, которая оптимизируется и аппроксимируется на примерах (датасетах).
Егоровым заявляется, что аппроксимация - это зло, ведь мы постоянно развиваемся, совершенствуемся!
Ну да, совершенствуемся, благодаря новым данным, которые случайно или неслучайно попадают в наш датасет.
Практика показывает, что без обучающих данных никакой воображаемый сильный интеллект не рождает новые истины, ибо это в принципе невозможно - сочинить нечто новое без какой-либо основы.
Хороши дурковать!
В наши датасеты попадают случайным и неслучайным образом новые данные, благодаря которым мы совершенствуемся. Иначе не бывает!
Особо интересно неслучайное попадание новых данных в датасеты - экспериментирование, поиск, исследование - научные методы. Но при этом все по-прежнему никакого сильного интеллекта не наблюдается.
|
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Среди любителей ИИ наблюдается следующее иллюзорное представление, что человек способен с нуля, что-то изобрести. Давайте пошлем таких мечтателей нахер, ибо человек не способен с нуля открыть теорию ИИ - это очевидное доказательство.
Умный человек - это тот, который много учился, а не получил некие гены. Чем больше учится человек, тем он умнее и способен.
Ваши все мечтания свидетельствуют о том, что вы думаете, что человек с нуля может что-то придумать целенаправленно и неслучайно. Это охуенная ложь.
|
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
И тут срабатывает простой закон "Из пустоты не может родиться нечто".
Это так элементарно для понимания!
|
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:
на каждую задачу генерирует примерно 5000 программ на питоне Позволю себе моветон, процитирую самого себя из прошлого, потому что это по прежнему актуально:
Prosolver:
в этой задачке интересно не просто во что бы то ни стало решить конкретно эти 800 задач, а протестировать универсальный AGI-прототип, т.е. который будет думать как человек, а не как мешок с математическими функциями. Самолёт не машет крыльями, но он воспроизводит полёт. AGI не должен быть сделан из человеческих белков и рефлексов, но он должен воспроизводить человеческое мышление. По определению. Человек не генерирует 5000 программ на питоне, когда решает задачи Шолле, имхо. |
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:
Интеллект - это инструмент создания инструментов для того, чтобы решить поставленную задачу.
А кто ставит задачу? Кожаный обладатель всех инструментов?
Кто ставит задачу? |
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:
Что за дичь уровня владо-цапо-вуалявриков...
Интеллект - это инструмент создания инструментов для того, чтобы решить поставленную задачу.
Интеллект – это не инструмент, а характеристика (способность) инструмента. Вам бы немножко осознания по теме «Устройство мира», для адекватной оценки потока мысли Вашей интуиции. |
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:Влад:
Интеллект – это не инструмент, а характеристика
Я бы сказал, что в вашем случае, это не просто характеристика, но и приговор.
Ваш «нейронный ансамбль» - это инструмент, а Ваш интеллект – это способность этого нейронного ансамбля. Т.е. в структурном устройстве Вашего нейронного ансамбля нет блоков «Интеллект», «Ум» и так далее.
|
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:Цап:
А кто ставит задачу?
Посмотрите на заголовок, Франсуа Шолле ставит задачу )))
Именно!
Вашему идеальному LLM-интеллекту ставит задачи, по вашему, "никому не нужный", "примитивный" естественный интеллект.
....какое унижение для идеального LLM-разума выполнять задачи кожаных примитивов... ) |
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Prosolver:
Prosolver:
в этой задачке интересно не просто во что бы то ни стало решить конкретно эти 800 задач, а протестировать универсальный AGI-прототип, т.е. который будет думать как человек, а не как мешок с математическими функциями. Самолёт не машет крыльями, но он воспроизводит полёт. AGI не должен быть сделан из человеческих белков и рефлексов, но он должен воспроизводить человеческое мышление. По определению. Человек не генерирует 5000 программ на питоне, когда решает задачи Шолле, имхо.
Если человек – это GI, то начать надо с понятия «Качество». Именно оно
каждый раз определенным образом изменяется на предлагаемых картинках.
Т.е. не ждать интуитивного озарения, а осознанно разбирать хитросплетения
своего устройства.
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Осталось проверить, работают ли чудо-алгоритмы на этом конкурсе
https://www.kaggle.com/competitions/arc-prize-2024/rules
Пока рекорд 38%
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
| 11:00 28.12.2024 |
|
11:01 28.12.2024 |
|
№11224 |
Лучший результат 53.5% из 100%
https://www.kaggle.com/competitions/arc-prize-2024/leaderboard
Там же есть ссылки на публичные решения справа от результата (в столбике Solution)
Второе место (40%) использует, в частности, парсинг и LLM обучение, понабрав примеры где можно.
Как мне показалось, организаторы соревнования ничего, по большому счету, не получили. И причина уже обозначалась выше - задача разгадки интеллекта на примерах была заменена на стремление решить задачу во что бы то ни стало. И действительно, захожу на сайт организаторов и вижу "We expect to re-launch ARC Prize in Q1 2025. Sign up now to receive official competition updates and news.".
Так что заявление о решении данной задачи несколько преждевременны.
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Насколько я понимаю, использование o3-модели не отвечает (не отвечало) требованиям конкурса. Поэтому сейчас конструируют специальную среду, где за рассказы о том, что задачи Шолле решены на 146%, придется платить за использование оборудования. См. https://ARCprize.org . Если будет прогресс на "полу-скрытых" примерах, то будет определенное возмещение расходов.
О возможностях системы o3 разработчики говорят размыто: "While the achievement in ARC-AGI is impressive, it does not yet prove that the code to artificial general intelligence (AGI) has been cracked.". Т.е. если "reasoning models" не будет работать за пределами задач Шолле, то у них будет отмазка (мы не жульничали при решении задач, мы предупреждали, мы не давали обещаний, и т.п.)
Так что пока все в тумане. Есть масса способов для улучшения результатов решения задач Шолле - и парсинг, и генерация примеров, и т.д. Но если скрытые тестовые примеры (точнее алгоритмы генерации) существенно отличаются от обучающих, то обсёр пока представляется довольно вероятным.
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Конкурс интересен тем, что ограничено шулерство - есть непубличные тесты. Результат на открытых данных не слишком достоверен.
Открываете и находите o3:
https://arcprize.org/2024-results
на данный момент 82% на публичных данных, 75% на полу-скрытых данных
У o3 нет ссылок ни на код, ни на описания, но есть "comming soon...". Как появится что-нибудь, так и почитаем.
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
| 16:44 29.12.2024 |
|
16:44 29.12.2024 |
|
№11232 |
Вполне могут выложить, т.к. есть признаки неработоспособности:
"While the achievement in ARC-AGI is impressive, it does not yet prove that the code to artificial general intelligence (AGI) has been cracked.".
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
И что тут любопытного? Посмотреть на bruteforce? Так никто не спорит, что можно решить множество тестов грубой силой. Только никому это не интересно.
Вообще-то сам месье Шолле пишет, что o3 толком не работает на его задачах:
https://x.com/fchollet/status/1870170778458828851
И ньюсайнс пишет что по сути ничего нормально не работает:
https://www.newscientist.com/article/2462000-openais-o3-model-aced-a-test-of-ai-reasoning-but-its-still-not-agi/
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Лучше напишите этим дуракам: Mike Knoop, Melanie Mitchell, Chollet, Thomas Dietterich. Пусть ответят за базар:
Цитата:
The o3 model also failed to solve more than 100 visual puzzle tasks, even when OpenAI applied a very large amount of computing power toward the unofficial score, said Mike Knoop, an ARC Challenge organiser at software company Zapier, in a social media post on X.
In a social media post on Bluesky, Melanie Mitchell at the Santa Fe Institute in New Mexico said the following about o3’s progress on the ARC benchmark: “I think solving these tasks by brute-force compute defeats the original purpose”.
“While the new model is very impressive and represents a big milestone on the way towards AGI, I don’t believe this is AGI – there’s still a fair number of very easy [ARC Challenge] tasks that o3 can’t solve,” said Chollet in another X post.
However, Chollet described how we might know when human-level intelligence has been demonstrated by some form of AGI. “You’ll know AGI is here when the exercise of creating tasks that are easy for regular humans but hard for AI becomes simply impossible,” he said in the blog post.
Thomas Dietterich at Oregon State University suggests another way to recognise AGI. “Those architectures claim to include all of the functional components required for human cognition,” he says. “By this measure, the commercial AI systems are missing episodic memory, planning, logical reasoning and, most importantly, meta-cognition.”
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Про "грубую силу" - мопед, действительно, не мой.
На https://arcprize.org/2024-results есть готовые решатели на базе "грубой силы". См. например, решатель от "the ARChitects"
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
| 11:10 01.01.2025 |
|
12:03 01.01.2025 |
|
№11241 |
Статья по вашей же ссылке называется "OpenAI’s o3 shows remarkable progress on ARC-AGI, sparking debate on AI reasoning".
Там есть раздел, который прямо называется "Not AGI". Там видим следующее:
“Passing ARC-AGI does not equate to achieving AGI, and, as a matter of fact, I don’t think o3 is AGI yet,” he writes. “o3 still fails on some very easy tasks, indicating fundamental differences with human intelligence.”
Т.е. со слов самого Шолле o3 по факту не работает. Тут дело не в вере или не не в вере конторе openai. Научный подход требует, чтобы проверка проводилась на независимом множестве задач. А признаком независимости в данном случае является такая "логика" задачи, которая, с одной стороны, не встречалась в публичных примерах. А с другой - легко решается человеком. В тестовых непубличных примерах, насколько я понимаю, находятся задачи с разной степенью схожести с публичными задачами. И вот на "несхожих" простых задачах, по видимому, o3 не работает - в этом Шолле и видит проблему. У авторов других цитат, приведенных ранее, появляются одни и те же сомнения, возникших по различным признакам и выраженные в разной формах.
P.S. На счет грубой силы, еще раз, - мопед не мой. Все вопросы к Melanie Mitchell.
|
| |
|
write
|
| Решатель ARC-задач Франсуа Шолле |
Тогда вам нет смысла писать в теме "Решатель ARC-задач Франсуа Шолле".
|
| |
|
create
|
| Решатель ARC-задач Франсуа Шолле |
Egg:mserg:
Тогда вам нет смысла писать в теме "Решатель ARC-задач Франсуа Шолле".
Давайте, я сам буду решать есть мне смысл куда-то писать или нет. Вы вот устроили тут истерику на две страницы по поводу того, что о3 это не AGI. Ведь AGI это те и только те системы, которые умеют решать 100% ARC по научному методу. А те системы, которые не AGI не имеют права использоваться для решения интеллектуальных задач. Ведь это золотыми буквами на небесном своде написано. Я люблю изучать поведение людишек)))
Вам в который раз ...вежливо указали, что очередная версия чатбота (о3) это всегда не AGI.
А вот это тянет на новенькое определение от Egg:
"AGI это те и только те системы, которые умеют решать 100% ARC по научному методу".
)
|
|
|
