Форум создателей искусственных интеллектов

Gray Tag:
все программисты уже два года ничего такого нижнего уровня не пишут сами, а работают с моделями

mserg:
С трепом этого практикующего эксперта есть одна проблема, которую он сам как бы понимает. Цель состоит в том, чтобы решать задачи, для которых нет примеров в обучающей выборке. В идеальном случае, известны общие условия задачи (ограничения на размеры входных и выходных матриц, и ограничения на значения элементов матриц), и нет ни одного обучающего примера.

Claude:
« Смысл в том, чтобы проверить не скорость перебора, а способность к эффективному абстрактному поиску и изобретению гипотез — то, что мы называем инсайтом или озарением. Вот задачи на «догадливость», где скорость brute force проигрывает, а побеждает способность к сжатию и изобретению элегантных правил: 1. Задача на открытие «элегантных» физических законов из сырых данных • Условие: Даны таблицы экспериментальных данных: столбцы — измерения параметров (X, Y, Z, время, температура...), строки — наблюдения. Данные порождены неизвестным физическим законом (например, F = G * (m1*m2)/r^2 + ε*sin(ω*t), где ε мал). Никакие переменные явно не названы (нет «масса», «расстояние»). • Вызов: Найти компактную математическую формулу, объясняющую данные, с минимальным числом параметров. Критерий — не точность подгонки (её можно добиться огромной формулой), а красота и обобщаемость (принцип Бритвы Оккама). • Почему уравнивает: Человек-физик будет подставлять известные шаблоны («похоже на закон обратных квадратов»), но может ослепнуть шаблоном. ИИ, лишенный физических предрассудков, может найти неожиданную, но простую параметризацию. Побеждает тот, кто лучше извлекает сжатую сущность из шума, а не быстрее перебирает. 2. Задача на изобретение «инварианта» в динамической системе • Условие: Даны видеоролики (или графы состояний) множества сложных, но детерминированных систем (например, странные аттракторы, клеточные автоматы с неизвестными правилами). Для каждой системы показано несколько траекторий. • Вызов: Найти/сформулировать инвариант — величину или свойство, которое сохраняется для всех траекторий одной системы, но различается между системами. Это может быть неочевидная симметрия, топологическая характеристика, условная энтропия. • Почему уравнивает: Человек будет искать зрительные паттерны и аналогии, но в сложных системах инвариант может быть абстрактно-математическим (например, число Ляпунова). ИИ должен проявить «догадливость» — выдвинуть гипотезу о классе возможных инвариантов и сконструировать его. Здесь важно изобретать новые понятия, а не узнавать старые. 3. Задача на «переоткрытие» фундаментального понятия из наблюдений • Условие: Даны множества точек в многомерном пространстве. Внутри каждого множества точки связаны неочевидным, но единым отношением эквивалентности (например, точки в одном множестве — это разные проекции одного объекта; или разные состояния одной динамической системы). • Вызов: Без подсказок сформулировать, что объединяет точки внутри каждого множества, и предложить процедуру проверки этого свойства на новых данных. По сути, заново изобрести понятие «топологическая эквивалентность», «динамическая сопряженность» или «инвариант». • Почему уравнивает: Это проверка на способность к радикальной абстракции. Человек может интуитивно группировать, но сформулировать точный критерий — сложно. ИИ должен не кластеризовать, а найти объясняющий принцип. Побеждает тот, кто увидит «правило за правилами». 4. Задача на создание минимальной «теории» • Условие: Дана последовательность «фактов» в формате: «Если [условие А], то [наблюдение Б]». Факты могут быть из произвольной, непротиворечивой, но сложной логической вселенной. • Вызов: Предложить минимальный набор аксиом и правил вывода, из которого можно логически получить все данные факты, и только их (без генерации лишних). • Почему уравнивает: Это чистая проверка на логическую элегантность и креативность в формальных системах. Человек будет пробовать известные логические конструкции. ИИ может найти неожиданную, но минимальную систему аксиом, которую человек пропустил из-за когнитивных предубеждений. Скорость перебора тут бессмысленна — пространство возможных аксиоматик огромно и плохо структурировано. Суть: Во всех этих задачах победит не тот, у кого больше флопсов, а тот, кто лучше умеет: 1. Отбрасывать шум и выделять суть. 2. Выдвигать смелые, но проверяемые гипотезы о скрытых структурах. 3. Ценить простоту (сжатие) объяснения. 4. Изобретать новые абстрактные категории для описания мира. Это соревнование не в вычислениях, а в искусстве находить глубокие аналогии и формулировать их на языке строгих правил — то есть в самом ядре того, что мы называем открытием. »

Sanek22:
Но как на счет за пределы "лего-комбинирования"?

Gray Tag:
Учитесь пользоваться и пользуйтесь.

Sanek22:
Я думаю в жизни вы этакий поучающий начальничек

Gray Tag:
Не угадали, я -- архитектор, а не менеджер, мои обязанности -- это решать нерешаемые задачи, находить уникальные подходы и создавать эффективные методы и инструменты. Я насколько нетипичен в своих способностях, что мне лучше не пытаться подражать. Только в двух моментах можно: в настойчивости и желании учиться новому))

Влад:
Наверное, это очень сложно — работать с инструментом (подсознанием), который не раскрывает образ своих действий. Два вопроса тогда: 1. Как вы справляетесь с этим ощущением работы «вслепую»? 2. И как вы удостоверяетесь, что полученный «ответ» — это именно гениальное решение, а не просто мимолётная мысль, если не видите цепочки его создания?

Gray Tag:
Я не разделяю вашей сверхценной идеи про подсознание, но любой инструмент (вещь, процесс, явление) - это черный ящик, не выразимый в представлениях. Точно также понятия и смыслы. И даже исчисления, где работает теорема Гёделя о неполноте))) Черный ящик - это знание об input и output (КАК это можно использовать), а что там внутри похеру))) главное, чтобы без багов работало)) Сравнение решений лучше всего видно по результатам. Ровно как и сравнение умений. Мои умения позволяют мне жить во Флориде, мои решения позволяют достигать требуемых результатов там, где другие решения проваливаются)) Какие-то у вас детские вопросы, мой друг, это всё очевидно и несложно в понимании...

Влад:
Но каким образом получено данное знание? Без ответа на этот вопрос Вы не можете считать себя автором этого знания.

Gray Tag:
Не нужно искажать мои слова, просто цитируйте. Я нигде не говорил об авторстве. Смысл слова автор мне не очень понятно. Оно тоже либо детское (когда инфантил не очень хорошо понимает, что головной мозг - это ансамбль микроорганизмов), либо юридическое. Не бывает ни полного авторства, ни полной автономности, в мире всё связано со всем)) Но в юридическом смысле -- я -- автор, и даже генераций музыки и картинок. Тут еще такой интересный факт есть: в человеческом теле бактерий (то есть "чужеродных" организмов) примерно столько же, сколько самих клеток. Мне нужно делиться авторством с каждой бактерией или по-вашему -- сознание -- это такой маленький человечек, который сидит в черепной коробке и управляет ресурсами? 😂😂 Ну и, конечно, я МОГУ считать себя кем-угодно не спрашивая вашего мнения на этот счёт)) Ну и, разумеется, я знаю как получаю знания. Я про знания, мышление и интеллект знаю и понимаю на текущий момент больше всех )))

Влад:
И кто такой это Ваш "Я"? Коллектив авторов (микроорганизмов) принято разделять в соответствии с их функциональным вкладом. А зона осознания мала и сведена к функции доски уведомлений. Как можно считать автором Службу уведомлений?

Gray Tag:
Я уже говорил Вам, что язык характеризуется выразительностью. Если Вы пользуетесь такими кондовыми философскими понятиями как Я, Подсознание, Автор, или такими складскими как Доска Уведомлений, Управление, Ресурс, то у Вас нет никаких шансов получить представление о том что такое мышление и как оно работает. У вас всё будет описано досками, стрелками, квадратиками, функциональными копиями и прочими конструкциями из говна и палок. Попробуйте разобраться с тем, что такое LLM и как она работает, это порог вхождения в эту проблематику. Философия слишком убога, чтобы описывать такие тонкие и сложные вещи как интеллект.

Влад:
а не зависела от статистики человеческих выражений

Влад:
Может быть, лучше LLM скормить промпт об абсолютной идее мира, чтобы она понимала мир, имела собственное мышление

Gray Tag:
Она и не зависит от статистики "человеческих выражений", там другой принцип и вообще другая математика. Изучайте не по мурзилкам.

Sanek22:
Это кстати классическая иллюзия "магии ЕИ". Как по мне суть в асимметрии предобучения. Человек, решая ARC на 3 примерах, использует не магию, а колоссальный скрытый багаж — интуитивную физику, понятия симметрии, счёта и причинности, усвоенные за десятилетия взаимодействия с миром и через язык, я уже молчу про сотни миллионы лет эволюции мозга и сколько в нём захардкоженно уже сходу. Это не обучение с нуля, а точечная достройка готовых абстракций. Чтобы нейросеть справилась, ей нужно, самое меньше, аналогичное "детство" — предобучение на специальных датасетах, формирующих нужные примитивы. Как минимум это "мир объектов" — видео с 2D/3D-фигурами, чтобы научиться видеть отдельные сущности(латентные принаки), а не пиксели, "библиотека операций" — миллиарды пар "вход-выход", сгенерированных простыми программами (отразить, сгруппировать, посчитать), чтобы выучить базовые преобразования и "связь с языком" — описание этих преобразований словами ("симметрия", "чередование"), чтобы абстрагировать концепты.