Форум создателей искусственных интеллектов

Модели больших языков (LLM) продемонстрировали замечательные возможности в решении различных задач разработки программного обеспечения и кодирования. Однако их применение в области оптимизации кода и компилятора остается недостаточно изученным. Обучение LLM требует значительных ресурсов, требует значительных часов использования графического процессора и обширного сбора данных, что может быть непомерно дорого. Чтобы устранить этот пробел, мы представляем Meta Large Language Model Compiler (LLM Compiler) — набор надежных, общедоступных, предварительно обученных моделей, специально разработанных для задач оптимизации кода. LLM Compiler, созданный на основе Code Llama, улучшает понимание промежуточных представлений компилятора (IR), языка ассемблера и методов оптимизации. Модель была обучена на обширном корпусе из 546 миллиардов токенов LLVM-IR и ассемблерного кода и подверглась тонкой настройке инструкций для интерпретации поведения компилятора. LLM Compiler выпускается под специальной коммерческой лицензией, обеспечивающей широкое повторное использование, и доступен в двух размерах: 7 миллиардов и 13 миллиардов параметров. Также мы представляем доработанные версии модели, демонстрируя ее расширенные возможности по оптимизации размера кода и дизассемблированию из x86_64 и ARM-сборки обратно в LLVM-IR. Они обеспечивают 77% оптимизирующего потенциала поиска с автонастройкой и 45% потенциала разборки туда и обратно (точное совпадение 14%). Этот выпуск призван обеспечить масштабируемую и экономичную основу для дальнейших исследований и разработок в области оптимизации компилятора как академическими исследователями, так и отраслевыми практиками. https://ai.meta.com/research/publications/meta-large-language-model-compiler-foundation-models-of-compiler-optimization

Исследователи OpenAI разработали CriticGPT — новую модель искусственного интеллекта, предназначенную для обнаружения ошибок в коде, генерируемом ChatGPT. Она помогает тренерам-людям в процессе проверки и оценки кода, повышая точность и эффективность. CriticGPT обучалась на наборе данных с образцами кода, содержащими недочеты, что позволяет ей распознавать и помечать разные типы ошибок программирования. В 63% случаев с естественными ошибками модель превзошла людей в точности оценки. Новый инструмент снижает количество ложных срабатываний и помогает писать более полные отчеты об ошибках. https://arstechnica.com/information-technology/2024/06/openais-criticgpt-outperforms-humans-in-catching-ai-generated-code-bugs/

Новый препринт Анила Сета, на мой вкус лучшего специалиста по проблематике сознания. Сознательный искусственный интеллект и биологический натурализм Поскольку искусственный интеллект (ИИ) продолжает развиваться, вполне естественно задаться вопросом, могут ли системы ИИ быть не только интеллектуальными, но и сознательными. Я размышляю над тем, почему некоторые люди думают, что ИИ может развивать сознание, и выявляю некоторые предубеждения, которые сбивают нас с пути. Я спрашиваю, что для этого потребуется чтобы сознательный ИИ стал реалистичной перспективой, это противоречит некоторым общим предположениям, таким как представление о том, что вычисления обеспечивают достаточную основу для сознания. Вместо этого я приведу аргументы в пользу серьезного подхода к возможности того, что сознание может зависеть от нашей природы как живых организмов – это форма биологического натурализма. Я закончу рассмотрением некоторых более широких вопросов, включая проверку сознания у ИИ, а также этических соображений, вытекающих из ИИ, который либо действительно является сознательным, либо убедительно кажется таковым. 43 страницы отличного текста: https://osf.io/preprints/psyarxiv/tz6an

У людей наблюдается длительный период послеродовой беспомощности, который обычно объясняется специфичными для человека материнскими ограничениями, вызывающими ранние роды, когда мозг еще очень незрелый. Однако путем сопоставления событий развития нервной системы у разных видов было обнаружено, что люди не рождаются с особенно незрелым мозгом по сравнению с видами животных с более коротким периодом беспомощности. В соответствии с этим быстро развивающаяся область детской нейровизуализации обнаружила, что связь мозга и функциональная активация при рождении имеют много общего со зрелым мозгом. Вдохновленные машинным обучением, где глубокие нейронные сети также извлекают выгоду из «беспомощного периода» предварительного обучения, мы предполагаем, что человеческие младенцы изучают базовую модель: набор фундаментальных представлений, которые лежат в основе последующего познания с высокой производительностью и быстрым обобщением. https://www.sciencedirect.com/science/article/pii/S1364661324001141

А вот специально для Цапа, ИИ позволил полностью картографировать нейронную сеть круглого червя

Если Карелова кто где читает, он в последнем сообщении дал развернутый комментарий ментальным состояниям LLM, со ссылками на предыдущие материалы и комментарии... как всегда у него алармиз и популяризаторщина, но так или иначе - тренд))) А вот и новые материалы: https://arxiv.org/abs/2405.18870

Большие языковые модели (LLM) становятся мощным инструментом в химии во многих областях. В химии студенты LLM способны точно предсказывать свойства, разрабатывать новые молекулы, оптимизировать пути синтеза и ускорять открытие лекарств и материалов. Основная новая идея заключается в объединении LLM с инструментами, специфичными для химии, такими как планировщики синтеза и базы данных, что приводит к так называемым «агентам». В этом обзоре рассматривается недавняя история LLM, текущие возможности, дизайн, проблемы, характерные для химии, и будущие направления. Особое внимание уделено агентам и их возникновению как кросс-химической парадигме. Агенты доказали свою эффективность в различных областях химии, но проблемы остаются. Неясно, ускорит ли химию создание узкоспециализированных агентов по сравнению с универсальными агентами и развитие автономных конвейеров по сравнению с системами «второго пилота». Новым направлением является разработка мультиагентных систем с использованием подхода «человек в цикле». В связи с невероятно быстрым развитием этой области для отслеживания последних исследований был создан репозиторий: этот URL-адрес https. https://arxiv.org/abs/2407.01603

Какое- то время назад, Андрей Карпатый сформулировал парадигму Программирования 2.0, https://karpathy.medium.com/software-2-0-a64152b37c35 я даже доклад делал по этому поводу (расставлял акценты)))), который представил на дружеском митинге с командой АйБиЭм.Ватсон, когда мы обсуждали проблему категории и экземпляра в NLP. Мне очень нравится эта концепция (как почти всё, что делает Андрей). В кратком выступлении в Беркли Андрей провозгласил эру новых вычислений: «Мы вступаем в новую парадигму вычислений, в которой большие языковые модели действуют как процессоры, используют токены вместо байтов и имеют контекстное окно вместо оперативной памяти. Это ОС большой языковой модели (LMOS)». Это довольно близко к концепции семиотического процессинга, которую я развиваю. ))

Дэвид Иглман довольно внятно рассуждает о том, что такое сознание. Тем, кто как Цап не знает английский язык рекомендую воспользоваться средствами перевода от искусственного интеллекта...

Читающий мысли ИИ воссоздает то, на что вы смотрите, с удивительной точностью Предоставление системам искусственного интеллекта возможности фокусироваться на определенных участках мозга может помочь им гораздо лучше реконструировать изображения того, на что смотрит обезьяна, по записям мозга. https://www.newscientist.com/article/2438107-mind-reading-ai-recreates-what-youre-looking-at-with-amazing-accuracy/ (первая строка - исходное изображение, вторая - новый результат реконструкции мыслей, третья - предыдущая версия)

Мой любимый руский философ Кузнецов в течение почти трех часов рассуждает об искусственном интеллекте на руском языке. Есть тридцать таймкодов (навигация), можно сразу сделать переход к интересующей теме...

Если не ошибаюсь, я уже писал про относительно новую книжку Хокинса "A Thousand Brains: A New Theory of Intelligence", вот сейчас Гершуни написал к ней аннотацию, с которой я полностью согласен, ровно как и с автором. За исключением двух важных моментов: паттернов и типов мышления, коих я насчитываю три, а не два как великий Канеман. Степан Гершуни про a1000: Идея Thousands Brain в некотором смысле противоречит, но так же и дополняет его прошлую книгу. Суть книги — это универсальная (и единственная на сегодня) универсальная теория мышления и сознания. В книге описывается принцип работы нейрокортикальной колонки, из которых состоит весь нейрокортекст и дается ответ на важные парадоксы, которые десятилетиями мучали нейрофизиологов: как мозг хранит информацию? как примитивные нейроны создают сложные концепции языка и культуры? чем отличается осознаваемое от неосознаваемого? что необходимо для постройки AGI? как мозг предсказывает? почему части мозга взаимозаменяемы? Я поделюсь самыми важными выводами: 1. Мозг создает модели мира. Без создания моделей мы не сможем построить достаточно сложный AGI, а трансформеры и прочие авторегрессивные нейронки не сильно способны к этому. Главное в обучении чему-либо — создание точной модели, это и отличает гения от нормиса. 2. Задача нейрокортекса — предсказание. Каждое мгновение ваш мозг предсказывает что вы увидите, услышите, почувствуете и подумаете в следующем кадре. Осознается нами только разница между предсказанием и реальностью. Мозг пытается “починить” свои предсказания, постоянно адаптируя модель к реальности. Еще одно необходимое свойство AGI — постоянное самообучение. 3. Мозг оперирует исключительно относительностями: где этот вкус относительно того что я уже пробовал? где эта идея относительно других из схожей области? где это ощущение относительно других? И именно из этой функции (и только из нее) появляются более сложные свойства мышления, самосознания, творчества. 4. Для мозга, всё — это движение. Чувствовать текстуру, слышать музыку, думать, смотреть. Это все процесс движения и только в движении эти процессы возможны для вашего нейрокортекста. Я говорю про физическое движение (вы не можете ощутить текстуру без того чтобы двигать кожу относительно объекта), про движение во времени (мысли и эмоции), движение глазами и т.д. 5. Все свойства нейрокортекста повторимы в коде. Сегодня их нет у LLM, но в ближайшие годы (вероятнее — пара десятилетий) они появятся. К тому моменту и LLM, скорее всего, станут очень крутыми, но их архитектура никогда не позволит добиться некоторых свойств (универсальности, энергоёмкости, адаптивности) мозга.

Дэвид Иглман в "двух словах" изложил основы нормологии. Дэвид Иглман молодец. Будьте, как Дэвид Иглман.

Удивительно конечно, что любые представления, обратные связи и предсказания стали теперь нормологией, но лучше так, чем интеллект как копия человека... и вообще не увидел, где бы Дэвид говорил про нормалогию, но вижу, что Prosolver как всегда говорит об этом недоразумении везде, где ему удается)))

Способность LLM давать ответы, которые не содержатся в корпусах обучения (т.н. галлюцинации) как раз и говорит о том, что это AGI, более того, если посмотреть вокруг, в посты участников этого форума, то почти ничего, кроме галлюцинаций мы и не увидим. Грамматически верный, но совершенно несвязный смыслово бред, абсолютно нерелевантный любой проблемной области)) Я вообще думаю, что нести слабосвязный бред - это основное качество человеческого мышления)) Люди удивительно тупы, а дилетанты, пытающиеся вякать про интеллект - возглавляют этот список)

Эти места я отдельно процитировал и выделил. Он не использует термин "норма", но использует синонимы. Можно назвать это fineлогия. За имена я не держусь, главное - механизм.

Я понял, что ты выделил и процитировал, я не увидел, например, в этом "It just gives you a headline of how things are going" ни нормы, ни механизмов)))

По-моему тут всё прозрачно. "things" - это ведь всё, а не что-то конкретное, исключительное.Поэтому в других местах он говорит "everything's running", "everything's going". А что это значит в свою очередь? Это значит, что для всего (всего!) у человека должно быть: 1) представление о том "как всё двигается правильно" 2) постоянный контроль над тем, всё ли двигается правильно или неправильно (ненормально). Т.е. постоянное сравнение того, как должно быть, с тем, как оно есть сейчас. Вот где норма. А механизм - это "are going". Всё, что работает правильно/неправильно, работает во времени, развиваясь, продолжаясь. Вот где механизм.

Не уверен, чтобы в слове things есть смысл "как это должно быть", а в глагольной форме "are going" - как оно есть сейчас. ))) На мой вкус, это образчик редкостного бреда, уже далеко за пределами добра и зла.

Т.е. things are going wrong.