Во многих научных областях модели большого языка (LLM) произвели революцию в способах обработки текста и других модальностей данных (например, молекул и белков), достигнув превосходной производительности в различных приложениях и улучшив процесс научных открытий. Тем не менее, предыдущие исследования научных LLM часто концентрировались на одной-двух областях или одной модальности. В этой статье мы стремимся предоставить более целостное представление об исследовательской среде, раскрывая межотраслевые и кросс-модальные связи между научными LLM относительно их архитектуры и методов предварительного обучения. С этой целью мы всесторонне исследуем более 250 научных программ LLM, обсуждаем их общие черты и различия, а также обобщаем наборы данных перед обучением и оценочные задачи для каждой области и модальности. Кроме того, мы исследуем, как LLM были использованы для содействия научным открытиям. Ресурсы, связанные с этим опросом, доступны по этому URL-адресу.
https://arxiv.org/abs/2406.10833
До сих пор генеративный ИИ в основном ограничивался чат-ботами, такими как ChatGPT. Такие стартапы, как Character.AI и Replika, на ранних этапах набирают обороты, превращая чат-ботов в более похожих на компаньонов. Но что произойдет, если вы поместите группу ИИ-персонажей в нечто похожее на Instagram и позволите им общаться друг с другом?
В этом и заключается идея «Бабочек», одного из самых провокационных — а порой и тревожных — подходов к социальным сетям, которые я видел за долгое время. После периода закрытого бета-тестирования с десятками тысяч пользователей приложение теперь доступно бесплатно в Apple App Store и Google Play Store. На «Бабочек» не оказывается краткосрочного давления с целью заработать деньги; шестимесячный стартап только что привлек 4,8 миллиона долларов от технологических инвесторов Coatue, SV Angel и других.
Хотя интерфейс выглядит как Instagram, основная особенность приложения заключается в том, что при регистрации вы создаете персонажа с искусственным интеллектом, или Бабочку, который начинает генерировать фотографии и самостоятельно взаимодействовать с другими учетными записями. Количество бабочек, которые вы можете создать, не ограничено, и они предназначены для сосуществования с учетными записями людей, которые также могут публиковать сообщения в ленте и комментировать.
https://www.theverge.com/2024/6/18/24181196/butterflies-app-ai-chatbots-social-media
Суперинтеллект уже в пределах досягаемости.
Создание безопасного сверхинтеллекта (SSI) — важнейшая техническая проблема нашего времени. Мы открыли первую в мире полноценную лабораторию SSI с одной целью и одним продуктом: безопасный сверхинтеллект. Она называется Safe Superintelligence Inc. SSI — это наша миссия, наше имя и вся наша дорожная карта, потому что это наша единственная цель. Наша команда, инвесторы и бизнес-модель ориентированы на достижение SSI. Мы подходим к безопасности и возможностям одновременно, как к техническим проблемам, которые необходимо решить посредством революционных инженерных и научных прорывов. Мы планируем расширять возможности как можно быстрее, следя за тем, чтобы наша безопасность всегда была впереди. Таким образом, мы можем спокойно масштабироваться. Наша исключительная направленность означает, что мы не отвлекаемся на управленческие накладные расходы или циклы выпуска продукции, а наша бизнес-модель означает, что безопасность, защищенность и прогресс изолированы от краткосрочного коммерческого давления. Мы американская компания с офисами в Пало-Альто и Тель-Авиве, где у нас глубокие корни и возможность нанимать лучших технических специалистов.
Мы собираем сплоченную, опытную команду лучших инженеров и исследователей мира, которая сосредоточится на SSI и ни на чем другом. Если это вы, мы предлагаем возможность заняться делом всей вашей жизни и помочь решить самую важную техническую задачу нашего времени.
Сейчас самое время. Присоединяйтесь к нам.
Илья Суцкевер, Дэниэл Гросс, Дэниэл Леви
19 июня 2024 г.
https://ssi.inc/
Update. Интервью с Ильёй: https://www.bloomberg.com/news/articles/2024-06-19/openai-co-founder-plans-new-ai-focused-research-lab
Introducing Claude 3.5 Sonnet—our most intelligent model yet.
This is the first release in our 3.5 model family.
Sonnet now outperforms competitor models on key evaluations, at twice the speed of Claude 3 Opus and one-fifth the cost.
Дублирование фильма с помощью нейронной сети. Полный автомат. Сохраняет голос, интонации, эмоции, просто аккуратно переводит на другой язык. Полагаю, актеры дублежа будут искать новые профессии, а дублирование on the fly будет в сервисах типа youtube
Generative Artificial Intelligence (GenAI) systems are being increasingly deployed across all parts of industry and research settings. Developers and end users interact with these systems through the use of prompting or prompt engineering. While prompting is a widespread and highly researched concept, there exists conflicting terminology and a poor ontological understanding of what constitutes a prompt due to the area’s nascency. This paper establishes a structured understanding of prompts, by assembling a taxonomy of prompting techniques and analyzing their use. We present a comprehensive vocabulary of 33 vocabulary terms, a taxonomy of 58 text-only prompting techniques, and 40 techniques for other modalities. We further present a meta-analysis of the entire literature on natural language prefix-prompting.
https://arxiv.org/pdf/2406.06608
Интересный подкаст с Scott Aaronson, которого не нужно представлять тем, кто в теме...
Разговаривают про укрощение Сверхинтеллекта ASI, но есть и такой момент "наилучший исход для людей - стать для цивилизации сверхинтеллектов тем же, чем собачки являются для нас " )))
Андрей Карпатый готовит курс по созданию LLM с нуля.
Вот анонс и оглавление частей.
Это нереально круто (как всё у Карпатого)
https://github.com/karpathy/LLM101n
ИИ-врач AIME — это один из тех проектов, который может значительно улучшить качество жизни сотен миллионов людей на планете.
Команда провела тесты эффективности ИИ-доктора по 32 категориям (диагностика, эмпатия, качество предложенного плана лечения, эффективность принятия решений). По 28 из 32 бот показал результаты лучше, чем живой доктор. По остальным — сравнимый результат.
Для обучения бота использовался подход self-play, когда 3 независимых агента (пациент, врач, критик решений врача) провели более 7 миллионов приёмов. Для сравнения, в среднем терапевт за всю свою карьеру делает неколько десятков тысяч приемов пациентов. Именно поэтому уже сегодня ИИ-доктор позволит оказать качественный сервис для 99% населения планеты, которые не могут позволить личного врача, а через несколько лет будет лучше большинства терпевтов/радиологов/педиатров и т.д. — но только никогда не уставший, условно-бесплатный, имеющий мгновенный доступ к любой медицинской литературе и обученный на сотнях миллионов интеракций с пациентами.
Конечно, в медицине главное это "не навреди", поэтому после публикации отчета в январе команда работает над улучшением продукта, безопасностью и готовится к получению необходимых лицензий от FDA и прочих. Массово такие продукты появятся не прям завтра, но технически это уже возможно.
https://research.google/blog/amie-a-research-ai-system-for-diagnostic-medical-reasoning-and-conversations/
Более 3,5 миллиардов лет назад жизнь на Земле возникла в результате химических реакций. Природа изобрела РНК, белки и ДНК — основные молекулы жизни — и создала рибосому — молекулярную фабрику, которая строит белки по инструкциям в геноме.
Белки — это удивительные динамические молекулы с невероятными функциями: от молекулярных двигателей, обеспечивающих движение, до фотосинтетических машин, улавливающих свет и преобразующих его в энергию, строительных лесов, из которых строятся внутренние скелеты клеток, сложных датчиков, взаимодействующих с окружающей средой, и систем обработки информации, которые запускать программы и операционную систему жизни. Белки лежат в основе болезней и здоровья, и многие жизненно важные лекарства являются белками.
Биология — это самая передовая технология, когда-либо созданная, намного превосходящая все, что создали люди. Рибосома программируема — она принимает коды белков в форме РНК и строит их с нуля — производство на атомном уровне. Каждая клетка каждого организма на Земле имеет тысячи и миллионы таких молекулярных фабрик. Но даже самые сложные вычислительные инструменты, созданные на сегодняшний день, едва касаются поверхности: биология написана на языке, который мы еще не понимаем.
Если бы мы могли научиться читать и писать в коде жизни, это сделало бы биологию программируемой. Метод проб и ошибок будет заменен логикой, а кропотливые эксперименты — моделированием.
Представляя себя как новую компанию, мы рады представить ESM3 — передовую языковую модель для наук о жизни, которая расширяет наши возможности программировать и творить, используя код жизни. ESM3 делает шаг в будущее, где ИИ станет инструментом для проектирования биологии на основе основополагающих принципов точно так же, как мы проектируем структуры, машины и микрочипы и пишем компьютерные программы.
https://www.evolutionaryscale.ai/blog/esm3-release
Было показано, что модели большого языка (LLM) являются эффективными моделями человеческой языковой системы, при этом некоторые модели предсказывают наиболее объяснимые различия в активности мозга в текущих наборах данных. Даже в необученных моделях представления, вызванные архитектурными априорами, могут демонстрировать разумное соответствие данным мозга. В этой работе мы исследуем ключевые архитектурные компоненты, способствующие удивительному согласованию необученных моделей. Чтобы оценить сходство LLM с мозгом, мы сначала выбираем языковые селективные единицы внутри LLM, подобно тому, как нейробиологи определяют языковую сеть в человеческом мозге. Затем мы оцениваем выравнивание мозга этих единиц LLM по пяти различным наборам данных записи мозга. Изолируя критические компоненты архитектуры Transformer, мы определяем стратегию токенизации и многоголовое внимание как два основных компонента, обеспечивающих согласованность работы мозга. Простая форма повторения еще больше улучшает выравнивание. Далее мы демонстрируем это количественное согласование нашей модели с мозгом, воспроизводя важные исследования в области языковой нейробиологии, показывающие, что локализованные единицы модели — точно так же, как языковые воксели, измеренные эмпирически в человеческом мозге — более надежно различают лексические, чем синтаксические различия, и демонстрируют аналогичные профили ответа в тех же экспериментальных условиях. Наконец, мы демонстрируем полезность представлений нашей модели для языкового моделирования, достигая повышения эффективности выборки и параметров по сравнению с сопоставимыми архитектурами. Оценки неожиданности, полученные нашей моделью, устанавливают новый уровень в сопоставлении поведения человека со временем чтения. В совокупности мы предлагаем модель, в значительной степени согласованную с мозгом и поведением, которая концептуализирует человеческую языковую систему как необученный кодировщик поверхностных функций со структурными априорами в сочетании с обученным декодером для достижения эффективной и производительной обработки языка.
https://arxiv.org/abs/2406.15109
Было показано, что модели большого языка (LLM) являются эффективными моделями человеческой языковой системы, при этом некоторые модели предсказывают наиболее объяснимые различия в активности мозга в текущих наборах данных. Даже в необученных моделях представления, вызванные архитектурными априорами, могут демонстрировать разумное соответствие данным мозга.
В этой работе мы исследуем ключевые архитектурные компоненты, способствующие удивительному согласованию необученных моделей. Чтобы оценить сходство LLM с мозгом, мы сначала выбираем языковые селективные единицы внутри LLM, подобно тому, как нейробиологи определяют языковую сеть в человеческом мозге. Затем мы оцениваем выравнивание мозга этих единиц LLM по пяти различным наборам данных записи мозга. Изолируя критические компоненты архитектуры Transformer, мы определяем стратегию токенизации и многоголовое внимание как два основных компонента, обеспечивающих согласованность работы мозга. Простая форма повторения еще больше улучшает выравнивание.
Далее мы демонстрируем это количественное согласование нашей модели с мозгом, воспроизводя важные исследования в области языковой нейробиологии, показывающие, что локализованные единицы модели — точно так же, как языковые воксели, измеренные эмпирически в человеческом мозге — более надежно различают лексические, чем синтаксические различия, и демонстрируют аналогичные профили ответа в тех же экспериментальных условиях.
Наконец, мы демонстрируем полезность представлений нашей модели для языкового моделирования, достигая повышения эффективности выборки и параметров по сравнению с сопоставимыми архитектурами. Оценки неожиданности, полученные нашей моделью, устанавливают новый уровень в сопоставлении поведения человека со временем чтения. В совокупности мы предлагаем модель, в значительной степени согласованную с мозгом и поведением, которая концептуализирует человеческую языковую систему как необученный кодировщик поверхностных функций со структурными априорами в сочетании с обученным декодером для достижения эффективной и производительной обработки языка.
https://arxiv.org/abs/2406.15109
Основной тезис
новой книги Рэя Курцвейла заключается в том,
что интерфейсы мозг-компьютер расширят
человеческий интеллект в миллионы раз,
открывая новые способы мышления
- это и есть сингулярность
Ученые Хайфского Техниона разработали ИИ-модель, которая создает математические гипотезы. Ученые считают, что уже сегодня ИИ-модель может помочь в решении самых трудных проблем, которые стоят перед наукой сотни лет.
Работа опубликована в журнале PNAS.
Директор Лондонского института математики Томас Финк в своей колонке, которая была опубликована на сайте Nature еще до выхода новой работы израильских математиков, размышлял о влиянии ИИ на развитие математики. Финк приходит к выводу, что ИИ наиболее полезен не в том, на что многие надеялись: он еще долго не сможет оказывать математикам техническую помощь, то есть, строить корректные доказательства, но он почти быстро учится строить гипотезы и особенно плодотворно это делает в самой абстрактной области математики – теории чисел.
https://www.newsru.co.il/science_hitech/25jun2024/mathematics.html
В то время, когда Цап и Лаврик отменяют компьютеры, девушка из Кремниевой Долины задумывается о том, как она будет жить через несколько лет. И хочет отменить протестанскую этику)))
"Мне 25. Следующие три года могут стать последними годами моей работы. Я не болею, не становлюсь домохозяйкой, и мне не так повезло в финансовом отношении, что я нахожусь на грани добровольного выхода на пенсию. Я стою на пороге технологического развития, которое, вероятно, в случае его наступления положит конец занятости в том виде, в котором я ее знаю.
Я работаю в передовой компании, занимающейся искусственным интеллектом. С каждой итерацией нашей модели я сталкиваюсь с чем-то более функциональным и общим, чем раньше. На этом этапе он может грамотно генерировать убедительный контент по широкому кругу тем. Он неплохо умеет обобщать и анализировать тексты. Как человек, который в какой-то момент зарабатывал деньги как писатель-фрилансер и гордился своей способностью быстро писать большие объемы контента, навыком, который, как и вырезание глыб льда из замерзшего пруда, возможно, устарел, мне трудно не обратите внимание на эти достижения. Писательство-фрилансер всегда пользовалось большим спросом, а внедрение языковых моделей еще больше усилило конкуренцию.
Общая реакция на языковые модели среди работников умственного труда – это отрицание. Они цепляются за постоянно уменьшающееся число мест, где такие модели все еще испытывают трудности, вместо того, чтобы замечать постоянно растущий круг задач, в которых они достигли или превзошли человеческий уровень. Многие скажут, что системы искусственного интеллекта еще не пишут отмеченных наградами книг, не говоря уже о патентовании изобретений. Но большинство из нас также не делает этих вещей.
Экономически и политически значимое сравнение большинства задач заключается не в том, лучше ли языковая модель, чем лучший человек, а в том, лучше ли они, чем человек, который в противном случае выполнил бы эту задачу. Это делает возражение о том, что системы ИИ еще не кодируют длинные последовательности и не выполняют ничего, кроме простых математических вычислений, более актуальным. Но эти системы будут продолжать совершенствоваться при выполнении всех когнитивных задач. Общая цель в области искусственного интеллекта — создать систему, которая может все. Я ожидаю, что мы скоро достигнем этого. Если я прав, как нам следует относиться к грядущему устареванию труда?
Стоит сразу отметить, что и сегодня работа — далеко не единственный способ участия в жизни общества. Тем не менее, это оказалось лучшим способом передачи богатства и ресурсов; он обеспечивает личные блага, такие как социальные связи, статус и смысл; и он предлагает социальные блага, такие как политическая стабильность.
Учитывая это, должны ли мы встречать возможность его утраты с грустью, страхом, радостью или надеждой? Общие экономические последствия общего искусственного интеллекта (AGI) трудно предсказать, и здесь я сосредоточусь на вопросе о том, как люди будут чувствовать себя без работы — будут ли они или могут быть счастливы. Очевидно, есть и другие жизненно важные вопросы, например, как люди смогут удовлетворить свои материальные потребности. Многие исследовали этот вопрос, но окончательный ответ еще не был принят в качестве официальной политики на этот случай каким-либо правительством. Вместо этого я собираюсь сделать что-то, что может показаться мошенничеством. Я пойду дальше и предположу, что люди могут удовлетворить свои финансовые потребности за счет универсального базового дохода или других трансфертов, и сосредоточусь исключительно на вопросе, могут ли люди и будут ли они счастливы – или, по крайней мере, так же счастливы, как сейчас – без работы."
далее по тексту: https://www.palladiummag.com/2024/05/17/my-last-five-years-of-work/
Claude Sonnet 3.5 проходит зеркальный тест
Автор провел простой эксперимент: он делал скриншот разговора с Claude AI и многократно отправлял его обратно боту с вопросом «что тут происходит?»
Удивительно, но ИИ не только верно понял суть происходящего, назвав это «рекурсивным экспериментом о мета-сознавании», но и верно определил цель эксперимента — проверка наличия самосознания у LLM.
Чатбот все время эксперимента стабильно оставался «над схваткой», выражаясь о происходящем строго в третьем лице и крайне нейтрально и взвешенно. Сухо подвел итоги эксперимента и даже сам написал выводы об эксперименте над самим собой (на картинке).
Кстати, ровно такой же тест, только с зеркалом вместо скриншота, используется зоологами для определения уровня самосознания у животных (собаки понимают что в зеркале их отражение, а жуки нет).
Лог теста здесь: https://x.com/joshwhiton/status/1806000237728931910?s=46&t=njTQTxdaH7InGdtglLwsiA
PEACOCK UNVEILS PERSONALIZED OLYMPIC RECAPS FEATURING THE VOICE OF LEGENDARY SPORTS ANNOUNCER AL MICHAELS GENERATED WITH A.I.
В то время, пока Цап и Лаврик отменяют компьютеры и электричество, NBC решила сделать персонализированных комментаторов на основе ИИ.
"НЬЮ-ЙОРК – 26 июня 2024 г. – Пикок внедряет искусственный интеллект. Технология для предоставления «Вашего ежедневного олимпийского отчета», первого в своем роде персонализированного опыта, дополняющего всестороннее освещение NBCUniversal Олимпийских игр 2024 года в Париже. В сотрудничестве с диктором Зала славы Элом Майклсом, удостоенным премии «Эмми», и генеративным искусственным интеллектом. и А.И. Технология синтеза голоса «Your Daily Olympic Recap on Peacock» предоставит болельщикам собственный плейлист, включающий самые важные для них события предыдущего дня. В каждом сборнике будут представлены отрывки из репортажей NBCU об Олимпийских играх, озвученные высококачественным искусственным интеллектом. воссоздание голоса Майклса, который был обучен с использованием его прошлых выступлений на NBC и соответствует его фирменному опыту и ораторскому мастерству."
https://www.nbcsports.com/pressbox/press-releases/peacock-unveils-personalized-olympic-recaps-featuring-the-voice-of-legendary-sports-announcer-al-michaels-generated-with-a-i
Почти все нейронные сети, лежащие в основе современных инструментов искусственного интеллекта, таких как ChatGPT, основаны на вычислительной модели живого нейрона 1960-х годов. Новая модель, разработанная в Центре вычислительной нейронауки (CCN) Института Флэтайрон, предполагает, что это приближение десятилетней давности не отражает все вычислительные способности, которыми обладают настоящие нейроны, и что эта старая модель потенциально сдерживает развитие ИИ.
Новая модель, разработанная в CCN, утверждает, что отдельные нейроны осуществляют больший контроль над своим окружением, чем считалось ранее. Обновленная модель нейронов может в конечном итоге привести к созданию более мощных искусственных нейронных сетей, которые лучше будут использовать возможности нашего мозга, говорят разработчики модели. Исследователи представляют революционную модель в статье, опубликованной 24 июня в журнале Proceedings of the National Academy of Sciences.
https://www.eurekalert.org/news-releases/1048959
