Microsoft and Quantinuum create 12 logical qubits and demonstrate a hybrid, end-to-end chemistry simulation
Microsoft and Quantinuum applied Azure Quantum’s qubit-virtualization system to Quantinuum’s H2 trapped-ion quantum computer to create 12 highly reliable logical qubits. Additionally, the teams demonstrated the emerging capabilities of reliable quantum computing by using two logical qubits, integrated with an AI model and cloud high-performance computing (HPC), to accurately estimate the ground state energy of the active space of an important catalytic intermediate. These achievements demonstrate continued progress toward scientific quantum advantage, a milestone that will be reached when a hybrid quantum-classical supercomputer can solve scientific problems too complex for classical computers alone
https://azure.microsoft.com/en-us/blog/quantum/2024/09/10/microsoft-and-quantinuum-create-12-logical-qubits-and-demonstrate-a-hybrid-end-to-end-chemistry-simulation/?msockid=11272055937361b634c0330492ac60ad
Attention Heads of Large Language Models: A Survey
Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads.
We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions.
https://arxiv.org/abs/2409.03752
Synthetic continued pretraining
Pretraining on large-scale, unstructured internet text has enabled language models to acquire a significant amount of world knowledge. However, this knowledge acquisition is data-inefficient -- to learn a given fact, models must be trained on hundreds to thousands of diverse representations of it. This poses a challenge when adapting a pretrained model to a small corpus of domain-specific documents, where each fact may appear rarely or only once. We propose to bridge this gap with synthetic continued pretraining: using the small domain-specific corpus to synthesize a large corpus more amenable to learning, and then performing continued pretraining on the synthesized corpus. We instantiate this proposal with EntiGraph, a synthetic data augmentation algorithm that extracts salient entities from the source documents and then generates diverse text by drawing connections between the sampled entities. Synthetic continued pretraining using EntiGraph enables a language model to answer questions and follow generic instructions related to the source documents without access to them. If instead, the source documents are available at inference time, we show that the knowledge acquired through our approach compounds with retrieval-augmented generation. To better understand these results, we build a simple mathematical model of EntiGraph, and show how synthetic data augmentation can "rearrange" knowledge to enable more data-efficient learning.
https://arxiv.org/abs/2409.07431
OpenAI o1-mini
We're releasing OpenAI o1-mini, a cost-efficient reasoning model. o1-mini excels at STEM, especially math and coding—nearly matching the performance of OpenAI o1 on evaluation benchmarks such as AIME and Codeforces. We expect o1-mini will be a faster, cost-effective model for applications that require reasoning without broad world knowledge.
Today, we are launching o1-mini to tier 5 API users(opens in a new window) at a cost that is 80% cheaper than OpenAI o1-preview. ChatGPT Plus, Team, Enterprise, and Edu users can use o1-mini as an alternative to o1-preview, with higher rate limits and lower latency (see Model Speed).
https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/
CodeGenie: How Salesforce Leveraged Generative AI to Enhance Internal Developer Productivity
Salesforce has been a leader in AI technology for over a decade, continuously advancing from predictive AI to generative AI and now to autonomous AI. These developments are set to revolutionize the entire software development lifecycle. As an industry leader, Salesforce has chosen to develop its own technology, creating models specifically trained on our codebase. This approach is designed to support Salesforce-specific use cases and workflows, thereby enhancing the capabilities of our developers.
https://engineering.salesforce.com/codegenie-how-salesforce-leveraged-generative-ai-to-enhance-internal-developer-productivity/
Recurrent Aggregators in Neural Algorithmic Reasoning
Neural algorithmic reasoning (NAR) is an emerging field that seeks to design neural networks that mimic classical algorithmic computations. Today, graph neural networks (GNNs) are widely used in neural algorithmic reasoners due to their message passing framework and permutation equivariance. In this extended abstract, we challenge this design choice, and replace the equivariant aggregation function with a recurrent neural network. While seemingly counter-intuitive, this approach has appropriate grounding when nodes have a natural ordering -- and this is the case frequently in established reasoning benchmarks like CLRS-30. Indeed, our recurrent NAR (RNAR) model performs very strongly on such tasks, while handling many others gracefully. A notable achievement of RNAR is its decisive state-of-the-art result on the Heapsort and Quickselect tasks, both deemed as a significant challenge for contemporary neural algorithmic reasoners -- especially the latter, where RNAR achieves a mean micro-F1 score of 87%.
https://arxiv.org/abs/2409.07154
Introducing OpenAI o1-preview
We trained these models to spend more time thinking through problems before they respond, much like a person would. Through training, they learn to refine their thinking process, try different strategies, and recognize their mistakes.
In our tests, the next model update performs similarly to PhD students on challenging benchmark tasks in physics, chemistry, and biology. We also found that it excels in math and coding. In a qualifying exam for the International Mathematics Olympiad (IMO), GPT-4o correctly solved only 13% of problems, while the reasoning model scored 83%. Their coding abilities were evaluated in contests and reached the 89th percentile in Codeforces competitions. You can read more about this in our technical research post.
As an early model, it doesn't yet have many of the features that make ChatGPT useful, like browsing the web for information and uploading files and images. For many common cases GPT-4o will be more capable in the near term.
But for complex reasoning tasks this is a significant advancement and represents a new level of AI capability. Given this, we are resetting the counter back to 1 and naming this series OpenAI o1.
https://openai.com/index/introducing-openai-o1-preview/
Сэм Альтман пишет о будущем ИИ:
В ближайшие пару десятилетий мы сможем делать то, что нашим бабушкам и дедушкам показалось бы магией.
Это явление не новое, но оно будет ускорено по-новому. Со временем люди стали гораздо более способными; мы уже можем делать то, что наши предшественники считали невозможным.
Мы более способны не из-за генетических изменений, а потому, что мы извлекаем выгоду из инфраструктуры общества, которое намного умнее и способнее любого из нас; в важном смысле само общество является формой развитого интеллекта. Наши бабушки и дедушки — и поколения, которые были до них — строили и достигали великих вещей. Они внесли свой вклад в создание опор человеческого прогресса, от которого мы все выигрываем. ИИ даст людям инструменты для решения сложных проблем и поможет нам добавить новые опоры к этим опорам, которые мы не смогли бы придумать самостоятельно. История прогресса продолжится, и наши дети смогут делать то, чего не можем мы.
Это не произойдет сразу, но вскоре мы сможем работать с ИИ, который поможет нам достичь гораздо большего, чем мы когда-либо могли без ИИ; в конечном итоге у каждого из нас может быть личная команда ИИ, полная виртуальных экспертов в разных областях, которые будут работать вместе, чтобы создать практически все, что мы можем себе представить. У наших детей будут виртуальные репетиторы, которые могут предоставить персонализированное обучение по любому предмету, на любом языке и в любом темпе, который им нужен. Мы можем представить себе похожие идеи для улучшения здравоохранения, возможность создавать любое программное обеспечение, которое кто-то может себе представить, и многое другое.
С этими новыми возможностями мы можем добиться общего процветания в такой степени, которая сегодня кажется невообразимой; в будущем жизнь каждого может стать лучше, чем сейчас. Процветание само по себе не обязательно делает людей счастливыми — есть много несчастных богатых людей — но оно значительно улучшит жизнь людей по всему миру.
Вот один из узких способов взглянуть на историю человечества: после тысяч лет сочетания научных открытий и технического прогресса мы выяснили, как расплавить песок, добавить некоторые примеси, расположить его с поразительной точностью в чрезвычайно малых масштабах в компьютерных чипах, пропускать через него энергию и в итоге получить системы, способные создавать все более эффективный искусственный интеллект.
Это может оказаться самым важным фактом во всей истории на данный момент. Возможно, что у нас будет сверхразум через несколько тысяч дней (!); это может занять больше времени, но я уверен, что мы этого достигнем.
Как мы оказались на пороге следующего скачка в процветании?
В трех словах: глубокое обучение сработало.
В 15 словах: глубокое обучение сработало, предсказуемо улучшилось с масштабированием, и мы выделили на него все больше ресурсов.
Вот и все; человечество открыло алгоритм, который мог действительно, действительно изучить любое распределение данных (или на самом деле основные «правила», которые производят любое распределение данных). С шокирующей степенью точности, чем больше вычислений и данных доступно, тем лучше они помогают людям решать сложные проблемы. Я обнаружил, что сколько бы времени я ни думал об этом, я никогда не смогу по-настоящему осознать, насколько это важно.
Есть много деталей, которые нам еще предстоит выяснить, но было бы ошибкой отвлекаться на какую-то конкретную проблему. Глубокое обучение работает, и мы решим оставшиеся проблемы. Мы можем многое сказать о том, что может произойти дальше, но главное заключается в том, что ИИ будет становиться лучше с масштабированием, и это приведет к значительным улучшениям в жизни людей по всему миру.
Модели ИИ скоро будут служить автономными личными помощниками, которые будут выполнять определенные задачи от нашего имени, например, координировать медицинское обслуживание от вашего имени. В какой-то момент в будущем системы ИИ станут настолько хороши, что помогут нам создавать более совершенные системы следующего поколения и добиваться научного прогресса по всем направлениям.
Технологии перенесли нас из каменного века в аграрный век, а затем в индустриальный век. Отсюда путь к веку интеллекта проложен вычислениями, энергией и человеческой волей.
Если мы хотим предоставить ИИ в руки как можно большего числа людей, нам нужно снизить стоимость вычислений и сделать их обильными (что требует большого количества энергии и чипов). Если мы не построим достаточно инфраструктуры, ИИ станет очень ограниченным ресурсом, за который будут вестись войны, и который в основном станет инструментом для богатых людей.
Нам нужно действовать мудро, но с убежденностью. Рассвет века интеллекта — это знаменательное событие с очень сложными и чрезвычайно высокими ставками. Это будет не совсем позитивная история, но ее преимущества настолько огромны, что мы обязаны себе и будущему выяснить, как управлять рисками, стоящими перед нами.
Я считаю, что будущее будет настолько светлым, что никто не сможет описать его должным образом, пытаясь написать о нем сейчас; определяющей характеристикой века интеллекта будет массовое процветание.
Хотя это будет происходить постепенно, поразительные триумфы — исправление климата, создание космической колонии и открытие всей физики — в конечном итоге станут обычным явлением. С почти безграничным интеллектом и обильной энергией — способностью генерировать великие идеи и способностью воплощать их в жизнь — мы можем сделать довольно много.
Как мы видели с другими технологиями, будут и недостатки, и нам нужно начать работать уже сейчас, чтобы максимизировать преимущества ИИ, одновременно минимизируя его вред. Например, мы ожидаем, что эта технология может вызвать значительные изменения на рынках труда (хорошие и плохие) в ближайшие годы, но большинство рабочих мест будут меняться медленнее, чем думает большинство людей, и я не боюсь, что у нас закончатся дела (даже если они не кажутся нам сегодня «настоящими рабочими местами»). У людей есть врожденное желание творить и быть полезными друг другу, и ИИ позволит нам усилить наши собственные способности, как никогда раньше. Как общество, мы вернемся в расширяющийся мир, и мы снова сможем сосредоточиться на играх с положительной суммой.
Многие из работ, которые мы выполняем сегодня, показались бы людям пустячной тратой времени несколько сотен лет назад, но никто не оглядывается назад в прошлое, желая быть фонарщиком. Если бы фонарщик мог увидеть мир сегодня, он бы подумал, что процветание вокруг него невообразимо. И если бы мы могли перенестись на сто лет вперед, процветание вокруг нас показалось бы таким же невообразимым.
