Форум создателей искусственных интеллектов

Things are going differently, norma-logic is completely wrong))

Вот начал же правильно двигать мысль про то, как разворачивается сознание - но под занавес все опошлил: представьте, что мозг это приемник. Екарный бабай... Все пазлы были на руках, вместо того чтобы просто их сложить, взял их и раскидал.

Знакомы с Кузнецовым? Что он говорит про ваши теории сознания?

Я про того, кто в видео объяснял, что такое сознание. Зачем было переходить на аналогию, что мозг это приемник, что объясняет потерю сознания при повреждении мозга.

Я понял про кого вы, вы не поняли, про кого я. Я для вас веточку открыл. Про сознание. Расскажите нам как правильно программировать сознание. Код ваш на go я посмотрел, качество приемлемое, но имплементации сознания не нашел((((

Довольно известная сетевая персона Lex Kravetski рассуждает на русском про искусственный интеллект и о том, насколько текущая имплементация LLM является AGI

Ой, лошарик увидел себя в этом зеркале и понял, что его интеллект не дотягивает до chatGPT'шного... Даже мультик не досмотрел до конца, судя по времени сообщения)))) Это типично для лошариков: они пастернаков не читают, но докторов живагов осуждают... Да, дедуль, ваша троица (ты + Цап + Влад) - лучшая иллюстрация того, что средний человечек уступает примерно в 100500 раз средней реализации LLM

Подкаст с Dario Amodei - CEO of Anthropic, который начинал в OpenAI и еще не известно, кто автор самых ценных идей в имплментации))) Подкаст имеет транскрипт, если вы читаете на английском лучше, чем слушаете...

Попалось в ленте, выложу сюда, вдруг кто-то захочет освежить в памяти... Теория информации. Введение Математическая теория связи Шеннона определяет фундаментальные пределы того, сколько информации может передаваться между различными компонентами любой искусственной или биологической системы. Эта статья представляет собой неформальное, но строгое введение в основные идеи, заложенные в теории Шеннона. Для дальнейшего чтения предоставляется аннотированный список литературы. https://arxiv.org/abs/1802.05968

Patterns of synchronized clusters in adaptive networks Адаптивные сети с изменяющейся во времени связностью, часто называемые пластичностью, обеспечивают фундаментальную парадигму для моделирования сложных динамических систем. В этих системах разные группы элементов часто демонстрируют разную, но синхронизированную динамику внутри каждой группы. Здесь мы предлагаем структуру для изучения закономерностей синхронных решений в большом классе пластических сетей и выводим общий подход к анализу устойчивости этих решений. Этот подход отделяет роль сетевой топологии от роли динамической, что приводит к уменьшению размерности проблемы устойчивости и позволяет нам исследовать, как адаптация влияет на возникновение мультистабильных паттернов синхронизированной активности. Чтобы проиллюстрировать его возможности, мы применяем наш метод к трем сетям осцилляторов с различной топологией, динамикой и правилами адаптации. Наша рабочая среда охватывает большой класс гетерогенных многослойных динамических сетей, связанных (даже с задержками) через различные пластические связи, и может оказать широкое влияние на анализ сложных пластических сетей. https://www.nature.com/articles/s42005-024-01688-5

Трогательная статья про поверженного машинным интеллектом человека... Defeated by A.I., a Legend in the Board Game Go Warns: Get Ready for What’s Next "Ли Сэдол был лучшим игроком в го своего поколения, когда он потерпел решающее поражение, потерпев поражение не от человека, а от искусственного интеллекта. Г-н Ли был избит AlphaGo, искусственным интеллектом, компьютерная программа, разработанная подразделением Google DeepMind. Потрясающее потрясение 2016 года попало в заголовки газет по всему миру и выглядело как явный признак того, что искусственный интеллект вступает в новую, глубоко тревожную эпоху. Победив г-на Ли, 18-кратного чемпиона мира, известного своим интуитивным и творческим стилем игры, AlphaGo решила одну из величайших задач информатики: научилась абстрактной стратегии, необходимой для победы в го, которая широко считается самой сложной доской в ​​мире. игра. «Я очень удивлен, потому что никогда не думал, что проиграю», — сказал тогда г-н Ли на послематчевой пресс-конференции. «Я не знал, что AlphaGo сыграет такое идеальное Го». Но последствия его поражения выходят далеко за рамки самой игры, в которой два игрока соревнуются за территорию, размещая черные и белые камни на доске с сеткой, состоящей из 19 линий на 19 линий. Победа AlphaGo продемонстрировала необузданный потенциал искусственного интеллекта. достичь сверхчеловеческого мастерства в навыках, которые когда-то считались слишком сложными для машин. Г-н Ли, которому сейчас 41 год, вышел на пенсию три года спустя, убежденный, что люди больше не могут конкурировать с компьютерами в Го. По его словам, искусственный интеллект изменил саму природу игры, зародившейся в Китае более 2500 лет назад." https://www.nytimes.com/2024/07/10/world/asia/lee-saedol-go-ai.html

Flexible multitask computation in recurrent networks utilizes shared dynamical motifs Гибкие вычисления — отличительная черта разумного поведения. Однако мало что известно о том, как нейронные сети контекстно перенастраиваются для различных вычислений. В настоящей работе мы определили алгоритмический нейронный субстрат для модульных вычислений посредством исследования многозадачных искусственных рекуррентных нейронных сетей. Анализ динамических систем выявил изученные вычислительные стратегии, отражающие модульную структуру подзадач набора обучающих задач. Динамические мотивы, которые представляют собой повторяющиеся шаблоны нейронной активности, реализующие определенные вычисления посредством динамики, такие как аттракторы, границы принятия решений и вращения, повторно использовались в разных задачах. Например, задачи, требующие запоминания непрерывной круговой переменной, перепрофилировали один и тот же кольцевой аттрактор. Мы показали, что динамические мотивы реализуются кластерами единиц, когда функция активации единицы ограничивается положительной. Кластерные поражения вызывали модульный дефицит производительности. Мотивы были переконфигурированы для быстрого переноса обучения после начальной фазы обучения. Эта работа устанавливает динамические мотивы как фундаментальную единицу композиционных вычислений, промежуточную между нейроном и сетью. Поскольку исследования всего мозга одновременно регистрируют активность множества специализированных систем, структура динамических мотивов будет определять вопросы специализации и обобщения. https://www.nature.com/articles/s41593-024-01668-6

Котенков послушал свежее интервью Microsoft CTO Kevin Scott и пишет: "Почти всё обсуждение строилось вокруг AI и дальнейшего развития. Microsoft вообще чем-то другим занимается? — вопреки мнению многих скептиков, пока не видно уменьшения эффективности масштабирования моделей. Делаешь больше, учишь дольше — получаешь модель лучше — к сожалению, людям это сложнее прочувствовать, так как вместо наблюдения за кривой развития мы лишь получаем одну точку (фронтир модель) раз в сколько-то месяцев или лет, так как датацентры нужно построить, инженерные задачи для масштабирования — решить — и несмотря на то, что размеры тренировочных кластеров и не думают уменьшаться, с ростом полезности моделей и проникновения их в экономику затраты на развёртывание и применение будут в разы больше оных на обучение. Тем более кластер для применения можно делать куда меньше, а инженерных задач хоть и больше (или скорее они разнообразнее, и позволяют креатив), но и скорость итераций выше — ведь обучение моделей занимает месяцы и стоит сотни миллионов долларов. — Scott снова рассказывает (прошлый раз был весной), что следующая фронтир модель OpenAI докажет тезисы выше, мол, развитие не замедляется, масштабирование как работало последние 6 лет, так и продолжает, и стоит рассчитывать на существенные улучшения по всем направлениям. Конечно, легко списать все подобные заявления на хайп или попытку втюхать что-то, и именно поэтому следующее поколение моделей будет важным (хотя даже там найдутся дурачки, которые будут говорить «не ну это то понятно, но вот ДАЛЬШЕ-то уже не будет развития!»). Хорошо, что хотя бы слова и дела Microsoft не расходятся — ведь они инвестируют десятки и сотни миллиардов долларов в инфраструктуру в расчёте получить с этого прибыль И как раз к вопросу про тренировочные кластера и вычислительные мощности: 1. Elon Musk говорит, что Grok 2 уже дотренировали и сейчас полируют, скоро должен выйти (мб в следующем месяце) 2. Grok 3 планируется на конец года, и по словам Elon будет тренироваться на кластере из 100'000 H100. Очень лихо Musk запрыгнул на поезд кластеров, карты-то в дефиците, а он смог раздобыть мощности. Для справки: GPT-4 в 2022м году тренировали на 25'000 карт прошлого поколения. 3. OpenAI и Microsoft не спят и тоже заключают партнёрство с Oracle, чтобы ко второй половине 25го года построить кластер на 100'000 GB200 — это уже карты следующего поколения, каждая состоит из двух чипов, а значит как минимум в два с копейками раз мощнее. Мысленно можете читать это как 200'000. Интересно, на нём нём ли будут тренировать GPT-6?"

Synchron Announces Brain Computer Interface Chat Feature Powered by OpenAI https://www.businesswire.com/news/home/20240711493318/en/Synchron-Announces-Brain-Computer-Interface-Chat-Feature-Powered-by-OpenAI Благодаря передовой системе генеративного искусственного интеллекта OpenAI Synchron еще больше расширяет возможности своей технологии BCI, позволяя людям с тяжелым параличом, потерявшим подвижность верхних конечностей, взаимодействовать с цифровым миром без помощи рук, только посредством мысли. Функция чата Synchron BCI, основанная на OpenAI, проста в использовании и в освоении. Теперь он может генерировать автоматические подсказки для текстовых сообщений и общения в чате, классифицированные по контексту, включая эмоции пользователя. Эта интеграция отражает приверженность компании инновациям в области нейротехнологий, ориентированным на пациентов. Synchron не передает данные мозга пользователя BCI OpenAI. «Как человек, который, скорее всего, потеряет способность общаться по мере прогрессирования моей болезни, эта технология дает мне надежду, что в будущем у меня все еще будет возможность легко общаться с близкими. Это изменит правила игры», — сказал Марк, человек, живущий с БАС и использующий платформу Synchron BCI.

Хорошо контролируемая компьютерная видеографика, ориентированная на применение в Холивуде, основанная на использовании генеративный моделей: https://odyssey.systems/

This is either a dream or a nightmare for Hollywood studios. An actor's performance can now be modified with realistic facial expressions (or exaggerated caricature ones). Acting performance can now be adjusted in post production, no more re-shooting. Will Oscars for acting performance become redundant in the future?

Лаврик может рассчитывать на помощь в его болезни... Ученые из Кембриджа разработали инструмент искусственного интеллекта, способный в четырех случаях из пяти предсказать, останутся ли люди с ранними признаками деменции стабильными или у них разовьется болезнь Альцгеймера. Деменция представляет собой серьезную глобальную проблему здравоохранения, от которой страдают более 55 миллионов человек во всем мире, а ее ежегодные расходы оцениваются в 820 миллиардов долларов. Ожидается, что в течение следующих 50 лет число случаев заболевания почти утроится. Основной причиной деменции является болезнь Альцгеймера, на которую приходится 60-80% случаев. Раннее выявление имеет решающее значение, поскольку именно тогда лечение, вероятно, будет наиболее эффективным, однако ранняя диагностика деменции и прогноз могут быть неточными без использования инвазивных или дорогостоящих тестов, таких как позитронно-эмиссионная томография (ПЭТ) или люмбальная пункция, которые не доступен во всех клиниках памяти. В результате до трети пациентов может быть поставлен неправильный диагноз, а у других диагноз может быть поставлен слишком поздно, чтобы лечение было эффективным. https://www.cam.ac.uk/research/news/artificial-intelligence-outperforms-clinical-tests-at-predicting-progress-of-alzheimers-disease

Beyond Euclid: An Illustrated Guide to Modern Machine Learning with Geometric, Topological, and Algebraic Structures Очень толковый обзор, рекомендую хотя бы полистать... "Непреходящее наследие евклидовой геометрии лежит в основе классического машинного обучения, которое на протяжении десятилетий в основном разрабатывалось для данных, лежащих в евклидовом пространстве. Тем не менее, современное машинное обучение все чаще сталкивается с богато структурированными данными, которые по своей сути неевклидовы. Эти данные могут иметь сложную геометрическую, топологическую и алгебраическую структуру: от геометрии кривизны пространства-времени до топологически сложных взаимодействий между нейронами мозга и алгебраических преобразований, описывающих симметрии физических систем. Извлечение знаний из таких неевклидовых данных требует более широкой математической перспективы. Вторя революциям XIX века, которые привели к появлению неевклидовой геометрии, новое направление исследований переосмысливает современное машинное обучение с помощью неевклидовых структур. Его цель: обобщение классических методов на нетрадиционные типы данных с помощью геометрии, топологии и алгебры. В этом обзоре мы предоставляем доступный доступ к этой быстрорастущей области и предлагаем графическую таксономию, которая объединяет последние достижения в интуитивно понятную унифицированную структуру. Впоследствии мы извлекаем информацию о текущих проблемах и выделяем захватывающие возможности для будущего развития в этой области." https://www.arxiv.org/abs/2407.09468

А вот так выглядит балет в представлении Luma: 😃😃

Корпорация Synchron объявила о интеграции генеративного ИИ от OpenAI в свою платформу мозгового компьютерного интерфейса, представив новую функцию, которая позволяет пользователям с тяжелыми формами паралича общаться без рук. Мозговой имплант Synchron имплантируется минимально инвазивным способом через яремную вену и передает моторные намерения пользователя из мозга — ИИ генерирует автоматические подсказки для переписки и общения на основе контекстных данных, включая эмоции пользователя, что упрощает и ускоряет процесс общения. Система помогает пользователю генерировать текст или даже аудио со скоростью обычного диалога. https://www.businesswire.com/news/home/20240711493318/en/Synchron-Announces-Brain-Computer-Interface-Chat-Feature-Powered-by-OpenAI