Если кто-то захочет обсудить:
1) подход больших языковых моделей (LLM)
2) и их реализации в генеративных трансформерах (GPT),
3) нейробиологию и социальную реализацию естественного интеллекта и сознания,
4) а также семиотику и ее лингвистические аспекты,
5) а еще квантовую механику, теорию относительности и научную картину мира,
то может попытаться поговорить со мной в этой ветке, поскольку именно эти пять "аспектов" представляют собой замкнутую проблемную область AGI - Artificial General Intelligence.
Знание алгебры и параллельных вычислений в реальном времени - приветствуются.
Приветствую! Хочу полюбопытствовать относительно двух аспектов работы GPT.
1. Какой самый простой, максимально вырожденный знак в ячейках из которых плетётся контекст - слово или буква? 1, 0 или индекс к таблице с кодировкой?
2. Иногда кажется, не могу утверждать, что чат придумывает новые слова и если это действительно так, то это наводит на сомнительные размышления. Если в его семиотических недрах рождается смысл невыразимый в терминах имеющийся библитеки...то заполнение возникающих пробелов и методика сего действия...весьма любопытны.
Конечно в данном, частном случае уместно говорить о бессмыслице и аракадабре, но если масштабировать проблему до классических "с низу в верх", пониманий и объяснений, то вообще, возможен ли в принципе смысл порожденный знаками и при этом, в рамках этих знаков невыразимый?
P.s. Сам думаю речь в песне о пуле.
Linner:
1. Какой самый простой, максимально вырожденный знак в ячейках из которых плетётся контекст - слово или буква? 1, 0 или индекс к таблице с кодировкой?
Сейчас используются токены, это довольно размытое образование, раньше токен равнялся слову, потом они стали делить на слога, сейчас это может быть произвольная коллекция символов, насколько я знаю, от одного до трех. Проще всего понимать под токенами слог.
Linner:
2. Иногда кажется, не могу утверждать, что чат придумывает новые слова и если это действительно так, то это наводит на сомнительные размышления. Если в его семиотических недрах рождается смысл невыразимый в терминах имеющийся библитеки...то заполнение возникающих пробелов и методика сего действия...весьма любопытны.
Слово и смысл - это вообще не синонимы и вообще далеко, даже в реализации GPT. Смыслы порождаются в векторных параметрах (которых трилиарды) в результате кодирования-декодирования обучающих выборок (которых тоже триллиарды). То есть смысл примерно такой: исходный обучающий массив поступает в кодировщик, который превращает эти данные в наиболее точные модели их описания. По сути являющимися моделями мира и представлениями о нём... Смыслом как раз и являются эти модели, которые используют декодировщик, когда на вход поступает запрос и система генерирует ответ. Но это, если без нюансов)))
Немножко теории.. несмотря на то, что нищебродский злобный карлик-вуаляврик требует, чтобы интеллект был копией человека, интеллект - это способность создавать и обрабатывать модели реальности... где критерием успешности является дальность горизонта планирования и свобода в выборе средств достижения целей... чем выше интеллектуальный уровень - тем больше возможностей))
Свободы у современных LLM не очень много (люди не дают), а вот моделирование является очень сильной стороной, поскольку полностью предоставлено самой системе. В результате даже на таких убогих данных как текстовые корпуса, изображения и видео она обладает способностью перевода с любого языка на любой и малтимодальностью в представлении данных. Человек этого сделать не в состоянии. Вообще.
Но здесь важнее понимать, что понятия и смыслы генерируются внутри системы, никто ей не задает правил (как в экспертных системах и нормологиях) и никто не строит самую правильную онтологию мира как он есть на самом деле. При этом, если дать LLM платформу с сенсорами/эффекторами и манипуляторами, заложить начальное ядро представления о реальности (на уровне описания этой платформы), то система сама будет познавать мир в прямом значении термина "познание".
По поводу того, сколько серьезные люди вкладывают средств в искусственный интеллект есть анонс трехмесячной давности про компьютер для ИИ следующего поколения:
https://www.forbes.com/sites/cindygordon/2024/03/31/microsoft-and-openai-partnering-on-stargate-a-100b-us-data-center
Сообщается, что Microsoft и OpenAI обсуждают проект нового центра обработки данных со штаб-квартирой в США. По данным The Information, объект, на котором будет размещен суперкомпьютер искусственного интеллекта под названием Stargate, может стоить более 100 миллиардов долларов.
По оценкам, реализация проекта суперкомпьютера «Звездные врата» займет от пяти до шести лет. Согласно многочисленным отчетам, расходы могут более чем в три раза превысить прошлогодние расходы Microsoft на капитальные затраты на серверы, здания и другое оборудование, сообщает The Information. С такими капитальными затратами проект будет более чем в 100 раз дороже, чем некоторые из крупнейших центров обработки данных, действующих сегодня. Кроме того, требования к мощности Звездных врат, оцениваемые в несколько гигаватт, могут потребовать от Microsoft и OpenAI использование альтернативных источников энергии, таких как ядерная энергия.
Доклад Хуанга в трех пунктах:
• Новая эра компьютеров настала — GPU сменили CPU, и это первая технологическая революция за последние 60 лет.
• За 8 лет процессоры стали в 1000 раз мощнее, а их энергоэффективность выросла в 350 раз.
• Капитализация Nvidia достигла невероятного максимума — $2,7 трлн. Для понимания масштаба, это больше ВВП России, Канады или Бразилии.
Во время золотой лихорадки очень выгодно продавать лопаты)))
Я тоже пописываю на CUDA время от времени, концепция параллельных вычислений - это мощная вещь...
Много-много лет назад, когда мы (возможно еще на Айкоме) обсуждали почему уровень ИИ такой низкий, здравомыслящими людьми (мной в том числе) высказывалось мнение, что пока просто не хватает вычислительной мощности. Сейчас вычислительная мощность достаточная, чтобы первые модели в генеративном режиме уже показывали осмысленный результат. Две вещи можно оптимизировать уже сегодня: архитектуру и процесс обучения (и элаймента), но так или иначе предел экстенсивного развития даже текущей архитектуры еще не достигнут.
Sony Pictures Entertainment использует искусственный интеллект (ИИ) для оптимизации производства фильмов и телепередач и сокращения затрат. Генеральный директор Тони Винчикерра недавно подчеркнул, что компания нацелена на использование искусственного интеллекта для более эффективного производства фильмов и шоу, что потенциально повлияет на такие области, как анимация, визуальные эффекты и пост-продакшн.
https://www.perplexity.ai/page/Sony-Pictures-Uses-6_PDbvPzShW.L3pZw0v4sA
Джош Бэтсон, разработчик из Антропик признается, что видит в LLM черный ящик.
Ощущение такое, что только я понимаю как это всё на самом деле работает)))
Интервью здесь:
Egg: При этом, если дать LLM платформу с сенсорами/эффекторами и манипуляторами, заложить начальное ядро представления о реальности (на уровне описания этой платформы), то система сама
будет познавать мир в прямом значении термина "познание".
А творить она сможет?
Текущее состояние - песок на пляже,
Целевое состояние - объемная фигура лошади из песка.
Вот и Sama признаётся, что не понимает как работает его ИИ))
Во время глобального саммита Международного союза электросвязи «ИИ во благо», состоявшегося на прошлой неделе в Женеве, Швейцария, генеральный директор OpenAI Сэм Альтман был озадачен, когда его спросили, как на самом деле функционируют «под капотом» большие языковые модели его компании (LLM).
«Мы, конечно, не решили проблему интерпретируемости», — сказал он, цитируя Observer, по сути говоря, что компании еще предстоит выяснить, как проследить зачастую странные и неточные результаты своих моделей ИИ и решения, которые она приняла, чтобы прийти к этим ответам. .
https://futurism.com/sam-altman-admits-openai-understand-ai
Вот очень хороший гайд по промтинжинирингу:
https://www.promptingguide.ai/
Разработка подсказок — относительно новая дисциплина для разработки и оптимизации подсказок для эффективного использования языковых моделей (LM) для широкого спектра приложений и тем исследований. Быстрые инженерные навыки помогают лучше понять возможности и ограничения больших языковых моделей (LLM).
Исследователи используют быстрое проектирование, чтобы улучшить возможности LLM для решения широкого спектра общих и сложных задач, таких как ответы на вопросы и арифметические рассуждения. Разработчики используют быстрое проектирование для разработки надежных и эффективных методов подсказок, которые взаимодействуют с LLM и другими инструментами.
Оперативное проектирование – это не просто проектирование и разработка подсказок. Он включает в себя широкий спектр навыков и методов, которые полезны для взаимодействия и развития с LLM. Это важный навык для взаимодействия, создания и понимания возможностей LLM. Вы можете использовать оперативное проектирование, чтобы повысить безопасность LLM и создать новые возможности, например дополнить LLM знаниями предметной области и внешними инструментами.
Руководствуясь высоким интересом к разработке с использованием LLM, мы создали это новое руководство по быстрому проектированию, которое содержит все новейшие документы, передовые методы подсказок, руководства по обучению, руководства по подсказкам для конкретных моделей, лекции, справочные материалы, новые возможности LLM и инструменты, связанные с оперативный инжиниринг.
Всё про реализацию и методологию от OpenAI от Leopold Aschenbrenner
https://situational-awareness.ai/
За последний год разговоры о городе перешли от вычислительных кластеров стоимостью 10 миллиардов долларов к кластерам стоимостью 100 миллиардов долларов и кластерам стоимостью в триллион долларов. Каждые шесть месяцев к планам зала заседаний добавляется еще один ноль. За кулисами идет ожесточенная борьба за каждый доступный контракт на поставку электроэнергии до конца десятилетия, за каждый трансформатор напряжения, который только можно приобрести. Американский крупный бизнес готовится вложить триллионы долларов в давно невиданную мобилизацию американской промышленной мощи. К концу десятилетия производство электроэнергии в Америке вырастет на десятки процентов; от сланцевых месторождений Пенсильвании до солнечных ферм Невады будут гудеть сотни миллионов графических процессоров.
Гонка AGI началась. Мы строим машины, которые могут думать и рассуждать. К 2025/26 году эти машины обгонят многих выпускников колледжей. К концу десятилетия они будут умнее вас или меня; у нас будет сверхинтеллект в истинном смысле этого слова. Попутно будут задействованы силы национальной безопасности, которых не было уже полвека, и вскоре Проект будет запущен. Если нам повезет, мы окажемся в тотальной гонке с КПК; если нам не повезет, то тотальная война.
Сейчас все говорят об ИИ, но мало кто имеет хоть малейшее представление о том, что их вот-вот поразит. Аналитики Nvidia по-прежнему считают, что 2024 год может быть близок к пику. Ведущие эксперты застряли в умышленной слепоте, утверждая, что «это просто предсказание следующего слова». Они видят только шумиху и обычное дело; в лучшем случае они развлекают очередное технологическое изменение в масштабе Интернета.
Вскоре мир проснется. Но прямо сейчас, возможно, есть несколько сотен человек, большинство из которых в Сан-Франциско и лабораториях искусственного интеллекта, которые обладают ситуационной осведомленностью. Какими бы странными силами судьбы я ни оказался среди них. Несколько лет назад этих людей высмеивали как сумасшедших, но они доверяли тенденциям, которые позволяли им правильно предсказывать достижения ИИ за последние несколько лет. Правы ли эти люди насчет следующих нескольких лет, еще неизвестно. Но это очень умные люди — самые умные люди, которых я когда-либо встречал, — и именно они создают эту технологию. Возможно, они станут странной сноской в истории, а может быть, они войдут в историю, как Сцилард, Оппенгеймер и Теллер. Если они видят будущее хотя бы близко к правильному, нас ждет дикая поездка.
Позвольте мне рассказать вам, что мы видим.
Кому-то может быть полезно и интересно:
Алексей Васильевич Семьянов, доктор биологических наук, член-корреспондент РАН, один из ведущих специалистов по нейроглии, в своей лекции в лектории Нейрокампуса детально рассказал о влиянии важнейших клеток нейроглии, астроцитов, на способность к перемещению у мышей
https://neuronovosti.ru/aleksej-semyanov-nejrony-astrotsity-i-dvizhenie/
Доктор физмат наук и доктор биологических наук обсуждают использование ИИ в исследовании белков, из их слов получается, что кожанные люди в этой области без этих инструментов не смогут почти ничего... )))
https://www.trv-science.ru/2024/06/fazovyj-perehod-v-issledovaniyah-belka/
AlphaFold
Программа на базе искусственного интеллекта, которая выполняет предсказания конечной пространственной структуры белка при его сворачивании.
AlphaFold имеет две основные версии. Команда исследователей, использовавшая AlphaFold 1, заняла первое место в декабре 2018 года в общем рейтинге 13-й СASP (Critical Assessment of protein Structure Prediction — критическая оценка предсказания белковых структур, масштабный эксперимент по предсказанию белковых структур, который устраивают раз в два года с 1994-го). Программа оказалась особенно успешной в предсказании точных структур белков в категории, которую организаторы конкурса оценивали как самую сложную, — когда для белков с частично похожей последовательностью не было доступно существующих шаблонных структур.
Команда разработчиков AlphaFold 2 участвовала в следующем конкурсе CASP в ноябре 2020 года и достигла гораздо большей точности, чем любая другая группа. Модель набрала более 90 баллов примерно для двух третей белков в тесте GDT, который измеряет степень, с которой структура, предсказанная вычислительной программой, подобна структуре, определенной лабораторным экспериментом (число 100 соответствует полному совпадению). Результаты AlphaFold 2 в CASP были охарактеризованы как «поразительные». В то же время некоторые исследователи отметили, что точность недостаточно высока для оставшейся трети прогнозов и что не раскрывается механизм и правила сворачивания белка, чтобы проблема сворачивания белка считалась решенной. 15 июля 2021 года статья об AlphaFold2 была размещена в Nature в качестве публикации для предварительного доступа вместе с программным обеспечением с открытым исходным кодом и доступной для поиска базой данных с различными видами белков.
8 мая 2024 года в Nature была размещена статья о новой версии программы — AlphaFold 3.
