Форум создателей искусственных интеллектов

Тут очень многое зависит от того, как мы считаем научный успех)) Если по количеству статей и перекрестных ссылок, то китайцы впереди планеты всей. Если по новизне и качеству, то уступают очень сильно. Большинство китайских статей - вторичны. У нас много китайцев работает, и в CU и UNF (это кого я лично знаю). Они хороши и вообще не собираются назад в Китай))) Так что среди китайцев есть еще американские китайцы)

Про невинность это я так, для юморка)) ИМХО через 5–10 лет то, что будут называть искусственным интеллектом, вероятно, будет основываться на совершенно иных алгоритмах и принципах обучения, чем сейчас. Логика трансформеров, где ключевым элементом является слой "внимания" поверх MLP, утратит своё доминирующее положение, таких кастомных слоёв под разные данные будет сотни. Появится множество новых, принципиально различных архитектур и слоёв и не факт что это всё будет бэкпропное(читай жутко медленное). И эти компоненты, скорее всего, будут обучаться не совместно в единой модели, что сейчас является крайне медленным процессом, а по более эффективным, модульным подходам. Современные трансформеры в чистом виде будущем останутся лишь как инструмент для генерации текста, для чего они собственно и содавались. Мультимодальность, хотя её уже начинают развивать, находится на самых ранних стадиях. Полноценной интеграции разных типов данных (текста, изображений, звука и так далее) ещё предстоит пройти долгий путь, который займёт десятилетия. Самое важное, что пока почти никто не задумывается над последовательностью обучения. Сейчас ИИ в основном занимается "тупым" структурированным запоминанием. Пофиг как фаршировать трансформер, можно начать с высшей математики или с элементарной одинаково, потому что оно не формирует целостное видение мира, метамодель. Не создаётся иерархия закономерностей, которая бы отражала взаимодействие всех элементов универсума и могла бы сформировать осмысленное мировоззрение. Чтобы ИИ вышел на новый уровень, необходим качественно иной подход к обучению. Он должен уметь не только интегрировать информацию из разных источников, но и понимать её взаимосвязь, формируя системное восприятие реальности. Такой ИИ будет способен выделять ключевые закономерности, строить причинно-следственные связи и формировать что-то вроде "интеллектуального ядра" — основы, которая позволяет осмысленно адаптироваться к новым данным и контекстам, путём так сказать достройки. Такая система выращивается из очень простой. Если начать ей фаршировать чем то сложным она это никак не воспримет, так как оно не "приСОВОКУПИТСЯ" к её метамодели, модель "не поймёт", а не тупо запомнит как нынешние сетки, потюнив веса. Это потребует кардинальных изменений в архитектуре. Возможно, будущие ИИ-системы будут состоять из множества специализированных модулей, каждый из которых обучается отдельно, но умеет взаимодействовать с другими через сложные механизмы обмена данными. Например, один модуль может быть ответственен за обработку зрительной информации, другой — за анализ текста, третий — за прогнозирование. Однако ключевым станет "метамодуль", способный интегрировать результаты их работы и принимать осознанные решения, опираясь на междисциплинарный подход. Кроме того, развитие ИИ должно идти в сторону само генерации архитектур и самообучающихся систем, которые могут самостоятельно определять, какой аспект информации важен для их задач, и планировать процесс обучения. Это предполагает переход от традиционного, строго детерминированного обучения к гибким моделям, способным адаптироваться на ходу. Повторю самое главное — ИИ будущего должен начать формировать собственную концепцию реальности, единую модель. Это потребует создания алгоритмов, которые смогут "осознавать" контекст, учитывать долгосрочные последствия своих решений и даже задаваться фундаментальными вопросами, вроде тех, которые стоят в основе философии. Только так ИИ сможет перейти из инструмента в категорию полноценных участников интеллектуальной среды. А чтобы добавить ДУШУ в ИИ, нужны эмоции, способность испытывать муку и стыд.

Я хотел бы дать небольшую справочку о том, как работает LLM. Условная LLM, потому что архитектур сейчас очень много уже, а будет еще больше, будем считать, что это некий условный GT, pretrained из него уберем, потому что поговорим именно о нём. Это к вопросу про (цитирую) "должен начать формировать собственную концепцию реальности, единую модель". Не нужно ни начинать, ни искать долженствования, потому что LLM/GT так это и делает))) Изначально. Но не единую, потому что модель по сути своей не может быть единой, это очередная невежественная глупость. Что тут важно понимать? Смысл эмбеддингов. Это очень важно. Исходный корпус (в любой модальности, хоть текст, хоть видеострим) не обрабатывается символьно (токенно) как в "экспертно-логических" системах, где токен (== слово высказывания) содержит некоторое смысловое значение. В LLM токен является источником эмбеддинга, то есть многомерного вектора, который отражает отношение между объектами - токенами - смыслами, в неявном виде заложенного в корпусах. И обрабатывается весь массив эмбеддинговских векторов целиком. И когда автоэнкодер работает с этим массивом, он, фактически, реконструирует модель объектов и модель смыслов, что как раз и соответствует модели реальности. Располагая их в весах. Поэтому я и называю LLM - фрактальным (это тоже важно, но это отдельный аспект) семиотическим процессором. То есть выходной текст по промту и контексту генерируется не по знаковому значению, а по положению соответствующего эмбеддинга в пространстве объектов и смыслов. Реализуется знаковая система как она есть, а не статистический или логический вывод. Мозг работает так же - как семиотический процессор)) И альтернативы этому нет. Единственная "альтернатива", которую я слышал здесь от лавриков, просольверов и прочих сергеев шуваловых - это возвращение к дремучей экспертной системе с правилами, высказываниями, логическими выводами и прочим допотопным устаревшим неработающим хозяйством))

Единственная 'альтернатива' — это начать работать с сутью понятий, а не с их названиями. Именно так работает наш мозг.

Вы упростили всё (тут важнейший вопрос, в чем их суть)))), но почти так. Я об именно этом и написал. И не просто про ЧТО, но и КАК это сделать. LLM/GPT примерно этот вариант и реализовывает. Это не альтернатива, это единственный вариант "мышления" как мы его знаем. Другое дело, что мышление - это очень неэффективный способ рефлексии и познания, но поэтому LLM и приходят вам, кожаным, на смену)))

Если бы ИИ/СИИ был создан, в него не пришлось бы вбухивать такие почти астрономические ресурсы. Излишне говорить, что на сей момент не построена даже минимально интеллектуальная система, а аппетиты т.н. "архитекторов" продолжают расти уже в геометрической прогрессии.

Наивное невежество - это лучший способ вести полемику. Лаврушка думает, что ИИ - это набор слов на клочке бумаги 😃😃. Дам справку, есть такой процесс - поиск в интернете, в нем почти ничего интеллектуального нет (кроме индексирования), так вот, для того чтобы обеспечить быстрый поиск по всему миру компания Google (на самом деле она называет Alphabet) использует более, чем миллион серверов, расположенных по всему миру. Я оху@ваю с этих диванных рассуждателей о современных технологиях...

- Вы в свой огород кидаете камень.

Вижу, информация новая и неожиданная для Вас ))))

Я же не нападаю. Зачем Вы так яростно защишаетесь ? Лишь указываю, что довольно часто Ваши ходы имеют суицидальный характер. Практически всё, мной здесь сказаное, относится к тому, что количество не переходит чудесным образом в качество в интересующей нас области. И не перейдёт. Не тот случай. Не вижу никакого повода для оптимизма. Со времён появления первых АСУ/АСУТП мало или почти ничего не изменилось. Интеллект ведь не в том, чтобы научиться пережёвывать информацию каким-то особо извращённым способом и уж тем более не в количестве переваренного. Только не говорите, что Вы слышите об этом впервые.

Ваша трагедия, Луарвик, в том, что Вы почти ничего не знаете про интеллект. Вы можете использовать эту схему "Интеллект ведь не в том, чтобы" и писать затем что угодно. Свои представления, свои представления о моих представлениях, свои представления о любых других представлениях и это всегда будет адекватным и правильным. Причина проста. Потому, что Вы почти ничего не знаете про интеллект. 😃😃 Вам (и всем прочим просельверам, mserg'ам, цапам, спейсам) остается только отрицать, потому что Вам совершенно нечего предложить)) Кроме экспертных систем, конечно, о которых вы читали в юности)

Обновление про ситуацию с LLM в Китае: высок ли потенциал китайских LLM: новое исследование от EpochAI Основное: исследователи насчитали, что мощности, выделяемые на обучение моделей, в Китае растут почти в два раза медленнее, чем у конкурентов с Запада и Европы. Если для глобала это 4.8x в год, то в Китае 2.9x (если считать с конца 2021). Это не означает, что потенциала у Китая нет. Например, до 2021 – посмотрите на график – они уверенно давили педаль в пол, за счет чего и догнали мировую индустрию. А сейчас разрыв опять растет. Конечно, флопсы – это только один из аспектов, и метрики последних моделей DeepSeek нам явно на это указывают, но все-таки недостаток мощности это риск. Например, уже сейчас Китаю бы потребовалось 2 года, чтобы достичь скейла глобального сегодняшнего топ-10. https://epoch.ai/data/notable-ai-models#china-compute-trends

Да ладно, Egg. По вашим же убеждениям AGI должен принести прибыль в лярды доляров, а по факту он собирается.... сожрать, именно сожрать очередные пол триллиона. Если он жрет, а не приносит, то что же это за AGI? )))))

Вы понимаете смысл инвестиций? Это когда вкладываешь доллар, а возвращаешь этот доллар плюс прибыль. Но вкладывать тоже нужно. Особенно на первых этапах. Это только у просольверов всё безплатно и всё всем поровну, в реальном мире социалистические схемы не работают, приводят к паразитизму и вырождению... работают только конкурентные схемы с отрицательной обратной связью.

Забавное Вы существо )))-)))-))) Вы там чего-то якобы строите, какие-то т.н. "искусственные интеллекты", про интеллект двух слов связать не можете - то отождествляете его со статистическим попугаем, то с мешком алгоритмов, то с воспитанием, а иногда у Вас среда обитания становится носителем интеллекта, то вдруг Вам сознания до кучи не хватает, а потом Вы о нём так же вдруг забываете, да много чего ещё... и при всём при этом у меня трагедия ??!!! Я вполне даю себе отчёт, что разговаривать с IT-евангелистами - бездарное, постыдное, может даже глупое занятие, но вы ведь сами напрашиваетесь, чтобы вас по столу мордАми отвозили - лезете во все дыры, навязываете свои идеологии,.засераете мозги молодым и зелёным... Так откровенно врать-то не надо ))) Не зачтётся, даже как последний аргумент. Покажите хоть один мой пост, в котором я бы отстаивал достоинства т.н. "экспертных систем".

Первый этап давно прошёл. К тому же, прежде чем вкладывать, неплохо было бы подумать. Часть несомненно отобьётся - разными там сервисами, скоростью, объёмами переработки, заворачиванием в красивые обёртки и фантики etc., но какое всё это имеет отношение к ИИ ? Где во всём том, что уже наворотили, собственно ИИ ? Я на всё могу закрыть глаза, кроме одного: когда приходит какой-нибудь дядя и чтобы оправдаться за перерасход, который ни в какие ворота не лезет, с важным видом произносит - "С сегодняшнего дня будем считать, что Солнце восходит на Западе! " Для членов стада и прочей паствы такое может и прокатит, и пойдут как бараны и будут платить... А мне - извиняюсь за выражение - НАСРАТЬ, что какоё-то там дядя считает или не считает. ... по одной простой причине - своей головой надо думать, однако ))) "Безплатно" пишется через "С" - беСплатно. Или Вашему Гуглю об этом не сообщили ?

Вы все существуете в рамках парадигмы логической обработки значений, а это и есть "экспертная система" в ее обобщенном виде. А Вы персонально ничего никогда не могли предложить, кроме набора слов. И надо сказать, vocabulary Ваш гораздо меньше демонстрируемого самомнения, Вы производите впечатление спившегося провинциала))

Покажите хоть один мой пост, в котором я говорил бы о "логической обработке значений". - на мой тезаурус Вы ещё не заработали. И потом, пред Вашими отвислыми ушами бисер тут метать - пустая трата сил и времени.

Давайте, наоборот, покажите мне хоть что-то из Ваших построений, что было бы вне логической обработки значений.

Давайте Вы не будете передёргивать и создавать себе пути для отступления. Просто покажите - когда, где и что я говорил о т.н. "экспертных системах" ?