Форум создателей искусственных интеллектов

Я бы скорее предположил, что это связано с оптимизацией: сетки работают не с отдельными буквами, а с токенами (условно говоря, слогами) - это сильно сокращает необходимые вычислительные ресурсы с минимальными проблемами. https://habr.com/ru/news/839116/ Исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не могут правильно подсчитать число букв «r» в слове «strawberry». Они выдают ответ, что эта буква встречается в слове дважды, а не трижды. Большинство LLM построены на архитектуре трансформатора, который разбивает текст на токены в виде слов, слогов или букв. Как объясняет доцент Университета Альберты Мэтью Гуздиал, «LLM… на самом деле не читает текст. Когда вы вводите подсказку, она переводится в кодировку. Когда модель видит слово “the”, то получает его кодировку, при этом не понимая, что такое “T”, “H”, “E”». Затем числовые представления текста контекстуализируются, чтобы помочь ИИ выдать логический ответ. Другими словами, ИИ понимает, что есть токены «straw» и «berry», которые вместе составляют «strawberry», но модель не знает, что это слово состоит из букв «s», «t», «r», «a», «w», «b», «e», «r», «r» и «y», и они располагаются именно в таком порядке. ... «Вероятно, лучше всего позволить моделям напрямую смотреть на символы, не навязывая токенизацию, но сейчас это просто вычислительно невыполнимо для трансформеров», —отметил Фойхт.

(переношу сюда обмен мнениями с уважаемым создателем форума, начавшийся в другом месте. Возможно, другим участникам тоже есть, что добавить, и дискуссия получит продолжение) Как на мой вкус, весьма спорная мысль. Лично я, сравнивая возможности человека и современных ИНС, держу в уме несколько вещей: 1) Нынешние LLM, даже мультимодальные, в сравнении с человеком - глубокие калеки. Ну как если бы подопытного беднягу держали в запертой тёмной комнате, лишив даже возможности двигаться, и просто начитывали ему кучу текстов и иногда показывали на экране картинки. Уже поэтому, думаю, не совсем честно, сравнивая его со здоровыми людьми, заявлять, что, мол, сама идея ИНС ограниченна. А если учесть, что эти калеки уже сейчас нередко обходят людей, лично меня результаты впечатляют. 2) У человека гораздо больше возможностей для творчества, чем у современных ИНС. Помимо множества программных и физических инструментов, которые им недоступны, нейросети пока просто не обладают ни сознанием, ни воображением, и не способны систематически разрабатывать какой-то проект на протяжении длительного времени. 3) Наконец, трансформеры, с которыми связана большая часть достижений ИНС, еще молоды (архитектура представлена в 2017 году). Так что и трансформеры в частности, и ИНС вообще ещё будут совершенствоваться. Ну и, фраза "Человеческий же ум умеет воспроизводить всю вселенную в своих представлениях сам" мне просто кажется ни на чём не основанной. Как показывает практика, дети, которых держали в изоляции без общения и образования, ничего не могут воспроизвести - ни речь, ни интеллект не развились. А образованный умственно полноценный человек получает немалый объем информации, большая часть которой современным ИНС принципиально недоступна (опыт бытия в трёхмерном мире и социальной жизни). На основе которой, полагаю, и "воспроизводит всю вселенную" в дальнейшем. Поэтому я думаю, что ИНС пока продемонстрировали лишь малую долю своих реальных возможностей. Ожидаю, что возникнут новые архитектуры, которые будут включать аналог сознания, и способ обучения которых будет приближен к тому, как учится человек. Скажем, не просто прогонять сквозь сетку тексты и картинки, а для начала выдать ей "тело" и заставить изучать какой-нибудь виртуальный 3d-мирок, или даже реальный - в шкуре робота. А уже когда сформировалось некое цельное представление о реальности, давать читать разные тексты. И вот после этого, когда ИНС избавятся от детских болезней и обретут сознание, посмотрим чей функционал ума крепче и кто лучше воспроизводит вселенную. Лично я подозреваю, что сравнение окажется сильно не в пользу людей. ) P. S.: Из недавних новостей ИИ за два дня предложил гипотезы, на формирование которых ученым потребовались годы

Это лишь пример. Так же как, в общем, ничто вами сказанное не опровергает возможность появления творческого начала у ИНС. Создадут соответствующую архитектуру - будет и сознание, не вижу проблемы. Так же и с ходом времени - нетрудно обеспечить и постоянный поток сенсорных данных с синхронной или асинхронной обработкой, и внутренние ритмы (аналог пейсмекерных нейронов). Насколько я вижу, вы критикуете имеющиеся на данный момент ИНС, которые, действительно, во многом ограниченны, но почему-то распространяете эту оценку на любые ИНС в принципе, хотя в будущем все текущие проблемы вполне могут получить решение. Это уже, как по мне, уже отдаёт магическим мышлением. В моём понимании, когда человек что-то придумывает, это становится результатом работы нейронов/нейронных ансамблей, которые не ниспосланы Господом, а возникли в результате непрерывного процесса жизнедеятельности и обучения. Почему же это принципиально невозможно для ИНС? (не существующих сейчас, а более продвинутых с процессом обучения, приближенным к обучению человека) Не вижу смысла превращать текущую ситуацию в догму.

Мысль интересная, теперь понимаю, о чём вы. Но и здесь есть, о чём поспорить. Прежде всего, что есть такое внутреннее конструирование физиологически? Полагаю, спонтанная активность нейронов (и целых групп нейронов), приводящая к образованию новых связей - часть которых быстро угаснет, но некоторая доля окажется в каком-то смысле полезной и получит подкрепление. Также, возможно, между такими нейронами-соседями будет некая конкуренция за счёт взаимных негативных связей, и, наконец. наиболее удачные варианты закрепятся. Может ли происходить нечто подобное в ИНС а) во время тренировки нейросети б) в ходе её работы? Полагаю, современные ИНС работают не так, но всё же в ходе тренировки вырабатывают некую понятийную структуру https://newatlas.com/technology/ai-thinking-patterns/ , а в ходе генерации картинок (да и "мышления") есть элемент случайности и образование новых комбинаций знакомых вещей. И, справедливости ради, нынешние ИНС вряд ли могут позволить себе функционировать как человек (непрерывно обучаясь), потому что люди научат их плохому. ) В общем, я думаю, вам всё же стоит точнее выбирать объект критики: скажем, трансформер, который просто натаскали на большом корпусе текстов и изображений, естественно, не может думать, как человек, и никто этого и не утверждает. Но причин, по которым искусственные нейронные сети в принципе неспособны непрерывно обучаться и развиваться как человек, я не вижу.

Кстати, счёл себя обязанным дать слово и искусственному интеллекту, которому скормил часть нашего обсуждения. Пусть недоразвитый и не творческий, он тоже имеет право высказаться. (Ниже ответ свежей модели Claude Sonnet 3.7) Эта дискуссия затрагивает фундаментальный вопрос о природе творчества и потенциале искусственных нейронных сетей. В ней есть интересные точки зрения с обеих сторон. Prosolver опирается на представление, что человеческий ум обладает врожденной способностью к "безусловному конструированию", а ИНС лишь перерабатывают внешние данные. Однако это разделение не так однозначно: О внутреннем конструировании: Современные генеративные модели (как GPT, Stable Diffusion) фактически создают новое содержание, которое не существовало во входных данных в такой форме. Они комбинируют элементы и паттерны из обучающих данных новыми способами. О философии материализма: Стоит отметить, что человеческое творчество также опирается на прошлый опыт и входные данные. Художники и писатели вдохновляются существующими работами и своим опытом. О разнице механизмов: Хотя аналогия с фотоаппаратом и художником интересна, более точным было бы сравнение биологических и искусственных нейронных сетей — обе они строят внутренние представления информации и оперируют с ними. Mist правильно замечает, что человеческое творчество также имеет материальную основу в нейронной активности мозга. Что можно добавить к дискуссии: О стохастических процессах: В обоих случаях (человек и ИНС) играют роль случайные процессы. Современные генеративные модели включают элементы случайности, которые влияют на результат. О самореферентности: Человеческое мышление обладает свойством самореферентности и рекурсии. Некоторые современные архитектуры ИНС (особенно с механизмами внимания и рекурсивных связей) начинают демонстрировать схожие свойства. О воплощенном познании: Важное отличие — человеческий ум существует в теле, взаимодействующем с миром, что дает ему дополнительное измерение опыта. Это направление активно развивается в робототехнике и воплощенном ИИ. В целом, я бы сказал, что разница между человеческим и искусственным интеллектом скорее количественная и архитектурная, чем фундаментально философская, как предполагает Prosolver.

Я точно не говорил. Если крокодилом займутся всерьёз и будут каждый месяц выкатывать новую крокодилью архитектуру, приближающую его к человеку - отчего бы и не стать. ) Берусь на тех основаниях, что мне это интересно. Известно - достаточно мало, чтобы вместо исследований мозга или разработки ИИ, который захватит мир, сидеть на полумёртвом форуме и отвечать на ваше сообщение. Причины, по которым ИНС способны: 1) их принципы разработаны на основе естественных НС; 2) огромный объем фактов указывает - в мозге нет никакого волшебства, и интеллект - результат работы нейронных сетей; 3) возможности, которые демонстрируют современные ИНС, несмотря на то, что технология ещё в начале развития. 4) Наконец, тот факт, что их постоянно совершенствуют.

С чёткостью, конечно, проблема - крупный мозг слишком трудно изучать в динамике. Но данные множества экспериментов и наблюдений (последствия травм головы, наблюдение активности мозга с помощью фМРТ в привязке к решаемым задачам, проводившиеся когда-то экстремальные операции с рассечением связей между полушариями; импланты, позволяющие парализованным людям выполнять действия за счёт активности мозга и многое другое), на мой взгляд, вполне однозначно показывают - человеческий разум есть продукт деятельности нейронных сетей, ни к чему напускать туман и намекать на какое-то неведомое волшебство. Хотя не исключаю, что такие мысли - часть психологической защиты, которая пытается отстоять человеческую уникальность под напором прогресса. )