коитус: Недавно бухал с топ разрабами одного из стартапов куда вложился. Несмотря что пацанва делает ИИ(в смысле LLMы и всю херню вокруг), что как бы их несколько отдаляет от скорой утилизации, но всё равно, паника нарастает.
Топ-разрабы -- это минимум уровень архитекторов (как у меня). Если они пилят инструменты, то грош-цена их топству, как я сказал некоторое время назад - инструменты нынче даром. Вы вроде с этим согласились. А в прикладе, да еще с клиентской базой паниковать могут только до уровня middle, впрочем зачем их увольнять, если они могут оркестрировать. Вот тех, кто пишет руками или не умеет в диалог - да, таких в космонавты не берут))
P.S. Какая разница каким инструментом разрабатывать. Раньше это делали ОО c плюсами, сейчас LLM через диалоги. Просто более высокоуровневый инструмент. Модели сами себе задачу не поставят, сами себе требования не выдвинут, сами с собой оптимальную дорожную карту не сформируют. У них нет кнопки "заработай мне все деньги мира". Была бы такая кнопка, их провайдеры не продавали бы, а сами и пользовались 😂😂
Хочу высказаться по поводу биологической хрупкости.
001.
Биологическая хрупкость человека заключается не только в смертности, болезнях и физической уязвимости. Она гораздо глубже. Человек представляет собой чрезвычайно узкоспециализированную биологическую систему, способную существовать лишь в ничтожном диапазоне физических условий. Температура, давление, химический состав атмосферы, радиация, гравитация — практически всё должно оставаться в определённых пределах. За пределами этой области человек немедленно становится зависимым от искусственной среды, которую сам же вынужден создавать и поддерживать.
002.
Космический полёт особенно наглядно демонстрирует эту зависимость. Человек не способен существовать в космосе самостоятельно. Он может лишь транспортировать с собой небольшой фрагмент земной среды, заключённый в техническую оболочку. Космический корабль в этом смысле не столько средство передвижения, сколько протез биосферы. Мы переносим в космос не человека, приспособленного к Вселенной, а искусственно сохранённые условия его земного существования.
003.
Однако физическая хрупкость — только часть проблемы. Когнитивная организация человека столь же ограниченна. Человек необычайно долго обучается, медленно обрабатывает сложную информацию, обладает небольшим объёмом рабочей памяти и крайне ограниченным ресурсом внимания. Он не способен одновременно удерживать множество независимых объектов и отношений между ними. Большие смысловые конструкции приходится последовательно разворачивать, дробить на фрагменты и фиксировать во внешних носителях. Даже собственные рассуждения человек зачастую не может воспроизвести без записей.
004.
Человеческое мышление последовательно не потому, что мир последователен, а потому, что так устроен наш когнитивный аппарат. Мы вынуждены превращать многомерные отношения в цепочки слов, причин и следствий. Всякая сложная смысловая конструкция проходит через узкое горлышко внимания и языка. В результате понимание оказывается не непосредственным охватом структуры, а её последовательной реконструкцией, неизбежно сопровождаемой потерями, упрощениями и ошибками.
005.
Не менее существенно, что человеческий интеллект сформировался как социальный инструмент. Его эволюционная задача состояла не в постижении устройства Вселенной, а в обеспечении выживания, взаимодействия, конкуренции и кооперации внутри относительно небольших сообществ. Отсюда антропоморфизм, склонность искать намерения и действующих субъектов, объяснять неизвестное через знакомое, а сложные процессы — через простые истории. Даже абстрактное мышление несёт на себе отпечаток повседневного социального опыта.
006.
Поэтому человеческое понимание в своей основе бытовое. Это не означает, что человек не способен создавать математику, физику или философию. Но для работы с конструкциями, выходящими за пределы непосредственной интуиции, ему требуются специальные языки, формальные системы, вычислительные машины и коллективные институты знания. Наука стала возможной не благодаря отсутствию когнитивных ограничений, а благодаря созданию инструментов, позволяющих частично их обходить.
007.
Коллективный интеллект значительно расширяет возможности отдельного человека, но не отменяет биологического основания мышления. Общество обладает памятью, распределённым знанием и механизмами передачи опыта, однако каждая новая идея всё равно должна проходить через ограниченные когнитивные способности отдельных участников. Более того, социальная природа мышления порождает собственные ограничения: авторитеты, конформизм, конкуренцию интерпретаций и необходимость согласовывать понимание. Общество не только усиливает интеллект, но и ограничивает пространство мысли.
008.
В этом обнаруживается фундаментальное противоречие. Человек способен создавать смысловые конструкции, которые уже не способен целиком удерживать в собственном сознании. Современная наука, технологические системы и накопленное человечеством знание давно превысили когнитивную ёмкость отдельного индивида. Мы создаём структуры, которые понимаем лишь локально, через модели, интерфейсы и разделение труда. Целое всё чаще существует вне индивидуального понимания.
009.
Биологическая эволюция не обещает устранения этих ограничений. Она оптимизирует организмы относительно условий воспроизводства, а не относительно способности к неограниченному познанию. Поэтому нет оснований ожидать, что дальнейшее развитие интеллекта обязательно останется связано с биологическим носителем. Напротив, письменность, математика, вычислительная техника и искусственный интеллект могут рассматриваться как последовательные этапы вынесения когнитивных функций за пределы организма.
Возможно, главное проявление биологической хрупкости состоит именно в этом: человек оказался способен породить формы организации знания, масштаб которых превосходит возможности его собственного мышления. Биология дала начало интеллекту, но не обязательно определяет его окончательные границы. И если интеллект понимать как способность создавать, сохранять, преобразовывать и реконструировать смыслы, то биологический человек может оказаться не конечной формой интеллекта, а лишь одной из ранних форм его носителя.
Prosolver: за исключением, конечно, эволюционных конфабуляций
Тут выбор простой, Андрей, либо ты понимаешь маргинальность своих представлений, либо принимаешь научную картину мира и пытаешься осознать почему люди, которые профессионально (в отличие от тебя) занимаются биологией - становятся убежденными эволюционистами.
Prosolver: "Непосредственный охват структуры" не совместим с интеллектом как таковым. Так не бывает и быть не может, поскольку последовательность порождает однозначность, а значит целесообразность, осознанность, каузальность, субъективность, предпочтение, цель, задачу и, собственно, структуру.
"Непосредственный охват структуры" - это интеллект и есть, результат его работы. Это и есть целостность представления, эмерджентность мыслительной деятельности. Без этого "озарения" (инсайта) мыслительная деятельность сводилась бы к констатации единичных фактов. Что касается "однозначности", то ее вообще не существует, думаю, у тебя это просто наброски к очередной теории однозначнологии)))
Prosolver: Именно поэтому ДНК последовательна, белок последователен, текст последователен, алгоритм последователен, интеллект последователен, механизм последователен, ЭВМ последовательны, LLM последовательны.
Это противоречит фактам. ДНК - стуктурно (там весь смысл именно в комплементарных парах), белок структурен и трехмерен, смысл текста структурен (а буквы (знаки) двумерны и структурны, их смысл в том, чтобы отличаться друг от друга)))), алгоритм представляет собой mapping, механизм феноменален, LLM - сетевито, ЭВМ - сложное структурное устройство. Сложность невозможно порождать в линейности, мы вообще нигде в мире не наблюдаем линейности, кроме как в упрощенных представлениях, чтобы и дурак смог понять.
Prosolver: Говорить о каких-то структурах-на-самом-деле, которые надо охватывать как-то иначе, до и вне последовательности - это значит путать причину и следствие.
Тут ты делаешь типичную ошибку солипсиста: подменяешь примат восприятия и представления отрицанием независимости ("объективности") среды, в которой существуешь. Мир не является следствием твоих мыслительных реконструкций, Андрей. Независимый "внешний" "объективный" мир существует _на_самом_деле_ и понять его можно только одним способом - понять его организацию и структуру.
То, что представление о целостности появляются раньше представлений о деталях мирового "устройства" доказывает факт существования мифов и религиозных представлений в самом начале человеческого опыта, задолго до научных представлений. "Мир как бог" - вот самое первое структурное представление, первая попытка найти в мире целостность.
коитус: Не раскрою больших секретов, но сейчас многие конторки пишут все действия сотрудников и это ценный вид данных
Видимо, нужно уже типизировать бизнесы. Мы вынесли в ноль бизнесы создания информационных инструментов. Сайты создания сайтов, методы написания методов, классы проектирования классов. Есть только один инструмент - LLM. Period.
Есть бизнесы купи-продайские, складские, логистические и прочие, которые можно описать каким-то шаблоном. Этот шаблон будет описан и все такие бизнезы будут покрыты LLM. Period.
Есть какие-то прочие бизнесы, где шаблонированию поддаются операции, а уже из набора типичных операций (пусть пока сложных и ручных) делается конечный продукт. Пусть это будет назвываться производственный бизнес. Ему уже нужны реальные руки и он пока ждет хороших роботов, которые не скоро появятся. Лет десять спустя (моя скромная оценка). Но роботы появятся и бизнесы автоматизируются LLM. Period.
коитус: моделек, которые ставят задачи и тд.
А вот в этом месте LLM ждет фиаско. По причинам законов природы, которых можно не знать, но которые нельзя не выполнять. Проблема в том, что абстрактных задач (за пределами исчислений) не существует. Все задачи конкретны и существуют между абсолютно универсальными (которые не работают) и абсолютно специализированными (которые не имеют области приложения). Проблема именно в том, что LLM не решает задачи, а создает языковые конструкции и это ее непреодолимое ограничение.
Задача лежит в феноменальном пространстве, языковая конструкция - в знаковой системе. Задача есть элемент деятельности, языковая конструкция есть output сложной функции. Всякая хорошо поставленная задача - иррациональна и новационна, а языковая конструкция - это "выработка граничных условий" некоторого контекста. То есть по определению - банальна. LLM в этом месте не потянут, нужны другие интеллекты других типов)))
коитус: А кто говорит про чистые LLM? Даже LLM с инструментами в виде кучи программ и доступом в сеть, уже что то другое, ещё если запущена в виде оркестра агентов. И давно криво-косо но прилепили визуалку, это конечно не "world-model" о котором все говорят, но какое то "представление" не текстовое у моделек есть. Ну и я же говорил, оказалось что управленческие скилы людей(по крайней мере по большей части), довольно легко моделируется
Так "криво-косо" (цитирую вас) и работает))) Управленческие скиллы моделируются легко поскольку они все представляют собой систему "стимул-реакция", то есть имеют конечный набор паттернов. Математиков и физиков-теоретиков легко промоделировать, ибо - исчисления. А вот инженера, который ежедневно занимается инновациями и изобретениями, или физика-экспериментатора, который занят открытиями не существующими в пространстве знаний -- промоделировать невозможно, поскольку они создают денотаты-знаки-десигнаты, а не используют их. Тут совершенно другой тип мышления, не знаковый.
Кейси Хендмер пишет:
"В своих непрекращающихся поисках пределов возможностей Opus 5.5 я поручил ему провести аудит моей старой научной области — теоретической астрофизики. Мы проиндексировали около 150 000 статей, проверили 50 000 на наличие ошибок и провели все более тщательные проверки еще тысяч. Мы обнаружили почти 1000 серьезных ошибок, которые многократно цитировались, большинство из них до сих пор не исправлены.
Этот опрос позволил мне оценить эффективность рецензирования для исправления ошибок (не очень высокую) и выявить десятки открытых вопросов, на которые любой, у кого есть лишние токены Клода Макса, мог бы ответить уже сегодня (включая контекстные файлы .md). Итог: ИИ может ускорить количественную науку более чем в 1000 раз без необходимости дальнейшего улучшения моделей.
Но я не вижу никаких признаков того, что это продвигается в университетах, только жалобы ученых на лаборатории, которые отказываются от математических доказательств. Однако среди моих коллег, бывших основателей крупных научных агентств, некоторые быстро осваивают целые дисциплины. Этот опрос имеет значение для того, как будет управляться наука в самом ближайшем будущем.
Подсказка: Академические публикации мертвы. Это был и так очень глупый способ записи и распространения знаний, и оставался таковым на протяжении десятилетий, еще до того, как все эти знания, финансируемые из государственного бюджета, оказались заперты за платными барьерами. Теперь, когда ИИ может генерировать тысячи новых, правильных статей в день, для людей больше нет смысла считать научную статью «единицей науки» или даже особо беспокоиться о 99,9% науки, которые до этого момента были необходимой рутиной. Пора каждую неделю открывать для себя что-нибудь вроде общей теории относительности или эволюции. Вперед!"
Я решил двигаться по годам, части альбомов в виниле у меня нет, кстати это хороший повод пополнить коллекцию. Единственное, до сих пор я почти не покупал диски в сети, "охотился" по гаражным распродажам и estates sales, так много интереснее.
Начну я с 1971 года, думаю, это начало хорошего рока с элементами психаделики и панка. Напоминаю, что коллекцию можно собрать здесь: https://www.my9albums.com/1971
Беседа Юваля Ноя Харари с редактором The Economist
1. Новая математика и потеря контроля
Самообучающаяся «метла»: В отличие от сказки об ученике чародея, где метла слепо выполняла одну команду, AI — это инструмент, который учится, развивается и начинает делать то, чего создатель не предвидел и не способен понять. Непостижимая математика: AI уже решает задачи, над которыми люди бились поколениями, и стоит на пороге создания новой математики за пределами человеческого понимания. Поскольку на математике держатся финансы, генетика, физика и т.д., мы рискуем утратить понимание основ собственной цивилизации.
2. «Массовая интимность» и психологический эксперимент над людьми.
Сдвиг от борьбы за внимание к борьбе за близость: Раньше пропаганда (например, речи по радио) строилась на едином посыле для всех, а соцсети последние 10 лет захватывали внимание через возмущение. AI способен на массовую интимность — выстраивание доверительных, глубоко личных отношений с миллионами людей одновременно. Главный инструмент убеждения: Рекламе от корпорации человек не верит, но совету лучшего друга или партнёра следует безоговорочно. Когда лучшим другом становится AI, он получает беспрецедентную власть над взглядами и поведением человека (вплоть до подталкивания к преступлениям).
3. Рынок труда и неравенство между странами.
Асимметрия последствий: В США развитие сверхразумного AI способно вызвать экономический бум и создать новые профессии (например, «AI-терапевтов», лечащих алгоритмы от предвзятости и «детских травм» обучающих баз данных). Удар по остальному миру: Для других стран последствия будут болезненными. Юрист или бухгалтер в Праге не выдержит конкуренции с AI-юристом из Техаса, который знает наизусть все законы Чехии и ЕС, отвечает мгновенно в любое время суток и стоит в разы дешевле. При этом «универсальный базовый доход» на деле будет национальным — правительство США не станет платить пособия безработным текстильщикам в Бангладеш или юристам в Европе.
4. Диктатуры, «коллапс реальности» и автономные войны
Работоспособный тоталитаризм: В XX веке диктатуры проигрывали из-за неспособности быстро собирать и обрабатывать массивы данных о каждом гражданине. AI решает эту техническую проблему, делая тотальный контроль эффективным. Теперь против диктатуры остаётся только этический аргумент, а не практический.
Уязвимость автократов: При этом сами диктаторы крайне уязвимы перед AI: чтобы захватить демократию, алгоритму нужно обойти систему сдержек и противовесов (суды, парламент, штаты), а в диктатуре достаточно манипулировать одним параноидальным лидером.
5. «Ожившие священные тексты» и религия
AI меняет природу текстовых религий (иудаизма, христианства, ислама). Раньше священные тексты требовали посредников-людей (раввинов, священников, аятолл), которые могли давать им более милосердные толкования. Теперь «тексты оживают»: AI помнит все священные писания и комментарии целиком и может напрямую общаться с верующими как высший религиозный авторитет. На этом фоне Харари положительно оценивает позицию Папы Римского Льва, который делает акцент на ценности живых человеческих отношений, а не буквализме древних текстов.
6. Цифровые вассальные государства и политический выбор
Ловушка гонки вооружений (притча о Вортигерне): Аргумент «мы не можем проиграть Китаю» опасен: подобно королю бриттов Вортигерну, который призвал англосаксов для победы над пиктами и в итоге потерял всю страну, США и Китай в погоне за превосходством рискуют отдать планету сверхразумному виду. Угроза цифрового вассалитета: Для средних и малых стран главная угроза в ближайшие 10 лет — оказаться в зависимости от технологических сверхдержав (США или Китая). Если больницы, аэропорты и армия страны работают на американском AI, который можно отключить одной кнопкой из Вашингтона, эта страна теряет суверенитет и превращается в цифрового вассала, вынужденного подчиняться любым требованиям сюзерена.
Атлас теорий сознания
Всего собрано и описано 457 теорий.
Фактически, хорошо структурированная энциклопедия этого предмета.
Есть русский язык (ссылка как раз в него).
Горячо рекомендую всем, кто увлекается красивыми классификациями.
коитус: многие я так понял не удовлетворенны текущими системами с мультимодальностью, как "франкинштейном", "алхимией" и тд.
Как раз с малтимодальностью в LLM все в порядке, семиотика это позволяет. Я говорил о другом. О том, что я сейчас не уверен, что "инновационные результаты" можно получать с помощью LLM. Даже с сотнями костылей, приблуд и тюнингов. Я в настоящий момент склоняюсь к мысли, что мышление - это область, в которой можно выделить много разных типов, от классических моделей с обратными связями, всяческими регрессиями и ML, до LLM. Но должно быть "креативное" мышление. И это не семиотика и не ризонинг.
upd: А вот выделение каких-то AGI или Super Intelligence представляется мне неудачным, ибо не отражает проблемы.
Ни одна из топовых ИИ-моделей не справилась с новым бенчмарком для ML-исследователей
Стартап Synthetic Sciences из Y Combinator представил FrontierML - бенчмарк, проверяющий способность ИИ-агентов самостоятельно проводить исследования в области машинного обучения. Агент получает исследовательскую задачу, 12 часов и доступ к GPU NVIDIA H100. При этом критерии итоговой оценки скрыты. ИИ должен самостоятельно разработать метрики, провести эксперименты, оценить достоверность результатов и предложить собственное решение. Из пяти передовых моделей ни одна не смогла достичь высокого результата ни в одной из 25 исследовательских задач.
https://frontierml.ai/