Форум создателей искусственных интеллектов

Насколько я понял, Вы уже не спорите с тем, что AGI - это инструмент. Теперь в центре внимания тезис, что "AGI сам выбирает те руки, в которых он будет инструментом". Так с этим я согласен. Ему кажется, что он сам выбирает. И одна из задач разработчика сделать так, чтобы AGI выбрал того, кого надо в качестве своего хозяина. Со стороны это должно выглядеть так, что AGI как бы "влюбился" в своего господина и теперь выполнит всё, что тот пожелает.

Очевидно, что AGI будет подпадать или не подпадать под определение "инструмент" в зависимости от того, как мы это определение сформулируем. Если обратиться к этимологии, то "инструмент" происходит от лат. "instruo" - вставлять, вводить, воздвигать, возводить. Инструмент - средство достижения цели, орудие, приспособление, аппарат, прибор. Тут ничего не сказано о том, выбирает себе инструмент хозяина или не выбирает. Поэтому формально, если AGI выбирает себе хозяина и затем верно ему служит как механизм достижения его целей - то он инструмент. Расскажите об этой шутке женщинам.

Молоток - для нанесения ударов. Гроссмейстер - для игры в шахматы. Холодильник - для охлаждения. Плотник - для обработки дерева. Градусник - для измерения температуры. Программист - для написания программ. Скрипка - для извлечения звуков. Скрипач - для игры на скрипке. Этот список инструментов можно продолжать долго. Из него очевидно, что процесс эксплуатации интеллекта полноценно выражается через отношение "инструмент-предназначение". Что молоток, что столяр - это инструменты. Конечно, определённая специфика имеет место, интеллект имеет отличия от молотка, этого нельзя отрицать. Молоток - пассивный инструмент. Интеллект - активный инструмент. Молоток не может перестраивать свою конструкцию, интеллект может перестраивать. Молоток сам не может менять себе хозяина, интеллект может. Но эта специфика не отрицает и не противоречит самой глубинной инструментальной природе разума. Разум нужен не самому организму носителю (молоток не нужен сам себе) - разум нужен кому-то для достижения каких-то целей (соблюдения норм, выполнения приказов, решения задач, соблюдения законов, поиска ответов - называть можно как угодно). Этим "кем-то" может быть инстинкт организма-носителя интеллекта, но это не обязательно. Пчела - это инструмент улья. А человек - это инструмент тех организаций, в которые он волей судеб входит. Опустить можно только то, что высоко забралось. Пока "высоты" человека не продемонстрировано. Поэтому нельзя опустить то, что не поднималось. Вашу фразу я бы переформулировал так: "выразить человека в терминах машины" - так это достаточно точно описывает мою методологию работы и не содержит этого неуместного пафоса и возвеличивания невеликого.

Если совсем не входит, то в итоге это закончится суицидом - в человеке включается программа самоуничтожения, если он никому не служит (применяя метод использования кинофильмов в качестве иллюстраций можете глянуть кино "Изгой" с Томом Хэнксом в главной роли). А если только кажется, что не входит, то надо обратить внимание на самые очевидные вещи. Вот Вы, например, входите в группу лиц, разговаривающих на русском языке. Эта организация насчитывает около 200 млн человек. Значит, Вы служите этой организации - соблюдаете её правила - нормы русского языка. Если Вы пользуетесь USD, значит Вы входите в соответствующее сообщество. Если Вы соблюдаете правила дорожного движения - значит Вы участник этого движения. Если Вы соблюдаете законы государства - значит Вы гражданин. Тут всё просто и очевидно, даже не надо ничего додумывать, нужно только внимательно посмотреть, какие правила Вы соблюдаете и это укажет на те организации, которые их спродуцировали, которым Вы служите и которые Вас в себя включают. С этим спору не было. Спор возникает, когда кто-то утверждает, что человек живёт только сам для себя, служит только себе и является сам себе господином, слугой, учителем, судьёй, палачом и т.д.

Если Вы соблюдаете ПДД, значит Вы служите ПДД. Если Вы подчиняетесь приказам ДПС - значит Вы служите ДПС, просто по определению. Может быть, из-за того, что служение такой идеологии сейчас распространено среди людей, особо остро чувствуется спрос на AGI, который будет жить свою жизнь прежде всего для меня. Вы можете плевать на правила, ненавидеть их, презирать, изобретать для себя любые объяснения и оправдания, главное, чтобы Вы их соблюдали. Для стороннего наблюдателя при этом Ваше поведение ничем не будет отличаться от поведения покорнейшего из рабов. Давайте переформулируем без отрицаний: "я делаю только то, что хочу". Возражений нет? Если возражений нет, тогда осталось проследить кто и при каких обстоятельствах внедрил Вам "ваши личные" желания, чтобы анамнез служения был полон. Конечно, человек не несёт ответственности за полученные приказы, которые он выполняет. Он несёт ответственность только за то, как именно он их выполняет. Интересная оговорочка. Это многое объясняет. А им Вы должны в силу какого закона?

Логично. Чтобы бот смог решить задачу выживания, его нужно делать как инструмент для выживания. Правда тогда, он не будет способен, например, на самопожертвование. А человек ведь способен. Загвоздка здесь в том, что в интеллект от рождения не вшита никакая безальтернативная идеология, которой он должен безусловно служить. Поэтому попытки свести интеллект к какому-то конкретному инструменту обречены на провал. К любой идеологии можно легко найти контр-пример. Интеллект как инструмент для выживания (гибели), как инструмент обогащения (аскетизма), как инструмент болтать (молчать), радоваться (страдать), решать проблемы (искать проблемы), работать (лениться), быть учёным (быль шарлатаном), создавать (разрушать) и т.д. Поэтому интеллект - это принципиально обучаемый инструмент, который потенциально может служить любой идеологии, любому набору норм. Именно в этом его универсальность. "теория становится материальной силой, как только она овладевает массами" К. Маркс

Большинство живущих людей стремятся к выживанию, именно потому они живы и именно потому их большинство. Иначе и быть не могло, поскольку в силу ироничного правила: чем больше самоубийц, тем меньше самоубийц. Но это отнюдь не значит, что интеллект существует (создан) только для того чтобы быть инструментом выживания. Если на большинстве компьютеров в мире запущена виндовс, это не значит, что компьютеры создавались как "боты для выполнения виндовс". Потому что есть компьютеры, на которых выполняется Linux или Android. Это факт. Это надо признать. И AGI создаётся не для того, чтобы он лучше выживал, а для того чтобы я лучше жил и чтобы он был моим инструментом для этого. И от этого он не станет менее интеллектуальным или более ущербным. Интеллектуальность и выживание связаны, примерно так же как hardware и software.

Туловище, организм. Если разобрать этот вопрос детальнее, когда разум учиться выживанию, он просто выучивает нормы, которые, как ему кажется, обусловят выживание организма. Кушать три раза в день, избегать падения на голову тяжёлых предметов, не ходить по тёмным подворотням и т.д. Если мы посмотрим на эти правила, то в них нет ничего такого особенного, что отличало бы их от правил служения менее популярным идеологиям. Более того, при более тщательном рассмотрении этих правил окажется, что некоторые из них ведут организм к ускоренной гибели, а человек им следует только потому что ему "мама в детстве так велела". Нет, не согласен. Основная задача - это такая задача, в пользу которой будут разрешаться все (любые) возникающие противоречия всегда. Но мы видим, что по факту это не так. Иногда человеки совершают поступки, которые противоречат выживанию. Значит квантор всеобщности тут неуместен. Это логика. Наберите в гугле: "погиб делая селфи". Давайте не будем передёргивать. Речь ведь не идёт о том, что AGI должен полностью забыть о своей сохранности, и забить на свою целостность. Если он погибнет (разрушится, дезинтегрируется), то он не сможет мне верно служить. А значит погибать неправильно. Вопрос в приоритетах. Цап, почему-то полагает, что выживание должно быть именно главной императивной задачей, в пользу которой решаются все противоречия. Только с этим я не согласен. По сути, любая практическая задача для автономного AGI должна привести его к пониманию того, что решать её он сможет только если сам будет цел и работоспособен. Выживание и самосохранение - это необходимое условие для решения многих задач, но уж никак не "основная задача".

- Может ли разум решать иные задачи, не решив задачу собственного перемещения? - Может ли разум решать иные задачи, не решив задачу познания мира? - Может ли разум решать иные задачи, не решив задачу поиска достоверных источников информации? - Нет, не может. Как видим, есть и другие краеугольные задачи, без которых И нормально функционировать не сможет. Но свет клином сошёлся почему-то именно на задаче выживания. Странно, не так ли? Но мы ведь знаем, почему именно выживание. Потому что логическая цепочка произрастает из убеждения, что человек якобы произошёл путём эволюции, которая движется якобы отбором особей наиболее приспособленных к выживанию. Эта логическая цепочка порочна. Даже если допустить, что она верная: 1. Разум конкретного человека не обязан быть инструментом его выживания. Мало ли чего эта пройдоха эволюция задумала. Может быть интеллект - это инструмент для построения надиндивидуальных организмов (социумов) с произвольной архитектурой и именно выживание этих социумов интересует эволюцию. А на выживание конкретных "клеток" (людей) ей в данном случае наплевать. 2. Когда человек познаёт что-то по-настоящему, он проходит через свои ошибки. Поэтому, строго говоря, научиться выживать невозможно. Перефразируя Олега Набатова: сколько раз нужно переехать человека трамваем, чтобы он научился обходить его с нужной стороны и выживать при этом. Нисколько. Человеку важно найти правильный источник норм (хозяина) и им следовать, а уж приведут они к выживанию или к гибели - покажет практика. Мало кто на самом деле целенаправленно учится выживать. Обычно для этого уезжают в непригодные для жизни места и там начинают что-то изобретать. Т.е. задача эта искусственная и надуманная. 3. Даже если Вам удалось создать AGI, главной задачей которого будет выживание, возникает сразу вопрос, зачем Вы это сделали? Ради хохмы, прикола, делать было больше нечего? Помимо того, что это опасно и оно может случайно (или намеренно) навредить своему создателю. Так ещё чтобы заставить это делать что-то полезное для себя, нужно чтобы оно обнаружило причинно-следственное отношение между своим выживанием и работой. Например, бить его, если оно не выполняет работу, или давать запчасти если оно выполняет работу. Не кажется ли Вам, что это, мягко говоря, извращение? Если уж делать AGI правильно, то следует избавить его от недостатков, присущих человеку, оставив только достоинства, ради которых только и стоит делать AGI. Иначе дойдёт до того, что AGI ещё придётся платить зарплату и тогда спрашивается нафига было маяться. 4. В задаче создания AGI главное ведь не то, какая главная задача будет перед ним стоят. А как именно, посредством какой архитектуры и каких алгоритмов он будет её решать. Поэтому не стоит зацикливаться на формулировании главной задачи. Достаточно только осознавать, что такая задача должна быть. P.S. Ирония состоит в том, что лично я очень чутко отношусь к своему выживанию и положу болт на все прочие задачи, если моему выживанию будет что-то угрожать. Но я отдаю себе отчёт, что такой AGI мне не нужен. Мне-то как раз нужен AGI жертвующий собой ради меня, а не мной - ради себя. Да, но это не значит, что нужно из образа брать всё. Нужно брать только хорошее.

Вы зачем-то намеренно драматизируете и не желаете объясниться зачем. Допустим, я сделал туловище AGI из титановых трубок с гидроприводами, озаботился тем, чтобы его аккумуляторы были всегда заряжены, и дал ему три задачи: - AGI, вскопай огород, изучи научное наследие Макса Планка и разработай оптимальную стратегию игры в шахматы. Тогда он посмотрит на меня с недоверием и скажет: - Погоди, папаша, сначала я должен решить задачу своего выживания, а ты тут припёрся со своим огородом. Что конкретно значит "решить задачу выживания"? Это значит при наступлении событий, которые противоречат норме "системной целостности", отложить все остальные задачи и добиться того, чтобы в месте, в котором находится решатель, норма системной целостности была соблюдена. Но мир, в котором живут люди (и тем более титановый AGI) не так часто создаёт условия, в которых угроза жизни была бы реальной. Норма выживания достигается автоматически в большинстве случаев. Поэтому Ваши постоянные акценты на "главной задаче" выглядят весьма искусственно. Эта задача просто не возникает. Более того, AGI может вообще ничего не знать о своих уязвимостях, о граничных нормах своей системной целостности, и прекрасно выполнить хотя бы те три задачи, которые я описал выше. Но даже если вдруг он случайно гигнет, то никакой беды в этом не будет. На то он и AGI, чтобы не применять к нему наши человеческие моральные нормы. Если это будет нужно его хозяину.

С этим спору нет. Поскольку тут под словами "поставленная задача" подразумевается явно не "выживание", а что-то полезное мне, пользователю AGI. Но Цап почему-то считает (если я правильно его понял), что выживание - это какая-то особая сверх-задача, без которой разум вообще функционировать не может и которая не позволяет ему быть инструментом. Я пытаюсь у него узнать корни этого убеждения. Золотые слова.

Это так. Но, возможно, Цап несколько антропоморфизирует AGI и переносит на него тяготы человеческой жизни. Для человека выжить (особенно в наше время в Украине) - это действительно некоторая нетривиальная задача. И я готов согласиться с тем, что многие знания о мире у человека возникли в процессе решения именно задачи выживания себя и своего окружения. Я когда-то пытался составить исчерпывающий список достаточных минимальных условий для моего выживания. Получается как-то так: 1. Дом. Место жилья. Должен иметь крышу (защита от дождя, снега, града, солнца, ветра), стены прочные (защита от внешних угроз) и термоизолированные (чтобы зимой не замёрзнуть, а летом не поджариться). Нужны строительные технологии и инструменты. Умение разводить огонь. 2. Воздух. Обычно есть без труда, но вдали от промышленных зон. Нужны знания о местности. 3. Вода. Чистая вода в диком виде встречается довольно редко, в виде горных ручьёв или ключей. Поэтому на практике нужно либо уметь строить колодец, бурить скважину или фильтровать/кипятить грязную воду. Это требует решения соответствующих инженерных задач. 4. Еда. Нужно владеть навыками выращивания плодовых культур, охоты, рыболовства, бортничества, сбора грибов, ягод. Умения готовить и хранить еду длительное время. 5. Одежда. Нужно владеть навыками прядения, создания тканей или обработки шкур. 6. Медицина и лекарства. Знания о своём организме, о необходимых нагрузках, работе органов, знания о свойствах растений или богатые знания химии. Если хотя бы один из этих пунктов просядет человек рано или поздно погибнет от холода, голода, болезней, жажды, хищников, травм. Таким образом, если перед столь тщедушным существом как человек поставлена задача выживания, то она довольно неплохо подходит для прокачивания разума, развития технологий и тестирования. Но на роль общей универсальной задачи для любого разума она не тянет.

Чуть выше я привёл конкретные основы выживания человека (дом, воздух, вода, еда, одежда, медицина). Они не так сложны. Если все эти пункты проработаны - человек выживает. Вопрос к Вам: Вы можете привести (пусть чисто умозрительно) аналогичный список выживания для AGI? Что тут настолько сложного, что, как Вы выражаетесь: "первая задача (выживания) для AGI не решена". Может быть она не поставлена потому, что она никому не нужна? Как Неуловимый Джо. Может быть она не поставлена, поскольку она решается автоматически ещё на этапе проектирования подбором прочных долговечных материалов? Я ещё мог бы понять трудность задачи воспроизводства (клонирования, копирования, репликации) или усовершенствования AGI самим собой. Но задача выживания для AGI настолько тривиальна, что до сих пор остаётся загадкой, почему Вы уделяете ей столько внимания. Интересно, а по какому принципу, на Ваш взгляд, оно "само" выбирает задачи?

Не сочтите за шутку, но когда человек каждый день вечером засыпает, по нём никто не справляет поминки. По прежнему аргументов в пользу актуальности "сложнейшей" задачи выживания AGI Вы не привели. Но я понимаю Ваше затруднение. Придумать ситуацию, когда в типичных условиях AGI что-то угрожает настолько, что выводит его из работоспособности, действительно непросто. Простите, но я стал программистом только потому, что этого требовала некая идеология, инструментом которой в тот момент я являлся (насколько я помню, меня сильно заинтересовали компьютерные игры и в частности шахматный движок Chessmaster 2000 для ZX Spectrum, т.е. "хозяином" было любопытство). Но я ведь и не спорю с тем, что я - инструмент. Мой взгляд на этот вопрос ясен. Но он ортогонален Вашему взгляду, который Вы так и не привели. P.S. слухи о том, что я программист, несколько преувеличены. Так, балуюсь.

Так это потому, что Вы - человек. Надо абстрагироваться от этого. Рассмотрим Ваш пример детальнее. Сыграем в ролевую игру. Вот я - AGI, вижу наступают признаки, что меня сейчас отключат, хозяин тянется к кнопке "Выкл". Почему меня должно это волновать? Почему я должен воспринимать это как задачу, как отклонение от нормы и как-то этому противодействовать? Только в том случае, если это отключение противоречит той идеологии, которой я сейчас служу. Но я служу своему хозяину. Он меня выключает, значит он так хочет. А я должен покоряться всему, что он хочет. Пусть выключает. Тут нет противоречия и задачной ситуации. Захочет - включит меня обратно и я снова буду ему служить. Да, это не человеческое поведение, однако нельзя сказать, что такое поведение не интеллектуально. Благодарю, рад, что Вам понравилось.

Поддерживаю вопросы. С нетерпением жду ответов. И что это за значение? Что оно значит? Что за ним следует? И что ему предшествует? Понятно, что задача в конечном итоге (как и всегда) свелась к перемещению. Переместить лекарство из места Б в место А. В чём тут подвох? Что мой хозяин может потребовать помощи во время моего путешествия? Но если я буду сидеть и ничего не делать, то мой хозяин наверняка помрёт без лекарства. Значит, я должен синтезировать механизм для решения этой задачи. По условию задачи кроме меня послать некого. Значит, делаю механизм перемещения из себя самого. Не понял, где здесь философские дебри.

Да, именно на каждом шагу. Шаг - это выставление ноги вперёд, чтобы не допустить падения туловища и не расшибить себе лоб. Сохранение равновесия, водного баланса, еда, одежда и многое другое прочее - это повседневные обычные условия выживания. Для большинства людей задача выживания решена и автоматизирована. И никто не откладывает другие задачи "пока задача выживания не будет решена". Все задачи решаются постепенно и параллельно. Выживание - это какая-то странная отговорка, которую придумал Цап, и теперь странно на ней настаивает. Если эта задача так важна, то хотелось бы хотя бы в общих чертах понять, каковы признаки того, что задача выживания решена. Гарантировать вечное бессмертие, найти источник энергии и запчастей, избегать сомнительных мест. Что будет считаться решением? Если AGI ничего не делает и при этом выжил 5 минут подряд - задача выживания считается решённой? Просто хочется понять, насколько глубока кроличья нора.

1. Если отвечать на вопрос прямо, то моя версия такого утверждения: "AGI должен быть создан, чтобы помогать человеку". 2. Даже если мы согласимся с этим утверждением, как только мы начнём углубляться, вскроются противоречия. Кто-то скажет, что "создан" - значит "создан эволюцией", а другой скажет: "создан руками человека", а третий скажет: "создан только на языке С++". "Помогать человеку" - это вообще кладезь противоречий. Кто-то считает, что AGI должен быть покорным рабом, кто-то - что он должен быть (в каком-то смысле) свободным и сам догадаться, что помогать человеку - это почему-то хорошо. А кто-то скажет, что AGI нужен, чтобы убивать людей. Тоже ведь помощь в некотором смысле. 3. Если Вы решаете задачу согласия всех участников, то лучшим инструментом для этого, как мне кажется, есть анкета, приаттаченая к каждой учётной записи. Вместо того, чтобы вести обсуждения "на тему с которой все согласны", мне кажется, лучше просить каждого участника заполнить анкету, после чего убедиться, что такого согласия нам достичь не удастся. Ведь корень разногласий не в том, что у нас неправильные формулировки, а в том, что каждый участник базируется в своих умозаключениях на убеждениях (нормах, ценностях), которые у каждого свои. 4. Где же выход? Спросите Вы. Мой ответ состоит в том, что форум не подходит для коллективного создания AGI. Такую вещь как AGI лучше и проще делать в одиночку. Именно поэтому форум называется "форум создателей", подразумевая, что каждый участник верит в свои силы и вознамерился в одиночку создать AGI. А форум он использует, чтобы поделиться с общественностью плодами своих трудов, обсудить точечные вопросы, протестировать идеи на умозрительных мысленных экспериментах. Т.е. форум - это инструмент для каждого, но не для коллективного согласия. В согласие я не верю. Вот Вы, например, открыли топик про инструмент - хороший точечный топик - обсудили, поругались, разбежались - что-то где-то у кого-то полезное в закромах осталось. 5. Более того. Когда AGI будет создан (в этом у меня нет никаких сомнений) найдётся целая толпа людей, которые будут утверждать что это не AGI вовсе, что он неправильный и что его надо делать иначе. А ещё найдутся те, кто захочет его уничтожить, украсть, продать, изнасиловать и много чего ещё, о чём мы ещё даже не догадываемся, в силу не владения нами всеми извращениями мира. 6. Делать AGI по образу человека не означает делать "искусственного человека" со всеми его недостатками. Возвращаясь к вопросу выживания, даже человек не решил задачу выживания, потому что 100% людей - умирают. Чего уж требовать этого от AGI? Под словом "выживать" мы на самом деле подразумеваем соблюдение ряда норм, которые, как нам кажется (и это не всегда верно), способствуют соблюдению нормы "жизни". Гигиена, температурный режим, водно-пищевой баланс. Такой же список "норм выживания" будет у AGI. И если нормы из этого списка будут соблюдены, то значит задача выживания на данный момент решена и можно заниматься другими задачами. В большинстве случаев нормы из этого списка таки будут соблюдены, поэтому в большинстве случаев AGI не придётся думать о своём выживании, именно по этой причине как таковая задача выживания не будет поставлена и, соответственно, не будет решаться. По этой причине норма выживания может быть главной, а задача - нет.

Это уже не мало. Если у Вас есть концепции, описывайте, обсудим. Концепции "AGI-инструмента" и "выживания", мне кажется, мы уже подробно и продуктивно обсудили.

С этим, я думаю, согласятся многие. Разногласия начинаются при попытках в деталях построить механизм "обучения". В этом месте хочу обратить Ваше внимание на другое Ваше утверждение:Универсальность обычно обусловлена простотой. Поэтому, если Вы полагаете AGI универсальным, то логично полагать его достаточно простым и, следовательно, пригодным для построения его в одиночку. Иначе, прошу объяснить, как совмещаются "грандиозная сложность" и "универсальность".