AGI.place

Форум создателей искусственных интеллектов


Логин (email) 
Пароль 
Настройки

шрифт+
шрифт-
Скачать
Вперёд
1
2
Эволюционно эвристический алгоритм обучения НС.
create
Эволюционно эвристический алгоритм обучения НС.
11:36 26.03.2021 11:37 26.03.2021 №762
Всем привет. Достаточно давно меня не покидает мысль, взяться за разработку алгоритма обучения многослойных нейросеток "естественным" так сказать способом, на подобии того как это могло бы происходить в биологических нейросетках, но уже с десяток лет так и не дошли руки к сожалению, так как нужно зарабатывать на хлеб с икрой, а на этот, чисто для души проджект, нужно выделить как минимум пол года — год, без явных перспектив профита. Короче, хочется хотя бы поразмышлять над этим в умной компании, озвучить самому для себя свои интуиции по этому поводу и возможно узнать что это всё уже когда то кем то сделано и безпонтово по сути, чтобы успокоиться. :) Итак… Понятно, бэкпроп это наше всё и без альтернатив, но все то понимают что "в мозгах" явно алгоритм(ы) иные. К тому же мы знаем главный Алгоритм матушки природы — стохастическая оптимизация(генетика, отжиг итп.), причем этот Алгоритм применяется ко всему подряд, ко всем компонентам, структурам, эвристикам. Вопрос: как с помощью Алгоритма(оптимизации) обучать многослойные нейросетки, чтобы получить близкий к бэкпропу результат, хотя бы классических примерах(XOR, ирисы, МНИСТ...)? Однослойный персептрон обучается достаточно хорошо таким способом, многослойные сети, на много хуже и чем больше слоёв тем хуже, если обучать сеть целиком, но так ли делала матушка природа? Очевидно нет. Вот об этом я и хочу порассуждать. А чтобы не было ухода в лирику и высокие материи, не много по программировать(C#, python, java кому как нравится). Пока я не буду излагать в подробностях свои идеи на этот счет, что бы не сбить с толку чьи то мысли, хочется услышать что думают по этому поводу другие уважаемые господа независимо, но потом я обещаю поделюсь своими имхами. Спасибо.
+2 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
13:21 26.03.2021 №766
Александр Мельник:
Всем привет. Достаточно давно меня не покидает мысль, взяться за разработку алгоритма обучения многослойных нейросеток "естественным" так сказать способом, на подобии того как это могло бы происходить в биологических нейросетках, но уже с десяток лет так и не дошли руки к сожалению, так как нужно зарабатывать на хлеб с икрой, а на этот, чисто для души проджект, нужно выделить как минимум пол года — год, без явных перспектив профита. Короче, хочется хотя бы поразмышлять над этим в умной компании, озвучить самому для себя свои интуиции по этому поводу и возможно узнать что это всё уже когда то кем то сделано и безпонтово по сути, чтобы успокоиться. :) Итак… Понятно, бэкпроп это наше всё и без альтернатив, но все то понимают что "в мозгах" явно алгоритм(ы) иные. К тому же мы знаем главный Алгоритм матушки природы — стохастическая оптимизация(генетика, отжиг итп.), причем этот Алгоритм применяется ко всему подряд, ко всем компонентам, структурам, эвристикам. Вопрос: как с помощью Алгоритма(оптимизации) обучать многослойные нейросетки, чтобы получить близкий к бэкпропу результат, хотя бы классических примерах(XOR, ирисы, МНИСТ...)? Однослойный персептрон обучается достаточно хорошо таким способом, многослойные сети, на много хуже и чем больше слоёв тем хуже, если обучать сеть целиком, но так ли делала матушка природа? Очевидно нет. Вот об этом я и хочу порассуждать. А чтобы не было ухода в лирику и высокие материи, не много по программировать(C#, python, java кому как нравится). Пока я не буду излагать в подробностях свои идеи на этот счет, что бы не сбить с толку чьи то мысли, хочется услышать что думают по этому поводу другие уважаемые господа независимо, но потом я обещаю поделюсь своими имхами. Спасибо.
Чес гря, сломал мозг об этот вопрос. Возможно потому, что не являюсь спецом по нейронкам, не представляю, какой тип динамической сети для этого нужен, и клепаю свой собственный. Любопытно, а для каких задач планируется использовать многослойку?
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
09:38 27.03.2021 №775
Александр, на мой взгляд, ответ на Ваш вопрос дан в моей ветке про Нечто-Когнитрон.
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
10:13 27.03.2021 10:14 27.03.2021 №776
Egg:
Во-первых, аналогия между естественным нейроном и искусственным очень груба и условна. Реальный вещественный мир - аналоговый, а не цифровой, нейрон - это целый организм, в котором огромное количество сложных процессов, химических, электрических, биологических. Искусственный нейрон - это, грубо говоря, функция. Знание, которое можно получить, изучая естественный нейрон, никак не переносимо на искусственный, кроме самых общих представлений.
Полностью согласен, реальный и искусственный нейрон — две большие разницы, особенно в реализации, но функционально, как элемент сети, всё же имеем векторную функцию, со скалярным выходом, если рассматривать как его(нейрона) соседи, воспринимают его существование. А на счет аналоговости, Вы тоже правы, но по сути серии спайков в некоторой степени можно смоделировать как флоатовое число, в контексте влияния на другие нейроны(то есть регрессия а не классификация, в терминах ML). ИМХО в сам нейрон я даже бы особо не лез, взвешенная сумма + функция активации с 3-5 точками(для формирования функции как интерполяции по ним) в качестве параметров оптимизации. Вся суть в неких эвристиках построений сети и обучения.
Egg:
Во-вторых, backprop - это и есть оптимизация. Предельно эффектиная, судя по результатам и возможности обучать deep сети. Я понимаю (и разделяю) желание сделать что-то более эффективным, но вы оставили всю постановку классической и хотите добиться того же результата, но другими методами. Почему бы и нет, но зачем. Если можно просто взять более мощный вычислитель. ))
Вы правы, хотя про эффективность, тут можно поспорить, да и с глубокими сетками тоже всё работает только как говорится "на кошках", нельзя такой подход масштабировать на сетки с даже десятками миллионов нейронов и сотнями милллиардами связей, я не говорю о миллиардах нейронов. Кроме того как говорится "положа руку на сердце", вряд ли кто из разбирающихся в машинном обучении, надеется на то, что создав большую сеть из сотен миллионов нейронов, её можно было бы в лоб бэкпропом обучить чему то сложному, даже если бы это возможно было технически. В общем проблема в масштабировании, может бэкпроп локально-кусочно где то и можно применять, но глобально-едино на сверх-большой сети, это тупик.
kondrat:
Чес гря, сломал мозг об этот вопрос. Возможно потому, что не являюсь спецом по нейронкам, не представляю, какой тип динамической сети для этого нужен, и клепаю свой собственный. Любопытно, а для каких задач планируется использовать многослойку?
Пока хочется чтобы путём стохастической оптимизации получилась сетка чтобы могла решать элементарные нелинейные задачи(XOR, ирисы, МНИСТ...), как для начала. А вообще то цель СИИ конечно, уровень человека и больше, но ИМХО в ручную, кусками как сейчас делают дип-сетки, это не возможно, процесс масштабирования должен быть автоматическим.
rrr3:
Александр, на мой взгляд, ответ на Ваш вопрос дан в моей ветке про Нечто-Когнитрон.
Ок спасибо, ознакомлюсь на досуге.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
19:28 27.03.2021 №786
Мне тоже интересно создать процесс обучения нейросети так, чтобы он никогда не заканчивался. Скажу сразу что всякие там XORы, ИРИСЫ и МНИСТы это тупиковый путь. Для того чтобы попробовать создать такой алгоритм надо иметь реальный, сложный и непрерывный поток входных векторов. И таким потоком на мой взгляд является звук. А точнее речь. Мои соображения таковы. Представим себе классический цикл: - Создание размеченной обучающей выборки с немалым конечным числом векторов. (та еще работа) - Обучение, причем неприлично долгое. Например 16 часов. - Проверка сети на тестовой выборке, оценка эффективности. - Собственно работа. И тут оказывается, что в режиме работы стали появляться вектора, которых не было в обучающей выборке. Сеть выдает не правильный результат. С ирисам и МНИСТАМи такого не случится никогда. Как быть? А включить эти вектора в обучающую выборку и запустить весь процесс по новой. И опять не приличные 16 и более часов... При этом, заметьте, всю обучающую выборку надо хранить. Через какое то время работы сети, вновь появляются непредсказуемые вектора. Согласитесь, что живые организмы как-то по другому действуют. Что можно сделать? В классическом подходе для МНИСТов и ИРИСОВ существует поле признаков. Чем их больше и чем они "ортогональнее", тем лучше. Но по сути все действуют так: " А что если в неё лом запихнуть?" И запихивают не глядя, надеясь на то, что промежуточные слои всё "пережуют". За такой подход расплата это не прилично долгое время обучения и сложная структура сети. На мой взгляд deep learning возник именно из-за не понимания происходящего. Мое предположение. Процесс должен выглядеть так. - Создание начального не большого массива входных векторов с определенным набором признаков. - Быстрое обучение сети. - Тестовая и рабочая выборка суть одно. Если встречается новый вектор и он ценен, а сеть его не распознает, тогда встраиваем его в обучающую выборку и быстро переобучаем. Может случиться так, что в режиме работы мы запихнули вектор с ошибкой. Такое может быть. Тогда делаем откат назад. Весовые коэффициенты и небольшой набор входных векторов предыдущего варианта у нас есть. Получается итерационный процесс. Еще предположение о том, что в цепь обратной связи можно включить вообще изменение и самого поля признаков. Но для этого заранее нужно сформировать какой-то большой массив признаков, а в итерационном процессе задействовать не весь набор. Заметьте мы не вторгаемся в саму структуру сети, бэкпроп остается нашим всем. Мы лишь меняем общие этапы и наборы признаков.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
11:29 31.03.2021 №813
Александр Мельник:
Понятно, бэкпроп это наше всё и без альтернатив, но все то понимают что "в мозгах" явно алгоритм(ы) иные. К тому же мы знаем главный Алгоритм матушки природы — стохастическая оптимизация(генетика, отжиг итп.), причем этот Алгоритм применяется ко всему подряд, ко всем компонентам, структурам, эвристикам. Вопрос: как с помощью Алгоритма(оптимизации) обучать многослойные нейросетки, чтобы получить близкий к бэкпропу результат, хотя бы классических примерах(XOR, ирисы, МНИСТ...)? .
А вы уверенны что "в мозгах", нечто вроде многослойного перцептрона, и осталось только придумать способ его обучения получше обратного распространения? На вашем месте я бы изучил больше про анатомию мозгов, особенно коры, много интересного поймёте, начните с Хокинса "об интеллекте", потом Мунтаскл и тд. Сразу могу резюмировать, что никаких многослойных перцептронов там нет и блико, если вы хотите что то сделать аналогичное мозгам то со старта начали не верно.
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
15:18 05.04.2021 №851
Egg:
Попробуйте поразбираться в этих вещать с ключа "трансферное обучение". Вот, например, отсюда: Нежное введение в трансферное обучение для глубокого обучения или любого другого места.
С трансфер-лёнингом я знаком, по крайней мере концептуально, но конкретно к данной теме это имеет малое отношение, оно скорее как раз про изготовление "франкинштейнов" в ручном режиме и дип-сеток, CNN и RNN и тп.
Kek:
Мне тоже интересно создать процесс обучения нейросети так, чтобы он никогда не заканчивался. Скажу сразу что всякие там XORы, ИРИСЫ и МНИСТы это тупиковый путь. Для того чтобы попробовать создать такой алгоритм надо иметь реальный, сложный и непрерывный поток входных векторов. И таким потоком на мой взгляд является звук. А точнее речь.
Я бы начинал как раз с простейших не линейных задач, а моет даже линейных, в самом начале, речь это сложно, очень сложно, с речью нужно городить кучу искусственных эвристик, которые потом не масштабируются автоматически, а нужно ручками сшивать и потому перспективы очень ограниченны. В начале нужно тренироваться "на кошках" ИМХО. По поводу "потока" ну любой датасет можно подавать по семплу и будет поток, да и обучать не обязательно сразу всему датасету, можно и в потоковом режиме и нейросетки обычные и леса и тд.
Kek:
Представим себе классический цикл: - Создание размеченной обучающей выборки с немалым конечным числом векторов. (та еще работа) - Обучение, причем неприлично долгое. Например 16 часов. - Проверка сети на тестовой выборке, оценка эффективности. - Собственно работа. И тут оказывается, что в режиме работы стали появляться вектора, которых не было в обучающей выборке. Сеть выдает не правильный результат. С ирисам и МНИСТАМи такого не случится никогда. Как быть? А включить эти вектора в обучающую выборку и запустить весь процесс по новой. И опять не приличные 16 и более часов... При этом, заметьте, всю обучающую выборку надо хранить. Через какое то время работы сети, вновь появляются непредсказуемые вектора. Согласитесь, что живые организмы как-то по другому действуют.
Почему это " С ирисам и МНИСТАМи такого не случится никогда"? Наверно я не совсем понял что Вы имеете в виду. Перцептрону хоть подай один семпл, он кое как подгонится под него, дай два подгонится од два и тд. Потом новый вектор будет всё равно не со 100% точностью регресироваться\кластериховаться, даже из обучающей выборки. Вопрос в модели, чтобы она могла быть АВТОМАТИЧЕСКИ создана, путём простых оптимизационных алгоритмов вроде отжига.
Kek:
Что можно сделать? В классическом подходе для МНИСТов и ИРИСОВ существует поле признаков. Чем их больше и чем они "ортогональнее", тем лучше. Но по сути все действуют так: " А что если в неё лом запихнуть?" И запихивают не глядя, надеясь на то, что промежуточные слои всё "пережуют". За такой подход расплата это не прилично долгое время обучения и сложная структура сети. На мой взгляд deep learning возник именно из-за не понимания происходящего. Мое предположение. Процесс должен выглядеть так. - Создание начального не большого массива входных векторов с определенным набором признаков. - Быстрое обучение сети. - Тестовая и рабочая выборка суть одно. Если встречается новый вектор и он ценен, а сеть его не распознает, тогда встраиваем его в обучающую выборку и быстро переобучаем. Может случиться так, что в режиме работы мы запихнули вектор с ошибкой. Такое может быть. Тогда делаем откат назад. Весовые коэффициенты и небольшой набор входных векторов предыдущего варианта у нас есть. Получается итерационный процесс. Еще предположение о том, что в цепь обратной связи можно включить вообще изменение и самого поля признаков. Но для этого заранее нужно сформировать какой-то большой массив признаков, а в итерационном процессе задействовать не весь набор. Заметьте мы не вторгаемся в саму структуру сети, бэкпроп остается нашим всем. Мы лишь меняем общие этапы и наборы признаков.
Да вот на счет бэкпропа не уверен, слишком он искусственный, почти как SVM. Да, можно конечно гдето заюзать, как заплатку или в качестве отдельно го модуля, но нужен некий алгоритм генерации алгоритмов обучения, в автоматическом режиме. Что я имею в виду? У нейрона есть ряд параметров, веса, функция активации, связи входы\выходы, и тд. всё это можно оптимизировать, причем сама оптимизация может быть хитро устроенной, алгоритм эвристик оптимизации можно оптимизировать, что то часто оптимизируется что то редко. Например "слои" можно учить последовательно, каждый нейрон может иметь некие параметры "поведения" в зависимости от его ошибочности и тд. Чтобы получилась своего рода "конкуренция" в сообществе нейронов, как это происходит у живых организмов, которая даёт синергичный эффект для всей системы, в виде релевантных моделей окружающей среды. Нужно найти такие параметры у нейрнов или их придумать. А начать нужно с простых вещей, как вообще обучать искусственные нейросети, НЕ-бэкпропом, эволюционным способом. К сожалению я не нашел своего старого говнокода на эту тему, придётся набросать что то заново, тут проще показать в коде чем объяснять.
figaro:
А вы уверенны что "в мозгах", нечто вроде многослойного перцептрона, и осталось только придумать способ его обучения получше обратного распространения? На вашем месте я бы изучил больше про анатомию мозгов, особенно коры, много интересного поймёте, начните с Хокинса "об интеллекте", потом Мунтаскл и тд. Сразу могу резюмировать, что никаких многослойных перцептронов там нет и блико, если вы хотите что то сделать аналогичное мозгам то со старта начали не верно.
Кое что читал по этой теме, не совсем нуб :)
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
14:19 07.04.2021 №856
Александр Мельник:
... речь это сложно, очень сложно, с речью нужно городить кучу искусственных эвристик, которые потом не масштабируются автоматически
Я как раз занимаюсь речью. Есть модель и действующая инструментальная программа (pet project). Исследую оптимальное представление звуковых характеристик для нейросети пока на самом нижнем уровне. Классический подход знаю, но он не живет в диалоге, а подготавливается априорно. Если это интересно хоть кому, могу выложить и рассказать. Сама программа работает, исходники на Delphi. Каких-то с ног сшибательных результатов нет, но есть возможность подготавливать и размечать wav-файлы. Запихивать их в сеть и распознавать размеченные звуки. Для полноценного распознавания слова нужна фонетическая модель "сверху" этих звуков. Задача в том, чтобы в диалоговом режиме представить процесс обучения с нуля со всей гибкостью и сложностью. На мой взгляд такая постановка задачи в классическом процессе распознавания не ставится.
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
14:21 08.04.2021 №858
Kek:
Александр Мельник:
... речь это сложно, очень сложно, с речью нужно городить кучу искусственных эвристик, которые потом не масштабируются автоматически
Я как раз занимаюсь речью. Есть модель и действующая инструментальная программа (pet project). Исследую оптимальное представление звуковых характеристик для нейросети пока на самом нижнем уровне. Классический подход знаю, но он не живет в диалоге, а подготавливается априорно. Если это интересно хоть кому, могу выложить и рассказать. Сама программа работает, исходники на Delphi. Каких-то с ног сшибательных результатов нет, но есть возможность подготавливать и размечать wav-файлы. Запихивать их в сеть и распознавать размеченные звуки. Для полноценного распознавания слова нужна фонетическая модель "сверху" этих звуков. Задача в том, чтобы в диалоговом режиме представить процесс обучения с нуля со всей гибкостью и сложностью. На мой взгляд такая постановка задачи в классическом процессе распознавания не ставится.
Вообще интересно, что бы мозги поразмять, но к сожалению паскаль давно забыл и не особо тянет вспоминать, если бы на C++\C# были исходники, а лучше в виде блок-схем алгоритмов. Помница для одной в принципе не важной поделки чтобы с микрофона можно было исполнять голосовые команды, заморачивался с какими то древними библиотеками под .NET, а модерновое через АПИ, ну нах, был бодрый позыв импровизировать что то своё, простенькое как калаш, ну типа преобразовать в оконное 2д фурье а его стравить нейронке, но руки не дошли...
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
10:00 09.04.2021 №862
Egg:
Александр Мельник:
С трансфер-лёнингом я знаком, по крайней мере концептуально, но конкретно к данной теме это имеет малое отношение
Оно начинает иметь отношения с момента, когда вы заговариваете о "масштабировании". Но главная проблема искусственный нейронных сетей не в том, что это масштабирование невозможно, а в том, что это ИНС занимаются аппроксимацией и только ей. В этом смысле ваша постановка изначально имеет концептуальное противоречие. Никто не знает, можно ли мышление свести к аппроксимации. И если можно, то как. )))
Вероятней всего можно. Аппроксимация универсальный механизм, вопрос в "сложности модели", чтобы она смогла уместить сложность аппроксимируемой функции(явления, процесса) и логики обучения. Теоретически даже простой MLP мог бы "схавать" всё что угодно, что есть у нас "в мозгах", нет фундаментальных проблем которые бы запрещали это. Но есть практические проблемы, размеры такого MLP в миллиарды "нейронов" и способ обучения(сам датасет, этапность и тд) пока не вполне ясен, но даже если бы и был, нужна не виданная вычислительная мощь, чтобы гонять его миллиарды а может триллионы раз, так как матушка природа всё это сделала далеко не с первого раза и не с миллионного. Конечно хочется оптимизировать это дело, найти сразу некие эвристики или может даже относительно строгую теорию, чтобы закрыть костылями и готовыми модулями, особо прожорливые места, но костыли и эвристики порой обоюдоосрые, что то дают а что то отнимают, например гдето датут скорости, взамен на универсальность и масштабируемость и после значительного рывка закончим принципиальным тупиком. Вообще конечно тот путь который сейчас имеет место быть в ML, не так уж и плох, это тоже своего рода эволюция, только не совсем "тупая" одно-шаговая, а умная, вот только эта умность часто будет заводить в тупики ИМХО, хотя в целом все же так быстрее намного чем вообще, ген-алгоритмом искать супер-нейросетку))) Так что это наверно квазиоптимально, но всё равно, конца-края пока не видно. Я согласен с выше высказавшимися про то что нужно искать вдохновение в реальном мозгу, действовать как китайцы, на этапе обучения, тупо копировать, а потом уже по готовому дорабатывать, оптимизировать и тп. Но увы у нас пока большие проблемы с вычислительной мощностью, невозможно экспериментировать с чем то сложным пока, что то типа как пытаться сделать современную компьютерную графику, на компах 50х :)
+1 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
10:07 12.04.2021 №867
Egg:
Но, кроме этого, не хватает еще хорошей внятной теории интеллекта и макета (рабочего прототипа) минимального интеллекта. Самого простого. Но который бы все-таки выходил за уровень регрессии и аппроксимации...
Вероятно, надо попробовать сформулировать требования к нему. Возможно, отталкиваясь от метазадачи решения какой-то задачи.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
13:52 12.04.2021 13:55 12.04.2021 №872
Влад:
kondrat:
Вероятно, надо попробовать сформулировать требования к нему.
Мы творцы, - мы решаем.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
13:57 12.04.2021 №873
Egg:
kondrat:
Вероятно, надо попробовать сформулировать требования к нему. Возможно, отталкиваясь от метазадачи решения какой-то задачи.
Требование-то самое простое - демонстрация интеллектуальности. Например, способности к обучению. Начать с самого простого - показать, что система может научиться распознавать изображения чисел (та же MNIST), а потом она же, без перекомпиляции и переконфигурации, может научиться складывать числа как значения. А потом научиться играть в крести-нолики. Этих трех задач вполне достаточно, чтобы охватить предельно широкий спект минимальных интеллектуальных навыков. Эти задачи не требуют высокого перформанса. Если найдется единая модель, которая сможет реализовать эти три разноплановых задачи, она вполне может претендовать на то, чтобы быть начальной моделью интеллекта. На мой вкус.
Ну, сформулируйте кратенько требования к интеллектуальности. Я предлагаю рефлексию. Уже озвучил где-то тут.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
14:42 12.04.2021 14:43 12.04.2021 №875
Egg:
Интеллектуальность - это способность обучаться.
А что вы понимаете под словом обучаться? у него тоже может быть достаточно широкий смысл
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
10:21 14.04.2021 №886
Egg:
Да, в NPC (а все задачи реконструкции такие) производительность - ключевой аспект. Но, кроме этого, не хватает еще хорошей внятной теории интеллекта и макета (рабочего прототипа) минимального интеллекта. Самого простого. Но который бы все-таки выходил за уровень регрессии и аппроксимации...
Я понимаю о чем Вы толкуете, как мне кажется, но в последние годы я отошел от концепции "минимального интеллекта". ИМХО интеллект сущность агрегатная, кумулятивная, по своей сути, начинается он с транзистора, а заканчивается Эйншттейном, нет резких скачков и четких "фазовых переходов", только накопление и "новые проекции"(слои ансамбля моделей). Интеллектуальность - штука количественная, она возникает только у нас в сознании, распознаётся, когда наличиствуют ряд антропных атрибутов у системы, в частности достаточно сложное целенаправленное поведение, желательно с возможностью до обучения в процессе взаимодействия со средой и как вишенка на торте — способность к символьной коммуникации.
Egg:
Требование-то самое простое - демонстрация интеллектуальности. Например, способности к обучению. Начать с самого простого - показать, что система может научиться распознавать изображения чисел (та же MNIST), а потом она же, без перекомпиляции и переконфигурации, может научиться складывать числа как значения. А потом научиться играть в крести-нолики. Этих трех задач вполне достаточно, чтобы охватить предельно широкий спект минимальных интеллектуальных навыков. Эти задачи не требуют высокого перформанса. Если найдется единая модель, которая сможет реализовать эти три разноплановых задачи, она вполне может претендовать на то, чтобы быть начальной моделью интеллекта. На мой вкус.
MNIST и крестики нолики может и обычный MLP с бэкпропом, а вот складывать, это вопрос другого порядка сложности, вроде кажется что просто, но это иллюзия, технически MLP может "примерно" складывать, но это совсем другое, так как складывает человек требует уже абстрактного(символьного) мышления, а это пока не совсем проработанная тема и проработка её до "терминатора" может занять от десятка до сотни лет.
Egg:
Интеллектуальность - это способность обучаться. (Там много прочих, но начнем с этого.) И мне кажется, что это полезнее всего остального в плане практики. Мне очень нужна программка, которая могла бы выполнять несложные рутиные действия, но с гибкими условиями, а не с формальными на уровне обработки потоков данных.
Обучаться способен и транзистор, в каком то низкоуровневом смысле этого слова, а Вы конечно имеете в виду вербально-текстовое обучение, так как согласитесь даже животные, такие как кошки или даже наши предки обезьяны, путём "дрессировки", мало чему могут "научиться" новому, или дельфины, у которых и мозг больше и извилин, но нет этого "главного".
0 | 0
create
Эволюционно эвристический алгоритм обучения НС.
14:24 14.04.2021 14:49 14.04.2021 №889
Egg:
"Минимальный" интеллект - это не концепция, это демонстрация. Все знают, что такое интеллект, но сделать небольшую демонстрашку не может никто. И очень наивно полагать, что накопление слоев в перцептронах и делание их всё более и более "глубокими" - делает их умнее. Как я говорил раньше, интеллектуальности в любых сетях не больше, чем в линейной регрессии. ))
НС человека входит в то, что вы назвали: "любых сетях"?
Egg:
... интеллект явление социальное, один человек интеллектуальным стать не может (факт реальных мауглей подтверждает это), да и оставаться вне и без общества - тоже (факт реальных робинзонов показывает их прогрессирующее слабоумие). То есть без специальной искусственной среды (общество и техногенез) и без социального взаимодействия (общения) интеллект не существует. Это такой факт, на который не принято обращать внимание, ибо он неудобный для строителей толстых нейронных сетей.
Всё так, но это уже следующая ступень: способность насладиться искусством, рассчитать балку на изгиб, построить СИИ. При всём слабоумии Маугли, он не теряет способность учиться и при потере конечности (например) научится передвигаться и без неё. Какой бы он не был, интеллект Маугли или Робинзона - это интеллект. Интеллект пчёлки или муравьишки - интеллект. Если у кого-то получится продемонстрировать самодельного муравья, который не уступает поведением живому - значит он на верном пути. UPD: Неудачный пример. Муравей (живой) тоже в социуме. Предлагаю считать доказательством интеллектуальности способность агента научиться эффективно передвигаться сообразно своему телу без применения ML (в любом виде) и генетических отборов.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
05:50 16.04.2021 05:54 16.04.2021 №900
Egg:
Делал я в прошлом году небольшой семинар на тему архитектуры минимального интеллекта (наверное многие его уже видели), в котором обозначены важнейшие его элементы и аспекты. По сути, это краткое (17 минут) обобщение проблематики ИИ. ))
Мне кажется, что минимальный интеллект можно сразу описывать в терминах процессов передачи, фильтрации и сжатия опыта выживания, определённая комбинация которых (назовём её minGI ))) ) и будет демонстрировать способности к выбору, обучению и построению абстрактных моделей. Но это не точно. Также, по-моему, когда влияние внешней среды и на внешнюю среду описывается в терминах датчиков/исполнительных механизмов, в человеческом сознании отбрасываются необходимые в модели минги, но "не очень живые" взаимодействия со средой. Потому что некоторые реакции происходят ну очень не сразу, да ещё и формируются через передачу опыта между агентами. Это тоже сугубая имха.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
11:49 16.04.2021 №908
Egg:
kondrat:
Мне кажется, что минимальный интеллект можно сразу описывать в терминах процессов передачи, фильтрации и сжатия опыта выживания
Попробуй, почему нет. В этом вопросе не столько важно "в чём это описывать", сколько важно "как это работает". ))
Вместе со мной пробовать будешь? Например, разрабатывать формат сообщений, содержащих опыт выживания.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
14:09 16.04.2021 №910
Egg:
kondrat:
Например, разрабатывать формат сообщений, содержащих опыт выживания.
Проблем не вижу, но пока не понимаю, чем такой формат отличается от формата описания произвольного события?
В базе - ничем. Оно содержит информацию, в специфическом для использования определённым приёмником формате, общим для всего живого способом. Они должны состоять из краткого описания обстановки и её значимой предыстории, краткого описания последовательности и характера деятельности, а также, из краткого описания последствий с их привычной эмоциональной оценкой. В базе должны быть сообщения вроде: "Что-то изменилось и появилось Я, - интересно!", "Ничего не менялось и Я исчез, - жуть!", "Ничего не менялось, я изменился, изменил что-то, и продолжаю быть, - класс!" Улавливаешь идею? Надо её сформулировать почётче.
0 | 0
Аватар
create
Эволюционно эвристический алгоритм обучения НС.
06:31 17.04.2021 06:37 17.04.2021 №912
Egg:
Начиная с того, что непонятно, кто и как будет формулировать те реплики, которые ты написал
Первичные формулируются внешним источником и, по сути, означают формирование оболочки ("Я") со всем необходимым для дальнейшего, а так как "Я" содержит связи, которые разрываются с выделением энергии, а также матрицу для формирования таких сообщений, то источником вторичных сведений об опыте будет уже "Я".
Egg:
заканчивая тем, что процесс выживания не валидируем. Ты (с каким-то набором качеств) выжил сейчас, но вымер как только чуть изменились условия.
"Люди читают жопой..."(С) Это естественная реакция при встрече с непривычным. Самосохранение требует недоверия. Я вот тут с друзьями поделился этим сокровенным, - все бросились критиковать, рассказывая о своих ощущениях полноты, богатства и невысказываемой сложности Жизни, Разума и Духа. Ни кто ни чего не понял. Вот и ты забываешь, что жизнь , как минимум, не заканчивается со смертью особи, более того, смерть особи может быть подчинена потребностям выживания вида (одно из сообщений, кстати), и есть основания подозревать, что наш мир и не может не порождать жизнь.
Egg:
Минимальный интеллект здесь вообще не при чем, поскольку выживание - это филогенез, это даже не социальная среда. Генетические алгоритмы - да - они работают с "вымиранием", но там никах оценочных суждений, там импликация работает...
Современные генетические алгоритмы очень примитивны, используют необоснованные теоретически эвристики и не преследуют цель сохранения опыта выживания. А мысли тоже борются за выживание и за власть над исполнительными механизмами. Вообще-то, элементарный интеллект я называю (условным) рефлексом, но готов идти на компромиссы.
0 | 0
1
2
шрифт+
шрифт-
Скачать
Вперёд

Главная Участники Жалобы  Поиск Исходный код О форуме