Форум создателей искусственных интеллектов

У AGI есть набор сенсоров. Одни всегда "молчат", другие дают релевантную информацию, третьи бестолково шумят да ещё и высокочастотно. Те, что молчат - просто игнорируемый балласт, другие - благо, а что делать с третьими? Они определённо мешают и катастрофически оттягивают на себя одеяло производительности и памяти. UPD: Кроме того, даже один единственный сенсор может пребывать в этих состояниях (молчать, быть полезным и шуметь) в разное время. Конечно же возможны и смеси этих состояний.

Адаптивное шумоподавление Тут мы называем это переключением внимания.

Во-первых: я не о том. Шум может давать неисправный сенсор или сенсор, для которого в данный момент не созданы условия, а условия создадутся в будущем, поэтому он должен работать, чтобы не пропустить полезную информацию в будущем. Во-вторых: внешний шум среды он и есть сигнал на сенсоре. У нас нет двух источников (как по вашей ссылке): отдельно шум и отдельно сигнал + часть шума. Поэтому адаптивная фильтрация неприменима. Вернее, её нет смысла применять потому, что полезного сигнала может не быть в принципе.

У нас есть два источника: 1) внутренняя модель и 2) сигналы окружающей среды. Люди почему-то уверены, что они видят и осознают "внешний мир". Это в корне не верно. Люди видят и осознают только свой внутренний мир, который отчасти корректируется сигналами внешнего мира. Если Вы попробуете совершать действия в сумерках, то быстро осознаете, что шума и неопределённости вокруг намного больше, чем при ярком дневном свете. Потому что внутренней модели не хватает внешних сигналов, чтобы на них себя оттестировать. Поэтому если мы осознаём шум, то он тоже только внутренний.

А уровень подкрепления и работу модели мира не будем рассматривать?

Prosolver и kondrat, можете продемонстрировать что такое модель на примере перцептрона? kondrat, если говорите о подкреплении скажите откуда оно исходит применительно к AGI.

В перцептроне нет обратной связи (точнее, она замыкается через наладчика), а модель внешнего мира состоит из образцов сигналов, которые нужно выделить, по-сути, из шума методом корреляционной обработки с порогом. Суть адаптивного шумоподавления, - сужать (подгонять характеристики ближе к оптимальным, согласованным) полосу фильтра и менять пороги вслед за гипотезой о наличии конкретного сигнала (или сигналов). Т.е. адаптивной фильтрацией в случае перцептрона будет изменение (возможно, с перебором) его весов с целью повысить достоверность (уровень сигнал/шум) обнаружения одного (или ансамбля) полезного сигнала. Но для этого требуется обучение с подкреплением, в том числе и нацеленное на перебор гипотез. Это уже обратная связь, к тому же, очень сложная. Подкрепление для СИИ поступает из внешнего мира или в результате моделирования поведения внешнего мира через сформированные или формирующиеся органы обнаружения угроз/призов (т.е. мотивации). Можно и напрямую, но не будете же вы жечь дорогие компы за то, что они ещё не обучились.

Интересное желание Вы изъявили. Это примерно то же самое, что попросить продемонстрировать автомобиль на примере кочерги. Непонятно, почему Вы решили, что перцептрон - это годный инструмент для демонстрации моделирования? Начнём с начала. Современные подходы к созданию искусственного восприятия имеют мало чего общего с теми механизмами, которые работают в голове. Принцип работы всяческих перцептронов основан на выделении во входном сигнале некоторых features, которые группируясь и комбинируясь приводят к некоторому классу объектов. Этот принцип во-первых предполагает достаточно высокий уровень вычислительных мощностей, а во-вторых он чувствителен к зашумлённости входных данных. Голова, судя по всему, работает совсем по другому принципу. Мозг активно синтезирует разнообразные идеальные модели мира на разных пространственных/временных частотах и те из них, которые достаточно хорошо подтверждаются активностью рецепторов, те и признаются реальностью. Т.е. реальность не распознаётся, она синтезируется и проверяется. Поэтому говорить о шумах тут лишено смысла. С точки зрения мозга любой входной сигнал - может быть шумом или полезным сигналом. Важно только насколько большой энергетический вклад он вносит в проверку той (внутренне синтезированной) модели, которая сейчас верифицируется. Примеры. 1. Допустим Вы знаете, что у Вас за окном растёт дерево. Вы знаете, что сейчас весна и весной деревья выпускают зелёные листья. Соответственно, если Вы подойдёте к окну, то мозг, на основании этих знаний, подготовится и синтезирует для Вашего использования (осознания, восприятия) идеальную незашумлённую модель зелёного дерева за окном. И когда Вы взглянете в окно, то эта модель через рецепторы будет подтверждена и Вы будете наслаждаться восприятием иллюзии дерева, которую Вам любезно нарисовал мозг. 2. Допустим теперь Вы усилием глазных мышц сделаете воспринимаемую картинку размытой (заблюренной), все высокие пространственные частоты теперь будут безвозвратно утеряны. Для перцептрона это равносильно расфокусировке линз объектива на камере, дающей входной сигнал. Перцептрон в таких условиях работать не сможет. А мозг сможет. Он будет синтезировать модель только на низких пространственных частотах (вот там дерево, вот там дом, там облако, а так какая-то штука) и всё продолжит работать. 3. Смотрим на иллюзию: Куда едет поезд - в туннель или из туннеля? Очевидно, правильного ответа нет. В зависимости от Вашей внутренней предубеждённости, поезд может ехать и туда, и обратно. Но физически он не может этого делать одновременно. Получается, что направление движения поезда существует для нас как факт только в рамках нашего сознания. Это крайне важно признать. Но разве мужик, стоящий на платформе, чем-то принципиально отличается от поезда и от направления его движения? Нет, конечно. И мужик, и поезд, и платформа, и всё остальное, что мы воспринимаем - это идеальный продукт нашего внутреннего конструктора восприятия. В котором нет никакого шума. До тех пор, пока наша идеальная модель, построенная этим конструктором, и сигналы от рецепторов, не противоречат друг другу, наш внутренний конструктор продолжает конструировать нечто (мир, реальность). Как только возникает противоречие - он мгновенно перестраивается и начинает конструировать что-то другое. 4. У меня иногда так случается, что я листаю колёсиком мыши некий документ или веб-сайт и я проворачиваю колёсико, но документ по какой-то причине не скроллится. В этот момент можно отчётливо осознать некое замешательство мозга, когда он ожидал одно, а оно совсем не подтвердилось рецепторами. Примерно такое же ощущение полного замешательства испытывает человек, который при ходьбе споткнулся и в падении вообще не понимает, что происходит - некая мешанина из образов заканчивается стабильным ощущением лежания себя на асфальте. Хотя по логике перцептронов он должен воспринимать падение. Но он не может, потому что мозг не может синтезировать адекватную модель для такого форс-мажорного случая. Чтобы Вы не подумали, что я совсем свихнулся и несу всякую ахинею, некоторая литература для прочтения: Фильтрация сенсорной информации Efference copy Эфферентная копия Распознавание лиц на разных пространственных частотах

Вопрос правильный. И здесь речь не только о звуке. Летающая постоянно муха, которая мешает читать, это шум зрительный. В теории новизны, которую я исследую есть та же проблема. Любой сигнал сравнивается с имеющимся в памяти. Если его в памяти нет, то это новизна, если сигнал есть, то отмечается счетчик повторений этого сигнала. Если порог чувствительности системы таков, что новый сигнал возникает очень часто, то есть опасность забить память. Это правда. Для решения этой проблемы я использовал следующий алгоритм: по настоящему новый сигнал тот, который повториться N раз. Только после этого ему присваивается статус новизны. Тем не менее мусор, не достигший порога повторений, тоже записывается в память, которая через какое-то время все-таки забивается. Заполнение памяти является критерием включения процедуры очистки памяти. Критерий прост: все сигналы не достигшие порога новизны удаляются и память освобождается.

Да, я именно об этом. С одной поправкой. Память ограничена и неизбежно наступает момент, когда удаления сигналов недостигших порогов новизны (говоря вашим языком) недостаточно и приходится удалять сигналы достигшие порог новизны. А точнее сигналы достигшие порог новизны могут быть удалены и ранее, но с меньшей вероятностью для реализации механизма забывания. Из-за шума в памяти накапливается подавляющее количество мусора, а количество полезной информации становится исчезающе малым.

Для разных случаев количество повторов N - может быть разной. И в дальнейшем N - параметр, отданный на откуп системе управления.

В продвинутых системах можно дополнительно использовать критерий субъективной важности информации. Иногда всего один новый и неповторющийся сигнал может быть критически важен. Это - дополниельный остро селективный фильтр по отсеву шума.

Мне кажется тут какая-то путаница в контекстах. Если в комнате летает муха, то это никакой не шум, а чётко опознанный полноценный объект, который отвлекает на себя внимание, создаёт помехи, раздражает. Он имеет свою индивидуальную историю и должен быть записан в жизненный опыт на общих основаниях. Чтобы ликвидировать этот раздражитель муху надо просто прихлопнуть или выгнать из комнаты. cortl же, насколько я понимаю, говорит о другого рода шумах - физических, типа теплового шума матрицы фотоаппарата, которые должны, по идее, препятствовать правильному опознаванию объектов и даже создавать паразитные псевдо-объекты. Но если судить по нашему опыту, то такие физические шумы фактически не доходят до сознания (и, следовательно, до запоминания), поскольку мозг показывает сознанию идеально нарисованный мультик уже после того, как физические шумы были отфильтрованы. И поэтому нет нужды с ними как-то специально бороться, для сознания их просто нет.

Пример с мухой и мне не понравился, но я это не сформулировал. "мозг показывает сознанию идеально нарисованный мультик" - как ему это удаётся? Мне думается - это не просто какие-то алгоритмы шумоподавления. "И поэтому нет нужды с ними как-то специально бороться, для сознания их просто нет." Здорово! Но никто не пройдёт за нас этот путь.

Выше я попытался дать общее объяснение. Сейчас попробую дать более детальное. Из того факта, что размытая картинка на сетчатке (при усилии глазных мышц или при болезнях зрения) достаточно хорошо опознаётся и не ощущается никакого "переключения режимов" между детальным и обобщённым восприятием, я делаю вывод, что мозг сначала опознаёт общую картину, а потом к ней (и относительно неё) присоединяет детали. Но это опознание и присоединение происходит, опять же не "от рецепторов к мозгу", а "от мозга к рецепторам". Т.е., исходя из своей памяти, мозг сначала пытается сконструировать картинку такой, какой, как ему кажется, она должна быть. И потом эту картинку тестирует на данных, полученных от рецепторов. Этот тест может быть довольно грубым и обобщённым, с регулировкой чувствительности к шумам. Например, если мы смотрим на белую стену, нет никакого смысла двигаться "от деталей к общему" и проверять каждый пиксель. Мозг синтезирует модель, в соответствии с которой всё зрительное поле белое, далее выборочной проверкой подтверждает эту модель и на этом "опознавание" заканчивается. Если же модель не подтверждается, то оперативно генерируется другая модель. Возможно, сигнал рассогласования как-то в этом помогает, подсказывая направление изменения модели при подборе. Если же на изображении есть детали, то эти детали опознаются по такой же схеме - от общего к частному. То же самое касается опознавания звука. Если мы через стену или издалека слышим приглушённое "бубнение", то по характерной динамике общей интенсивности сигнала мы можем без труда опознать музыкальную композицию или голос знакомого человека. Как программно сделать размытие звука и превратить его в "бубнение" всегда хотел спросить ув. Kek'а и сам попробовать, но никак не подворачивается случай. Таким образом мы гарантированно получаем идеальную модель без шумов. Единственный случай, как я уже говорил, когда шумит сама модель - это случай недостаточных сенсорных данных, когда, например, в тёмном полумраке заурядный предмет утвари может превращаться в разных чудищ и визуально восприниматься как нестабильный, колышущийся, "шумящий" объект.

Если продолжать тему сферических коней, то вот детский рисунок лошади: Мне кажется вполне очевидным, что у ребёнка сначала формируется общая модель лошади, а потом - детальная. Но я не возражаю против других подходов. Пусть подходов и моделей будет много и разных.

1. В данном топике понятие "модель" я использовал только для того, чтобы объяснить своё понимание того, как можно избавиться от шумов в механизме искусственного восприятия. Другие разговоры о моделях тут будут, вероятно, оффтопом. 2. Сам термин "модель" в данном контексте мне видится крайне неудачным, потому что модель по определению подразумевает нечто настоящее, полноразмерное - моделью чего она является. Но в данном контексте модель в явном виде не является моделью чего-то, она самодостаточна, окончательна и полноценна, поэтому лучше, мне кажется, использование понятий типа конструкт, понимание и им подобных. 3. Начало разговора о том, что такое модель, для чего и как она работает, было положено здесь. Надеюсь, продолжение когда-нибудь где-нибудь последует, надеюсь, с рабочими программными примерами.

Влад, Эгг, по-сути, оперирует Вашим любимым комбинаторным множеством, если понимать его, как множество производных имён, создаваемых комбинированием элементов менее мощного множества базовых имён. Просто, называет его текстами.

Взаимное положение - это связи. Т.е. опять комбинации элементов менее мощного множества.

Хорошо, модель, так модель. Спасает от шума, ок. Откуда она берётся в AGI?