Форум создателей искусственных интеллектов

Это задачу не нужно решать, она уже решается и довольно успешно. Называется эта область Vision-Language-Action (VLA), вот, например, одна из последних работ: https://arxiv.org/abs/2610.37219 В сообществах, занимающихся моделями типа «зрение-язык-действие» (VLA) и моделями «мир-действие» (WAM), ведутся дискуссии о том, должны ли стратегии управления (control policies) заимствовать предобученные знания из моделей «зрение-язык» или из визуальных генеративных моделей. Однако этот спор объединяет три независимых аспекта: инициализацию базовой архитектуры (backbone), целевую функцию, применяемую к будущим наблюдениям, и вопрос о том, сохраняются ли компоненты, отвечающие за учет будущих состояний, на этапе логического вывода (inference). Таким образом, различие между VLA и WAM нельзя свести к какому-то одному из этих факторов. Мы показываем, что разделение этих аспектов позволяет создать единый подход для обоих типов моделей — Just Action Model (JAM). Он представляет собой предобученную визуальную архитектуру, дополненную модулем принятия решений (action expert) и обученную с использованием функции потерь, основанной как на самих действиях, так и на прогнозировании будущего. В последнем случае признаки текущего наблюдения используются для предсказания зафиксированных (frozen) представлений будущих состояний; при этом вспомогательный блок для прогнозирования отбрасывается после завершения обучения. В результате визуальная генерация не требуется ни на этапе обучения, ни на этапе вывода, а выбор базовой архитектуры остается полностью свободным. Мы сравнили различные целевые функции в рамках фиксированных архитектур стратегий, а затем оценили эффективность подхода с прогнозированием будущего для разных типов базовых моделей. Стратегии JAM превосходят аналогичные модели FastWAM и ImageWAM в задачах LIBERO и LIBERO-Plus, а в RoboTwin показывают сопоставимые или даже более высокие результаты. В частности, по сравнению с FastWAM, JAM повышает показатели успешности с 97,0%/55,3%/91,2% до 98,2%/64,5%/91,4% соответственно. Благодаря использованию кэшированных целевых значений для прогнозирования, JAM сокращает оценочные вычислительные затраты (FLOPs) при онлайн-обучении на 73% по сравнению с FastWAM. Наши результаты демонстрируют, что использование информации о будущем улучшает управление, не требуя при этом визуальной генерации или дополнительных компонентов на этапе вывода. При этом высокая точность прогнозирования достижима как при использовании базовых архитектур, инициализированных на основе генеративных моделей, так и на основе моделей «зрение-язык».