Google DeepMind представила ИИ-агента SIMA, обучающегося играть в видеоигры как человек. Название SIMA (Scalable, Instructable, Multiworld Agent) расшифровывается как «масштабируемый, обучаемый, мультимировой агент». Пока SIMA находится только в стадии исследования, но со временем он сможет научиться играть в любую нелинейную видеоигру с открытым миром. Создатели описывают SIMA как «ещё одного игрока, который хорошо вписывается в вашу группу».
При обучении и тестировании SIMA лаборатория DeepMind сотрудничала с восемью разработчиками игр, включая Hello Games, Embracer, Tuxedo Labs, Coffee Stain. Исследователи подключили SIMA к таким играм, как No Man’s Sky, Teardown, Valheim и Goat Simulator 3. Разработчики утверждают, что SIMA не нуждается в специальном API для запуска игр или доступе к исходному коду.
SIMA сочетает обучение естественному языку с пониманием трёхмерных миров и распознаванием изображений. «SIMA не обучен побеждать в игре, он обучен запускать игру и делать то, что ему говорят», — говорит исследователь Google DeepMind Тим Харли (Tim Harley). Команда выбирала игры, которые больше ориентированы на открытый мир, чем на повествование, чтобы помочь SIMA освоить общие игровые навыки. К примеру, суть игры Goat Simulator — в совершении случайных, спонтанных поступков, и именно такой спонтанности разработчики хотели добиться от своего ИИ-агента.
Команда сгенерировала новую игровую среду при помощи «движка» Unity, в которой агентам было поручено создавать скульптуры, чтобы проверить их понимание манипулирования объектами. Перед этим были записаны совместные действия в этой среде пар игроков-людей, один из которых давал инструкции, а другой выполнял их. Затем записывался процесс самостоятельной игры, чтобы люди могли продемонстрировать получающийся результат. На базе этой информации SIMA обучался предсказывать дальнейшие действия участников игры.
В настоящее время SIMA изучил порядка 600 базовых игровых навыков, таких как движение вперёд-назад, повороты, подъём по лестнице и открытие меню для использования карты. Со временем разработчики планируют поручать SIMA выполнение более сложных функций в игре. На данный момент задачи типа «найти ресурсы и построить лагерь» не под силу ИИ-агенту.
По замыслу создателей, SIMA должен стать ещё одним полноправным участником игры, влияющим на результат. Разработчики считают, что пока преждевременно говорить о том, какое применение подобные агенты ИИ могут принести в игры за пределами исследовательской сферы. Они полагают, что благодаря более совершенным моделям ИИ SIMA в конечном итоге сможет выполнять сложные задачи и стать идеальным членом игровой партии, который приведёт её к победе.