米哈游公布Gamer模型可自主游玩游戏
米哈游旗下《崩坏》系列AI研发团队公布通用视觉语言动作基础模型Gamer,该模型通过采集游戏画面并生成键鼠指令模拟真人操作,可自主游玩3D和2D游戏,团队同步说明其学术用途、性能优化及数据公开范围。
驱动中国11月17日消息,米哈游旗下《崩坏》系列AI研发团队公布通用视觉语言动作基础模型Gamer。该模型以模拟真人键鼠操作为核心方式,能够自主游玩3D和2D游戏,其技术路径覆盖画面采集、动作指令生成、跨游戏预训练、推理加速以及任务执行验证。
在输入与输出机制上,Gamer不读取游戏内部数据,也不依赖游戏专用API。模型以每秒5帧的频率获取游戏画面,并输出相当于30Hz的原生键盘按键状态和鼠标移动指令,由此还原玩家使用键鼠操作游戏的流程。
为应对长时间执行任务中的内存限制与推理延迟,研发团队使用超过1万小时的跨游戏键鼠操作轨迹开展持续预训练,同时结合稀疏思维指令微调和时序感知强化学习优化模型。推理层面,团队开发名为Streaming-vLLM的引擎;在NVIDIA H200硬件环境下,端到端请求延迟由1306毫秒降至65.12毫秒。
演示与测试方面,团队展示Gamer在《崩坏:星穹铁道》中完成主线任务、探索场景和解谜挑战的实机画面。数据显示,经强化学习训练的Gamer-RL在40项此前未接触的小游戏任务中平均成功率为49.7%,高于未经微调的通用模型。
围绕外界对游戏外挂和自动化脚本的担忧,研究团队将Gamer定位为探索交互环境通用智能代理的学术研究项目,潜在应用包括游戏测试、无障碍辅助与人机交互研究。团队表示,不支持将其用于游戏作弊、未经授权访问、利用安全漏洞,或任何损害用户利益、破坏游戏公平性的行为。
数据公开范围上,出于数据安全考虑,米哈游研究团队目前仅开放项目早期基础预训练研究阶段使用的通用文件,未公开任何《崩坏:星穹铁道》相关训练数据,也未发布基于该游戏数据训练或微调后的模型权重。