EvoCUA：美团开源多模态计算机自动化模型，自然语言驱动软件智能操作

EvoCUA（Evolving Computer Use Agent）是美团开源的多模态智能模型，专注于计算机使用自动化任务。通过融合自然语言指令与屏幕截图视觉输入，可实现对Chrome浏览器、Excel、PowerPoint等主流办公软件的端到端多轮操作，显著提升计算机操作自动化水平。在OSWorld基准测试中，以56.7%的任务完成率位列开源模型榜首，超越多个知名模型；创新的数据合成与训练方法，更实现了「不降低通用性能」前提下的计算机使用能力跃升。

EvoCUA核心功能亮点：

1、多轮交互式操作，精准完成复杂任务：

支持与桌面软件环境进行多轮对话式交互，能够根据用户指令逐步拆解任务、调整操作策略。例如接收「在Excel中统计某列数据并生成柱状图」的指令后，可自动完成数据筛选、计算、图表生成全流程，无需人工干预。

2、跨软件任务自动化，覆盖办公全场景：

适配Chrome、Excel、PowerPoint、Word等主流软件，可执行网页信息检索、表格数据处理、演示文稿制作、文档编辑等多样化任务。通过自然语言指令即可驱动多软件协同工作，大幅降低人工操作成本。

3、多模态输入融合，提升任务理解精度：

创新性结合语言输入（自然语言指令）与视觉输入（屏幕截图），模型既能精准解析用户的文字需求，又能通过视觉信息感知当前软件界面状态，有效避免因界面差异导致的操作失误，任务执行准确率更高。

4、高效率低步骤执行，优化操作流程：

依托优化的算法与模型结构，能够以最少的操作步骤完成目标任务，避免冗余操作。相比传统脚本自动化，执行效率显著提升，同时降低了对系统资源的占用。

5、开源可扩展，支持二次开发与定制：

作为开源模型，EvoCUA支持开发者根据业务需求进行功能扩展与定制，可适配更多小众软件与垂直场景的自动化需求，灵活度远超闭源工具。

EvoCUA核心技术原理：

1、创新数据合成与训练方法，兼顾通用与专项能力：

采用自研的数据合成技术，生成大量模拟真实计算机操作场景的高质量训练数据；搭配针对性的训练策略，实现「提升计算机使用能力」与「保持模型通用性能」的双重目标，解决了传统模型专项能力提升后通用能力下降的痛点。

2、强化学习驱动策略优化，实现高效任务拆解：

在训练过程中引入强化学习技术，通过奖励机制引导模型优化操作策略。模型可在多轮交互中不断试错、学习，逐步探索出完成复杂任务的最优操作路径，面对跨软件、多步骤任务时表现更稳定。

3、LLM+VLM多模型架构，打通语言与视觉的桥梁：

基于大型语言模型（LLM） 与视觉语言模型（VLM） 构建双引擎架构：

– LLM负责解析自然语言指令，理解用户任务意图并拆解为可执行的子任务；

– VLM负责处理屏幕截图信息，识别软件界面元素与当前状态；

– 通过专属的提示词（prompts）与解析机制，将语言指令转化为具体的软件操作指令，实现对桌面环境的精准自动化控制。

EvoCUA多元应用场景：

1、办公自动化：解放双手，提升工作效率：

自动完成Excel数据统计与可视化、PowerPoint演示文稿制作、Word文档格式排版、Chrome网页信息批量爬取等任务，将职场人从重复性工作中解放出来，专注高价值核心工作。

2、软件测试与开发：自动化流程，降低测试成本：

可用于软件界面的自动化测试、测试用例的自动执行与结果验证，同时支持辅助代码生成、开发文档自动编写，优化软件开发与测试流程，缩短项目周期。

3、客户服务与支持：智能答疑，提升服务体验：

通过自然语言交互帮助用户解决软件操作问题，例如指导用户在Excel中使用函数、在PowerPoint中设置动画效果等，可作为自动化客服工具，7×24小时提供技术支持。

4、教育与培训：个性化教学，丰富课件内容：

支持根据教师指令自动生成教学课件、数据可视化案例、个性化学习路径，辅助开展计算机操作课程教学；同时可作为学生的智能学习助手，解答软件使用疑问。

5、数据分析与可视化：简化流程，助力决策：

接收自然语言数据分析指令（如「分析近三个月的销售数据并生成趋势图」），自动完成数据清洗、统计计算与图表生成，快速输出分析报告，为业务决策提供数据支撑。

进入EvoCUA官网入口