UI-TARS Desktop：字节跳动开源视觉语言桌面自动化工具

UI-TARS Desktop是字节跳动开源的桌面自动化工具，基于视觉语言模型打造，支持通过自然语言指令控制电脑完成打开文件、浏览网页、操作软件等各类任务。它能精准识别屏幕元素并执行交互操作，兼容Windows、Linux、macOS三大系统，提供本地与远程操作功能，用户可根据硬件条件选择不同规模的模型。内置脚本编辑器支持自定义自动化任务，遵循Apache 2.0许可证开源，可免费使用且支持商业化开发，适配数据处理、远程运维等多类自动化场景。

UI-TARS Desktop核心功能亮点：

1、自然语言指令控制，零门槛上手：

用户只需输入或说出日常化指令，如“打开Excel并整理本月销售数据”“搜索电脑里的项目报告文档”“自动填写网页表单信息”，无需编写复杂代码，工具即可解析指令并执行对应操作。

2、视觉识别精准交互，搞定复杂任务：

搭载先进的截图与视觉识别技术，可自动定位屏幕上的按钮、输入框、菜单等界面元素，精准执行鼠标点击、键盘输入、窗口切换等操作，轻松应对需要视觉判断的复杂自动化任务。

3、全平台兼容，跨系统无障碍使用：

完美适配Windows、Linux、macOS三大主流操作系统，无需针对不同系统单独配置，一套工具即可满足多设备自动化需求。

4、本地+远程双模式，灵活适配场景：

既支持本地设备自动化操作，也能远程连接控制其他电脑与浏览器，无论是远程协助解决问题，还是跨设备执行运维任务，都能轻松实现。

5、实时反馈+本地化部署，安全高效：

执行任务过程中实时显示操作进度与状态，用户可随时掌握任务动态；所有操作记录与数据均存储在本地设备，不依赖云端传输，从根源保障隐私与数据安全。

6、脚本编辑器+模型自选，深度定制体验：

内置脚本编辑器，支持用户自定义自动化流程与任务逻辑；提供2B、7B、72B等不同规模的模型选项，用户可根据硬件性能灵活选择，平衡运行效率与功能精度。

UI-TARS Desktop详细使用指南：

1、下载与安装：

– 通用方式：访问UI-TARS Desktop的GitHub仓库Releases页面，下载对应系统的最新版本安装包。

– macOS系统：将下载的应用程序拖入Applications文件夹；若无法打开，在终端输入命令 sudo xattr -dr com.apple.quarantine /Applications/UI\ TARS.app 修复。

– Windows系统：双击安装文件，按照引导步骤完成安装即可。

– Homebrew快捷安装：支持Homebrew的用户，直接在终端输入 brew install ui-tars-desktop 一键安装。

2、模型部署：

工具提供云端部署与本地部署两种方式，按需选择：

– 云端部署：推荐使用HuggingFace Inference Endpoints，无需本地硬件支持，直接调用云端模型。

– 本地部署（基于vLLM）

1. 先安装依赖：确保vllm>=0.6.1版本。

2. 下载2B/7B/72B规格的模型文件。

3. 在终端运行命令 python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <path to your model> 启动OpenAI API服务。

4. 打开UI-TARS Desktop，在设置界面填入API相关信息，完成模型配置。

3、启动与使用：

打开UI-TARS Desktop应用程序，在输入框中输入自然语言指令（如“打开Chrome浏览器并搜索AI桌面自动化工具”），工具会自动解析指令并执行操作，同时实时反馈任务进度。

4、进阶探索与定制：

– 查看GitHub仓库的README文档与贡献指南，解锁更多高级用法。

– 开发者可通过UI-TARS SDK扩展功能，开发专属自动化代理，适配个性化业务场景。

UI-TARS Desktop多元适用场景：

1、办公自动化：

自动批量修改Excel表格内容、生成数据图表、快速打开办公软件并执行预设操作，大幅节省手动办公时间。

2、网页操作自动化：

自动登录网页平台、填写表单、采集网页数据，适合电商运营、信息调研等高频网页操作场景。

3、专业软件交互：

控制Photoshop自动执行图像处理任务、操控视频剪辑软件完成剪辑与特效添加，降低专业软件操作门槛。

4、远程运维管理：

IT运维人员远程连接设备，执行系统维护、软件更新、故障排查等操作，提升运维效率。

5、游戏辅助操作：

自动完成游戏中重复的角色升级、资源收集任务，优化游戏体验。

6、学习辅助工具：

自动搜索整理学习资料、生成笔记大纲、播放指定教学视频，助力高效学习。

进入UI-TARS Desktop官网入口