DeepEyesV2：小红书团队研发推出的多模态智能体模型

DeepEyesV2是小红书团队推出的多模态智能体模型，依托创新的两阶段训练法，构建起强大的工具调用与多模态推理能力。该模型可深度理解图文融合信息，在任务执行过程中主动调用代码执行、网络搜索等外部工具，并将工具返回结果无缝融入推理链路，高效解决复杂的真实世界问题。

模型训练分为两个核心阶段：第一阶段通过监督微调，帮助模型建立工具使用的基础认知；第二阶段借助强化学习，大幅提升工具调用效率与场景泛化能力。在小红书新提出的RealX-Bench基准测试中，DeepEyesV2表现优异，充分验证了其多技能协同的综合实力。

DeepEyesV2核心功能：

1、跨模态深度理解：

具备文本与图像的双模态信息处理能力，可精准解析图文结合的复杂内容，捕捉隐藏在视觉与文字中的关联信息。

2、主动式工具调用：

可根据任务需求自主触发外部工具调用，涵盖代码执行环境、网络检索等能力，获取模型自身知识库外的关键信息。

3、动态迭代推理决策：

并非单次调用工具即输出结果，而是将工具返回数据融入推理过程，通过多轮迭代分析，逐步逼近问题最优解。

4、任务自适应工具选择：

能智能识别任务类型（如感知类、推理类），匹配最优工具组合方案，兼顾任务处理效率与结果准确性。

5、复杂任务协同解决：

支持多工具组合与多步骤推理，可应对需要感知、搜索、逻辑推演等多种能力协同的复杂场景，突破单一模型能力边界。

DeepEyesV2技术原理：

DeepEyesV2的能力构建基于冷启动+强化学习的两阶段训练范式，层层递进优化模型性能：

1、冷启动阶段：夯实工具使用基础：

– 监督微调（SFT）：利用覆盖感知型、推理型、长思维链等多类型的工具使用样本，对模型进行针对性微调，帮助模型建立工具调用的基本逻辑与策略认知。

– 多样化数据设计：训练数据涵盖多场景任务类型，确保模型在不同需求下都能学习到适配的工具使用方法，避免单一场景过拟合。

2、强化学习阶段：提升工具调用效率与泛化能力：

– 策略迭代优化：在冷启动阶段的基础上，通过强化学习持续迭代模型的工具调用策略，减少冗余调用步骤，提升任务处理效率。

– 核心目标：让模型在未见过的复杂场景中，能够创造性地组合多种工具完成任务，强化灵活性与跨场景适应能力。

DeepEyesV2典型应用场景：

1、智能问答与信息检索：

用户上传图片并提出问题，模型结合图像识别技术提取视觉信息，再通过网络搜索补充权威数据，输出精准且全面的回答。

2、教育与学习辅助：

识别题目图片中的文字与图形信息，通过逻辑推理拆解解题步骤，为学生提供作业辅导与知识拓展支持。

3、内容创作与编辑：

分析图片的构图、色彩、主题等要素，生成匹配的文案内容，同时提供图像优化与编辑方向建议。

4、智能客服与技术支持：

接收用户上传的故障设备图片，结合图像识别定位问题，再通过网络检索调取解决方案，高效完成客户咨询解答。

5、医疗健康辅助：

辅助医护人员初步分析医学影像特征，结合专业医疗知识库检索，提供健康咨询与初步诊断参考（注：不替代专业医师诊断）。

进入DeepEyesV2官网入口