Mini-o3：字节跳动 × 香港大学联合开源，攻克复杂视觉搜索难题

Mini-o3是字节跳动与香港大学联合研发的开源视觉语言模型，专为破解复杂视觉搜索场景下的深度推理难题而生。依托强化学习技术与图像工具链，该模型可实现数十轮级的多轮交互推理，通过构建挑战性数据集、迭代式数据收集流程与创新过轮遮蔽策略，大幅突破视觉搜索模型的推理深度与交互上限。/p>

Mini-o3核心功能：

1、深度多轮交互推理：

支持数十轮级的超长推理链路，通过逐步探索、试错验证的方式拆解复杂视觉搜索任务，精准解决传统模型难以应对的多步骤目标定位问题。

2、多样化推理模式：

内置深度优先搜索、动态试错、目标维持等多种推理策略，可根据不同场景灵活切换，适配多样化的视觉搜索需求。

3、复杂场景精准识别：

针对高分辨率图像中小目标、强干扰的痛点，可高效穿透背景干扰，实现对微小目标的精准定位与识别。

4、权威基准 SOTA 表现：

在 VisualProbe、V* Bench、HR-Bench、MME-Realworld 等国际主流视觉搜索基准测试中均取得领先成绩，充分验证了模型的硬核推理能力。

5、全链路开源开放：

代码、模型权重、数据集100%开源，降低研究门槛，助力全球开发者复现实验成果、推进视觉推理技术迭代。

Mini-o3技术原理：

1、冷启动监督微调（Cold-start SFT）：

基于少量人工标注示例，借助视觉语言模型（VLM）的上下文学习能力，生成高质量、多样化的多轮交互轨迹，解决小样本场景下的模型训练难题。

2、强化学习+过轮遮蔽策略：

创新性提出过轮遮蔽（over-turn masking）策略，在强化学习训练过程中避免模型因交互轮次超限而受惩罚，实现推理轮次从基础量级到数十轮的自然扩展。

3、像素预算优化：

通过降低单张图像的最大像素数，提升单次交互中允许的推理轮次，增强模型对长周期、多步骤视觉搜索任务的处理能力。

4、Visual Probe挑战性数据集：

构建包含数千个复杂视觉搜索问题的专属数据集，通过设计鼓励探索性推理的任务范式，引导模型在训练中习得复杂推理逻辑。

Mini-o3应用场景：

1、电商精准检索：

支持以图搜同款，用户上传一张服装、配饰图片，模型可在海量商品图库中快速定位相似款式，助力电商平台提升用户搜索转化率。

2、智能家居物品查找：

联动智能家居摄像头，可帮助用户快速定位丢失物品（如钥匙、遥控器），通过多轮视觉推理穿透家居环境中的遮挡与干扰。

3、监控视频智能分析：

在人群密集场所的监控视频中，精准定位特定人员或物品；同时可通过多轮推理识别入侵检测、异常活动等行为，提升安防效率。

4、自动驾驶复杂导航：

针对有遮挡物、交通标志密集的复杂路况，通过多轮视觉推理帮助自动驾驶系统理解场景、规划最优路径，提升行驶安全性。

进入Mini-o3官网入口