GLM-OCR：智谱AI开源轻量级多模态OCR模型0.9B参数登顶OmniDocBench SOTA

GLM-OCR是智谱AI开源的轻量级多模态OCR模型，仅0.9B参数即在OmniDocBench V1.5榜单以94.6分登顶SOTA。模型基于GLM-V架构打造，集成智谱自研CogViT视觉编码器与轻量跨模态连接层，创新引入多Token预测损失和强化学习训练策略，在手写体、复杂表格、代码文档、印章、多语言混排等高难识别场景表现卓越。同时支持HTML表格、JSON结构化输出，推理速度达1.86页/秒，兼容vLLM/SGLang/Ollama主流框架部署，可高效适配文档解析、票据提取、RAG等多类商业场景，兼顾识别精度、推理效率与落地灵活性。

GLM-OCR功能亮点：

1、全场景通用文本识别：

全面支持照片、截图、扫描件、PDF等多格式文件，精准识别印刷体、手写体、印章、代码等各类特殊文字，覆盖日常与专业级识别需求。

2、复杂表格智能解析：

可精准理解合并单元格、多层表头等高复杂表格结构，直接输出可复用HTML代码，无需人工二次制表，大幅提升表格处理效率。

3、结构化信息精准提取：

从卡证、票据、表格、合同等文档中智能提取关键字段，输出标准化JSON格式，可直接对接企业业务系统，实现数据无缝流转。

4、专业内容高效识别：

针对数学公式、多编程语言代码等专业技术内容做专项优化，识别准确率高，适配科研、开发等专业场景需求。

5、复杂版式灵活处理：

完美支持竖排文字、多语言混排、多栏布局、图文混排等复杂文档版式，解决传统OCR的版式适配痛点。

6、大批量文档高效处理：

支持海量文档批量识别与规整化输出，可生成高质量结构化数据，为RAG、知识库构建等场景提供稳定数据基础。

GLM-OCR技术原理：

1、三层核心架构设计：

由400M参数的自研CogViT视觉编码器、轻量跨模态连接层、GLM-0.5B语言解码器组成，各模块分工协同，在保证轻量化的同时兼顾识别能力。

2、强化视觉编码能力：

CogViT视觉编码器基于数十亿级图文对数据，引入CLIP对比学习策略大规模预训练，具备超强的文字检测与版面语义理解能力，可高效处理旋转文字、图文混排、多栏布局等复杂场景。

3、高效跨模态融合：

定制轻量跨模态连接层，融合SwiGLU激活机制与4倍下采样策略，精准筛选关键视觉Token，实现视觉与语言信息的高效压缩与融合，保障识别精度的同时提升推理效率。

4、创新训练优化策略：

率先将多Token预测损失（MTP）引入OCR模型训练，增强损失信号密度，提升模型学习效率；结合全任务强化学习训练，进一步优化复杂场景识别精度与跨领域泛化能力。

5、两阶段高效推理流程：

采用版面分析→并行识别技术范式，基于PP-DocLayout-V3完成文本、表格、图片等区域精准定位，再并行执行OCR识别，实现复杂文档场景下稳定、高质量、高效率的解析输出。

GLM-OCR应用场景：

1、教育科研场景：

精准识别手写笔记、数学公式、学术论文、教材扫描件，高效处理多语言、复杂排版的文献资料，助力科研人员与师生实现知识快速整理、数字化归档与高效检索。

2、企业办公场景：

自动解析合同、发票、报销单、会议纪要等各类办公文档，实现纸质文件快速数字化归档，替代人工信息录入，大幅提升企业办公自动化效率。

3、金融保险场景：

智能提取银行卡、身份证、保单、各类票据中的关键字段，输出标准化JSON数据，无缝对接金融核心业务系统，降低人工审核成本，提升业务办理效率。

4、物流海关场景：

快速识别报关单、运单、装箱单等专业单据，精准提取商品信息、收发货人、金额、物流编号等核心数据，加速通关审核与物流结算流程。

5、软件开发场景：

准确识别代码截图、技术文档、API手册，支持Python、Java、C++等多类编程语言，方便开发者快速整理代码片段、构建技术知识库，提升开发效率。

6、RAG与知识库构建：

为企业级RAG系统、智能知识库、数字图书馆等场景提供高质量结构化数据，通过批量文档解析与信息提取，夯实数据基础，提升大模型应用效果。

进入GLM-OCR官网入口