- AI创新应用OpenBMB清华团队支持发起的大规模预训练语言模型库与相关工具。
OpenBMB全称为Open Lab for Big Model Base,旨在打造大规模预训练语言模型库与相关工具, 加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区, 推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。
OpenBMB开源社区由清华大学自然语言处理实验室和面壁智能共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础,近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。亮点成果如下:
1. 曾最早提出知识指导的预训练模型ERNIE并发表在自然语言处理顶级国际会议ACL 2019上,累计被引超过600次;
2. 团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2、CPM-3,参数量最高达到1980亿,在众多下游任务中取得优异性能;
3. 2022年面向生物医学的预训练模型KV-PLM发表在著名综合类期刊Nature Communications上,并入选该刊亮点推荐文章;
4. 团队还有丰富的自然语言处理技术的开源经验,发布了OpenKE、OpenNRE、OpenNE等一系列有世界影响力的工具包,在GitHub上累计获得超过5.8万星标,位列全球机构第148位。
5. 2023年1月,OpenBMB与面壁智能联合研发的CPM-Bee多语言百亿大模型登顶ZeroCLUE。