蚂蚁宣布开源代码大模型CodeFuse项目

CodeFuse是蚂蚁集团自研的代码生成专属大模型，能够根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。

CodeFuse基于蚂蚁基础大模型研发，在近期的代码补全评测中，CodeFuse的得分达到了74.4%，超过了GPT-4（67%）的成绩，也超过了WizardCoder-34B的得分。本次开源内容包括代码框架、模型等，现已上架相关平台。

CodeFuse开源网址：https://huggingface.co/codefuse-ai。

CodeFuse的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案，让软件开发者们在研发的过程中如丝般顺滑。

在本次发布中，我们开源了以下内容：

1、MFT（多任务微调）框架，也称为MFTCoder；
2、两个用于增强LLMs编码能力的数据集，包括Code Exercise和Evol-Instruction；
3、基于FasterTransformer的更快速、更可靠的部署框架;。

由此产生的模型集合包括CodeFuse-13B和CodeFuse-CodeLlama-34B，支持多种与代码相关的任务，如代码补全、文本转代码、单元测试生成等。值得一提的是，CodeFuse-CodeLlama-34B基于CodeLlama作为基础模型，并利用我们提出的MFT框架进行微调，在HumanEval Python pass@1评估中取得高达的74.4%（贪婪解码）的好成绩，甚至超过了GPT-4（67%）的表现。我们计划在不久的将来将更多的基础LLMs纳入到我们的模型集合中。

我们相信我们的解决方案可以显著提升预训练LLMs在多个相关任务上的性能。我们将进一步探索这个方向，并提供更多的开源贡献。与此同时，我们诚邀志同道合的工程师和研究人员加入这个社区，共同构建CodeFuse。

CodeFuse如何搭建

CodeFuse是一个在线的代码编辑器，可以用来搭建代码编辑环境，具体步骤如下：

1、准备一台云服务器。
2、准备一个经过备案的域名。
3、在云服务器上部署Code-Server。
4、配置域名解析。
5、配置Code-Server。

完成以上步骤后，就可以成功将CodeFuse搭建在云服务器上，通过浏览器访问Code-Server，进行代码编辑。

进入CodeFuse官网