Moonlight-16B-A3B：一款由MoonshotAI（月之暗面）开发的一种混合专家（MoE）模型

Moonlight-16B-A3B是由 MoonshotAI（月之暗面）开发的一种混合专家（MoE）模型，具有160亿总参数和30亿激活参数。该模型使用了改进版的 Muon 优化器进行训练，显著提升了计算效率和性能。

Moonlight-16B-A3B功能特点：

1、高效优化器：

Moonlight 使用了改进的 Muon 优化器，通过添加权重衰减和调整参数更新比例，使其在大规模训练中表现出色。与 AdamW 相比，Muon 的计算效率提升了约2倍。

2、强大的性能表现：

在多项任务中，Moonlight-16B-A3B 展现了卓越的性能。它在英语理解（MMLU、TriviaQA）、代码生成（HumanEval、MBPP）、数学推理（GSM8K、MATH）以及中文理解（C-Eval、CMMLU）等任务上均优于其他同规模模型。

3、优化的训练效率：

Moonlight 在训练过程中仅需约52%的计算量即可达到与 AdamW 相当的性能，显著降低了训练成本。

4、开源与易用性：

Moonlight-16B-A3B 的预训练模型和指令微调版本（Moonlight-Instruct）已在 Hugging Face 平台上发布，支持通过 Hugging Face Transformers 库进行推理。

5、广泛的适用性：

该模型支持多种流行的推理引擎（如 VLLM 和 SGLang），便于在不同场景中部署。

Moonlight-16B-A3B使用方式：

– 模型下载：Moonlight-16B-A3B 和 Moonlight-Instruct 的模型可在 Hugging Face 平台上下载。

HuggingFace模型库：https://huggingface.co/moonshotai/Moonlight-16B-A3B

– 推理示例：使用 Hugging Face Transformers 进行推理时，推荐使用 Python 3.10、PyTorch 2.1.0 及以上版本。

进入Moonlight-16B-A3B项目官网入口