DeepGEMM：一个高性能矩阵乘法库，助力深度学习高效计算

DeepGEMM是OpenSeek团队开源的一个高性能矩阵乘法库，旨在通过优化FP8（8位浮点数）数据类型来提高计算效率和能效。该库支持普通和混合专家（MoE）分组GEMM运算，并且采用CUDA编写，无需安装过程中的编译，通过轻量级的即时编译（JIT）模块在运行时编译所有内核。

DeepGEMM功能特点：

1、高效性：

DeepGEMM在Hopper GPU上性能高达1350+ FP8 TFLOPS，相比普通GEMM中矩阵运算速度可提升2倍以上。

在分组GEMM中，连续布局和掩码布局下的速度可提升1.2倍。

2、细粒度缩放：

支持细粒度缩放功能，适用于不同规模的模型训练和推理。

3、兼容性：

专为FP8数据类型设计，支持低精度计算，同时保持与高精度计算相当的精度。

4、易用性：

代码简洁，核心函数只有一个kernel函数，大约300行代码，便于理解和使用。

5、硬件加速：

通过CUDA编写，利用GPU的并行计算能力，显著提高矩阵乘法的计算效率。

6、应用场景：

适用于深度学习模型的训练和推理，特别是在需要高效计算和低延迟的应用场景中。

DeepGEMM技术细节：

1、FP8数据类型：DeepGEMM利用FP8数据类型进行计算，减少了内存占用和计算资源消耗，同时保持较高的计算精度。

2、即时编译（JIT）** ：通过JIT模块在运行时编译内核，避免了安装过程中的编译步骤，提高了开发效率。

3、混合专家（MoE）支持：支持MoE分组GEMM运算，适用于大规模模型的训练和推理。

Normal GEMMs for dense models

进入DeepGEMM项目github官网入口