CLaMP 3是由清华大学人工智能学院朱文武教授团队推出的一个多模态、多语言的音乐信息检索框架。它基于对比学习技术，将乐谱（如ABC符号）、音频（如MERT特征）和表演信号（如MIDI文本格式）与多种语言的文本描述对齐到一个共享的表示空间中。CLaMP 3 支持27种语言，并能泛化到100种语言，适用于跨模态检索任务，如文本到音乐、图像到音乐检索，零样本音乐分类和音乐语义相似性评估。

CLaMP 3功能特点：

1、跨模态音乐检索：

– 文本到音乐检索：根据文本描述（支持100种语言）检索与之语义匹配的音乐。

– 图像到音乐检索：通过图像生成的描述（如BLIP模型生成的caption）检索与之匹配的音乐。

– 跨模态音乐检索：在不同音乐表示形式（如乐谱、MIDI、音频）之间进行检索。

2、零样本音乐分类：

– 基于语义相似性将音乐分类到特定类别（如风格、情绪等），无需标注数据。

3、音乐推荐：

– 基于语义相似性进行音乐推荐，支持同一模态内的推荐（如音频到音频）。

4、多模态数据对齐：

– 将不同模态的音乐数据（如乐谱、MIDI、音频）和多语言文本统一到一个共享的语义空间。

5、多语言支持：

– 基于XLM-R实现多语言文本嵌入，支持27种语言的训练，并泛化到100种语言。

6、大规模数据集训练：

– 在大规模数据集（如M4-RAG）上进行训练，包含231万对高质量的音乐-文本对，覆盖27种语言和194个国家。

CLaMP 3相关网址：

1、CLaMP3项目官网：https://sanderwood.github.io/clamp3/

2、GitHub仓库：https://github.com/sanderwood/clamp3

3、HuggingFace模型库：https://huggingface.co/sander-wood/clamp3

4、arXiv技术论文：https://arxiv.org/pdf/2502.10362

5、在线体验Demo：https://huggingface.co/spaces/sander-wood/clamp3