web建站教程
  1. 首页
  2. vuejs
  3. js
  4. 好玩
  5. AIGC工具
  6. 前端知识
  7. 百度echarts
  8. 更多
    php入门
    nodejs
    mockjs
    reactjs
    mysql
    wordpress
    织梦cms
    帝国cms
    git教程
    IT知识
    模板大全
    休息站
    手机应用

一款由清华大学团队开发的音乐信息检索框架——CLaMP 3

122 ℃

CLaMP 3是由清华大学人工智能学院朱文武教授团队推出的一个多模态、多语言的音乐信息检索框架。它基于对比学习技术,将乐谱(如ABC符号)、音频(如MERT特征)和表演信号(如MIDI文本格式)与多种语言的文本描述对齐到一个共享的表示空间中。CLaMP 3 支持27种语言,并能泛化到100种语言,适用于跨模态检索任务,如文本到音乐、图像到音乐检索,零样本音乐分类和音乐语义相似性评估。

一款由清华大学团队开发的音乐信息检索框架——CLaMP 3

CLaMP 3功能特点:

1、跨模态音乐检索

– 文本到音乐检索:根据文本描述(支持100种语言)检索与之语义匹配的音乐。

– 图像到音乐检索:通过图像生成的描述(如BLIP模型生成的caption)检索与之匹配的音乐。

– 跨模态音乐检索:在不同音乐表示形式(如乐谱、MIDI、音频)之间进行检索。

2、零样本音乐分类

– 基于语义相似性将音乐分类到特定类别(如风格、情绪等),无需标注数据。

3、音乐推荐

– 基于语义相似性进行音乐推荐,支持同一模态内的推荐(如音频到音频)。

4、多模态数据对齐

– 将不同模态的音乐数据(如乐谱、MIDI、音频)和多语言文本统一到一个共享的语义空间。

5、多语言支持

– 基于XLM-R实现多语言文本嵌入,支持27种语言的训练,并泛化到100种语言。

6、大规模数据集训练

– 在大规模数据集(如M4-RAG)上进行训练,包含231万对高质量的音乐-文本对,覆盖27种语言和194个国家。

CLaMP 3相关网址:

1、CLaMP3项目官网https://sanderwood.github.io/clamp3/

2、GitHub仓库https://github.com/sanderwood/clamp3

3、HuggingFace模型库https://huggingface.co/sander-wood/clamp3

4、arXiv技术论文https://arxiv.org/pdf/2502.10362

5、在线体验Demohttps://huggingface.co/spaces/sander-wood/clamp3

一款能将文本快速转化为独特的歌曲的AI音乐生成工具——MusicMint

清华&微软联合打造的一键生成专业级信息图AI工具器——BizGen

咕噜口语SpeakGuru

一款基于AI的全流程自动化软件开发平台——ChatDev

MakeBestMusic

标签: AI音乐, 信息检索框架, 清华大学

上面是“一款由清华大学团队开发的音乐信息检索框架——CLaMP 3”的全面内容,想了解更多关于 IT知识 内容,请继续关注web建站教程。

当前网址:https://ipkd.cn/webs_17389.html

声明:本站提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请发送到邮箱:admin@ipkd.cn,我们会在看到邮件的第一时间内为您处理!

当前位置: 网站首页 > IT知识
本文共计855个字,预计阅读时长6分钟

基金从业资格考试题库

一站式备考基金从业资格考试,收录2021-2025年模拟题库!呱呱工具箱

AI工作站

收录全球3800+ 款各行各业AI应用,轻轻松松做事!
生活小工具,收录了80多款小工具
上一篇: 推荐一款宝藏型工具应用类网站——一个木匣
下一篇: 推荐一款拥有江西情怀的免费可商用字体——江西拙楷体
x 打工人ai神器