M2UGen

M2UGen

M2UGen简介

腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐,M2UGen是一款引领潮流的框架,融合了音乐理解和多模态音乐生成任务,旨在助力用户进行音乐艺术创作。通过其强大的功能,M2UGen提供了全方位的音乐生成和编辑体验。

M2UGen演示地址:https://huggingface.co/M2UGen

M2UGen项目地址:https://github.com/shansongliu/M2UGen

M2UGen论文地址:https://arxiv.org/abs/2311.11255

M型2UGen模型是一种音乐理解和生成模型,能够从文本,图像,视频和音频中进行音乐问答和音乐生成,以及音乐编辑。 该模型利用编码器,如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT,以及 MusicGen/AudioLDM2 模型作为音乐生成模型(音乐解码器),以及适配器和 LLaMA 2 模型。

M2UGen---crypto-code.github.jpg

音乐的产生和理解

我们介绍M2UGen框架,能够同时 包括音乐理解和多模态音乐生成任务, 旨在协助用户进行与音乐相关的艺术创作。

面向音乐的数据集

我们提出了一种系统化的方法,用于生成大面向多模态音乐的指令数据集,我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。

我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。

除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。

此外,M2UGen还加入了适配器和LLaMA2模型,使得该模型具备多种能力。