使用 ACE-Step 模型来创造灵动音乐

用到模型：ace_step_v1_3.5b.safetensors

跑了下 Comfyui 的工作流，效果和示例相差甚远，但是有意思的是，我能分辨 ai 创作歌曲和人创作的区别了，当听到一些奇怪的发音和意想不到的短句时，那很有可能就是 ai 生成的，但不二改二创也很难出好作品了，音乐人也在自我变革，先用上的人已经吃上了红利。

利用这个机会再推荐一下目前音乐最强的 Ai：Suno

顺便再学习下英文：

ags标签(prompt) 主流音乐风格

使用简短标签组合，来生成特定风格的音乐

• electronic（电子音乐）
• rock（摇滚）
• pop（流行）
• funk（放克）
• soul（灵魂乐）
• cyberpunk（赛博朋克）
• Acid jazz（酸爵士）
• electro（电子，可能是更复古、有机械节奏感的电子音乐）
• em（电子音乐，可能是“Electronic Music”的简写）
• soft electric drums（软电鼓，强调打击乐柔和感）
• melodic（旋律，注重旋律流畅性）

场景类型

结合具体使用场景和氛围，生成符合对应氛围的音乐

• background music for parties（派对背景音乐）
• radio broadcasts（电台广播音乐）
• workout playlists（健身播放列表音乐）

乐器元素

• saxophone,萨克斯管
• jazz（萨克斯风、爵士）
• piano, violin（钢琴、小提琴）

人声类型

• female voice（女声）
• male voice（男声）
• clean vocals（纯净人声）

专业用语

使用音乐中常用的一些专业的用词，来精准控制音乐效果

• 110 bpm（每分钟节拍数为110）
• fast tempo（快节奏）
• slow tempo（慢节奏）
• loops（循环片段）
• fills（填充音）
• acoustic guitar（原声木吉他）
• electric bass（电贝斯）

歌词（lyrics）

歌词结构标签

• [intro] (前奏)
• [verse] (主歌)
• [pre-chorus] (导歌：副歌前)
• [chorus] (副歌/合唱)
• [bridge] (过渡段/桥段)
• [outro] (尾声)
• [hook] (钩子/主题旋律)
• [refrain] (重复段落)
• [interlude] (间奏)
• [breakdown] (分解段)
• [ad-lib] (即兴段落)

多语言支持

• ACE-Step V1 是支持多语言的，实际使用的时候 ACE-Step 会获取到对应的不同语言转换后的英文字母，然后进行音乐生成。
• 在 ComfyUI 中我们并没有完全实现全部多语言到英文字母的转换，目前仅实现了日语平假名和片假名字符 所以如果需要使用多语言来进行相关的音乐生成，需要首先将对应的语言转换成英文字母，然后在对应 lyrics 开头输入对应语言代码的缩写，比如中文[zh] 韩语 [ko] 等

举个例子：

[verse]

[zh]wo3zou3guo4shen1ye4de5jie1dao4
[zh]leng3feng1chui1luan4si1nian4de5piao4liang4wai4tao4
[zh]ni3de5wei1xiao4xiang4xing1guang1hen3xuan4yao4
[zh]zhao4liang4le5wo3gu1du2de5mei3fen1mei3miao3

[chorus]

[verse]
[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae
[ko]honja ogsang-eseo dalbich-ui eolyeompus-ileul balaboda
[ko]niga salang-eun lideum-i ganghan eum-ag gatdago malhaess-eo
[ko]han ta han tamada ma-eum-ui ondoga eolmana heojeonhanji ijge hae

[bridge]
[es]cantar mi anhelo por ti sin ocultar
[es]como poesía y pintura, lleno de anhelo indescifrable
[es]tu sombra es tan terca como el viento, inborrable
[es]persiguiéndote en vuelo, brilla como cruzar una mar de nubes

[chorus]
[fr]que tu sois le vent qui souffle sur ma main
[fr]un contact chaud comme la douce pluie printanière
[fr]que tu sois le vent qui s'entoure de mon corps
[fr]un amour profond qui ne s'éloignera jamais

目前 ACE-Step 支持了 19 种语言，但下面十种语言的支持会更好一些：

• English

  英语

• Chinese: [zh]

  中文：[zh]

• Russian: [ru]

  俄语：[ru]

• Spanish: [es]

  西班牙语：[es]

• Japanese: [ja]

  日语：[ja]

• German: [de]

  德语：[de]

• French: [fr]

  法语：[fr]

• Portuguese: [pt]

  葡萄牙语：[pt]

• Italian: [it]

  意大利语：[it]

• Korean: [ko]

  韩语：[ko]

训练脚本

GitHub - ace-step/ACE-Step: ACE-Step: A Step Towards Music Generation Foundation Model

ACE-Step: A Step Towards Music Generation Foundation Model - ace-step/ACE-Step

https://github.com