【新智元导读】国内首个音乐ChatGPT来了！提前试用「天工SkyMusic」后，整个编辑部暴风式哭泣：它改编的周杰伦和凤凰传奇简直封神。团队选择了一条少有人走的路，他们赌赢了：比OpenAI提前押中了Sora架构，并且首次在业内公开技术图。

　　这首《爱是幸福》，更是好听到让小编惊掉下巴。旋律朗朗上口，歌词隽永又令人无限回味，细听有一股蔡健雅的味道。

　　除了歌曲整体的音乐品质非常高，极具欣赏价值之外，「天工SkyMusic」的最大亮点之一，就是它清晰逼真的人声。

　　而「天工SkyMusic」的AI人声合成，能够产生中文水平极高、发音清晰的歌声，展现出卓越的音频质量和逼真的演唱效果，已经达到业内SOTA水平！

　　在这方面，「天工SkyMusic」可是爆杀了几个外来大模型。他们在中文发音上，简直是惨不忍睹没眼看。

　　比如这首《龙行龘龘》，开头悠扬的女声民歌和激昂扬的男女声对唱部分形成鲜明对比，一首大气磅礴的国风歌曲浑然天成。

　　音乐制作人时常面临的一个问题是，已经有了合适的歌曲，但缺少前奏和尾奏，绞尽脑汁也找不到合适的。

　　这时候，就可以找「天工SkyMusic」帮忙了。它补充完整的这首《Guitar》，慵懒随意的唱腔搭配恰到好处，听起来非常治愈。

　　几个男声的和声和主唱的音色十分契合，再结合节奏鲜明的鼓点，一首旋律激昂大气的国风《水调歌头》就这样诞生了。

　　时下的流行icon，怎么和流行音乐融合？如果找对了叩击大众心弦的那个点，抖音神曲并不是一件难事。

　　输入带有结构的歌词+参考音频，就能把自己玩王者荣耀的体验写出一首歌了：「我真的气死了，skr skr~」

　　比如输入《彩虹》的歌词，再录一段《最长的电影》主歌和副歌30s的音频做参考，两首歌「生出」的一首新歌就诞生了：

　　再用蕾哈娜的《Diamonds》的词，配上霉霉维密秀震撼神曲《See You Again》试试？

　　唱腔控音极好，高低音转换流畅，其中几句的多处转音颇为神奇，值得细品。在人类作曲家中似乎很少听到这么「鬼才」的旋律组合，这就是来自AI的巧思吧。

　　接下来，让我们来爆改一下凤凰传奇的《最炫民族风》，不过跟刚才不同的是，这次输入的都是原歌词和原曲，让它自我「整改」一下。

　　好的AI音乐难做，一个原因是此前主流的符号派（MIDI）技术效果太差；还有一个原因，就是过往的音乐AI基本都在无人声的BGM领域，有人声的Song要么做不出来，要么效果也是很差。

　　符号派以MIDI为主流。MIDI全称Musical Instrument Digital Interface，本身不包含音频文件，而是记录音乐演奏的指令，比如哪个音符被播放、音量是多少、音符持续的时间等。

　　第二条大模型音乐音频生成路线，能够直接学习并生成音频波形，乐器、人声、旋律、音量、音符都是一体化端到端生成。

　　立项之初，公司内部就面临着这一艰难的选择。前者效果不好，后者则极有可能会做不出来，整个项目鸡飞蛋打。

　　最后，「天工SkyMusic」研发团队经过投票，一致决定选择音频方案。大家公认：宁愿冒着巨大风险，也要做出真正好的AI音乐。

　　但音频路线+人声Song路线，没有任何公开资料可参考，天工砸进去数不清的研发资源和算力算法投入，才摸索出了上面这张极其宝贵的路径图。

　　而Diffusion Transformer则负责演唱，也即声音的生成和渲染，通过LDM技术，将Music Patches转换为高质量音频输出，因此音乐具有清晰的风格特征和音质表现。

　　而如果我们仔细听上面的作品，就会感觉到：「天工SkyMusic」对于音乐情感的捕捉极为细腻。

　　跟市面上那些侧重旋律创作、学习大量乐段的旋律，或是深入、节奏、编曲层次的AI相比，「天工SkyMusic」的情感维度，也成为它在行业中的差异化亮点。

　　与市面上Suno等AI音乐工具相比，AI音乐生成大模型「天工SkyMusic」有着独特的优势。

　　在业界领先的逻辑推理、语义理解和泛化能力的加持下，「天工SkyMusic」的响应速度和训练推理效率，也得到了极大地提升。

　　它能够通过歌词控制情绪变化，并实现如颤音、歌剧、吟唱等多种歌唱技巧，使生成的音乐作品，情感更加丰富且贴合情境。

　　此外，「天工SkyMusic」还支持创作说唱、民谣、放克、古风、电子等多种音乐风格，用户可以根据个人喜好定制音乐风格。

　　不过，不仅仅是「天工SkyMusic」，包括Suno等AI工具，都距以假乱真的专家音乐水平相对较远。

　　「天工SkyMusic」、Suno之外，近几天另一个堪称「Sora版」的神秘音乐模型Udio，也引发了全网关注。

　　它们可以通用简化旋律原型生成、提供创意灵感、协助制作高质量伴奏等创作环节，帮助音乐人提高创作效率。

　　在内容生产行业，有这么一条规律：如果内容制作门槛降低1倍，那么内容创作者的创作数量将会增加10倍。

　　但动态地来看，技术的进步能够让音乐市场越来越大，行业蓬勃发展，孕育出全新的内容生态、音乐业态。

　　比如，按需定制音乐服务、在线音乐创作工具订阅等新的商业模式，可以为音乐产业带来新的消费增长。

　　而面向教育，AI音乐创作可以帮助我们快速感知音乐创作原理，尝试多种音乐风格创作，为音乐产业培养孵化新一代人才。

　　在研发「天工SkyMusic」过程中，研究团队积极探索音频内容，尤其是音乐对于情感理解与表达的独特优势。

　　他们不仅关注音乐作品的谱曲、编排和演唱等技术层面，更强调模型对音乐情感色彩的感知和再现能力。

　　「天工SkyMusic」在情感表达的准确性、多样性，以及歌词段落情绪变化的敏感捕捉，印证了昆仑万维在情感AGI上取得实质性进展。

　　在情感AGI这条主线上，他们希望通过自研技术，帮助创作者更好地通过AI技术表达和传递情感内涵。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。