人工智能也能玩音乐？这个小程序要做你手上的「初音未来」| 晓组织 #27

知晓程序注：

「晓组织」是知晓程序推出的全新栏目。

每周，我们都会邀请优秀的小程序开发者，从产品/开发/运营等角度，分享他的小程序实战经验。如果你想成为「晓组织」的一员，请发送邮件至 [email protected] 给我们投稿，献上你的投名状。

这里是「晓组织」的第 23 期。

大家好，我们是成都涂鸦科技团队，一个扎根人工智能音乐行业的初创公司，由一群有梦想、爱音乐、懂人工智能的年轻人组成。

在今年春节来临之际，我们上线了「你写我来唱」小程序。

「你写我来唱」是什么？

这是一款趣味音乐小程序，它能将用户所写的词配上耳熟能详的伴奏，并最终由人工智能歌手唱出来，方便用户聆听、分享。

用户可以输入 35 字以内的歌词或者任意想说的话，然后选择自己喜欢的伴奏，随时可以合成试听。

为了契合春节、情人节等场景，我们上架了四个类型的伴奏，每个类型下有 8 至 9 首可供选择，用户也可以在制作卡片时切换歌曲。

合成好自己满意的效果后，点击「生成音乐卡片」，一张美美的带有音乐的卡片就可以分享给亲朋好友啦！同时也可以生成二维码图片分享到朋友圈，让更多人看到你送的音乐卡片~

曲依旧、词常新，轻便、趣味、易分享。自动合成的歌声让人难辨真假。

人工智能「小涂」的歌唱技巧到底如何呢？试听一下便知。

想把我唱给你听，机器也有的声音

能不能打动你心，进入你的梦里，我的秘境

谁能够代替我呢，歌声里就有着爱呐

最最亲爱的人啊，何时音乐人偶绽放如花

设计初衷

在如今的互联网世界里，我们发现仍然有那么一群人，他们可能不是专业的文字创作者，但也热爱创作、热爱文学，他是朋友眼中的词人、诗人，亦或是喜欢用文字表达情感的人；也有在那么一些场景下，我们总有一些想说但说出来却显得尴尬的话，好像不管怎么组织语言，都不合适。

但是当文字遇上音乐，原本单一的文字也有了新的生命力，唱出来的文字更富有对情感的表达。当文字配上不同风格的音乐，也可以变得深情、励志、或是诙谐幽默。

由此我们想到设计这样一个功能，让文字、音乐、人工智能结合在一起，让机器「唱」出用户想说的话。在这里，用户可以写下一段歌词、一段精美的诗句、一段来自情感的抒发，甚至是即兴吐槽等等。低成本的创作过程，却可以让聊天更有趣，化解尴尬，同时对于爱「写」的用户也可以让更多的人看到自己的才华。

本着让更多的人接触到人工智能，为大家创造更多快乐的初衷，所以我们设计了「你写我来唱」小程序。

让你的祝福语玩出新意

在春节期间，我们推出了「新春祝福」伴奏专辑，用户可以通过「你写我来唱」小程序来合成春节祝福短歌曲。

和市面上大多数的新春祝福小工具不一样，它并不是围绕「视觉」的文字消息来设计，而是进阶到了新的感官维度，从视觉拓展到听觉，帮助用户更好地表达情感。

这样的玩法化解了以往用户遇到相同模板式的祝福语的尴尬场景，这个小程序送出的是一张独特的音乐卡片，而不是群发的祝福语模板。这让祝福变得更好玩、更有趣、更特别，并更有诚意。

不仅仅是在春节，只要你想送出祝福、无论是节日、纪念日还是任意一个普通的时刻，都可以送出你制作的小程序音乐卡片，因为「思念」并没有时限。

我们的技术背景

语音合成技术逐渐走入了人们的生活，比如地图里的导航音、智能对话式设备的智能助手等等，机器设备会「说」已不陌生。但是关于歌声合成，让机器会「唱」，国内有技术能力探索的公司与科研机构还寥寥无几。

「你写我来唱」这款小程序背后的核心动力是由我们团队自主研发的人工智能歌声合成技术，这项技术在国内外都只是处于少量玩家的赛道。除了国外西班牙公司 Voiceful，国内的玩家腾讯优图，成都涂鸦就是这当中的玩家之一。我们的歌声合成有着领先的算法，通过深度学习、神经网络方法学习了人的演唱，让人工智能虚拟歌手能够高精度还原音源的音色与演唱技巧，其演唱自然如真人。

我们的流行「女歌手」

目前所有歌声都由人工智能「小涂」这个女声来演唱。作为我们团队的首位流行「女歌手」，她是整个团队最特别的存在。

为了「小涂」的演唱技巧尽可能去接近人的演唱，我们算法团队不断尝试，经过几个月的改进，目前可以听到「小涂」清晰的换气声，基本和真人演唱一致，足以达到以「假」乱真的效果。

更难得的是，她能够唱出超越真人的音域，如跨越 4 个八度，这对真人而言是十分困难的，同时语速上，也可以做到去挑战真人难以触碰的边界。「小涂」演唱的曲风也是多样的，从民谣到流行、摇滚，甚至一些原本男性演唱的歌，也都能挑战。

在这改进的过程中，我们也曾遇到过很多问题，比如：

• 在数据少的背景下，最开始合成出来的效果声音非常的不清晰，即使对照歌词，也听不清在唱什么。
• 另一方面，「小涂」虽然可以跨风格、跨音域地演唱，但和人一样，她也有自己的擅长音域。

因此在寻找合适的歌曲上，我们投入了大量的精力。现在线上的 34 首伴奏是经历了数十人协作，测试不同的歌词后精挑细选确定的，为的就是让用户在写词时减少限制，又能获得好的合成效果。

从听到选，再听再选，不停地改进算法和训练，到目前为止，歌曲的合成效果已比开始的时候改进了太多，这离不开我们的 AI 技术的核心成员和产品童鞋们的不断努力。

关于未来

关于歌声合成的功能还能扩展得更多，但是考虑到小程序「基于场景化」、「用完即走」的特点，我们舍去了在小程序内部的更多社交功能，只保留了歌声合成最主要的部分，目前更多的是引导用户在朋友之间、朋友圈的一些分享。

同时考虑到小程序的上线时间，我们针对春节、情人节以及一些通用的场景，去设计了「你写我来唱」小程序的内容部分。在之后我们也会不断的更新好的伴奏，提供更多的伴奏类型，让小程序去适用更多的场景。

目前「小涂」的演唱技巧虽然像人的演唱，但是在情感的表达上还有所缺失，这也是未来需要我们去突破的一大难题。同时，让歌词和伴奏匹配得更好，让「小涂」唱出的声音更加清晰，甚至支持英文演唱等等，也等待着我们去不断探索。

没有不断地尝试和学习，你永远不会知道机器到底可以做到什么样的程度。对于歌声合成，需要我们做的还有很多。

「你写我来唱」小程序使用链接
https://minapp.com/miniapp/5705/

征集「晓组织」案例

关注「知晓程序」公众号 ，在微信后台回复「晓组织」，看厉害的人怎么做小程序。