• 用AI打造一个属于自己的歌手,让她C位霸气出道


    一、前言

    今天玩儿点儿特别的,AI大行其道的今天,还没玩过AI模型的程序员绝对不是个好厨子。我本人比较喜欢音乐,但是一直没有出道,很是遗憾。那么今天,我就使用AI模型亲手打造一个堪比真人的歌手,让她C位霸气出道。

    首先,让这位女歌手露一嗓子:点我试听

    唱的还不错吧,接下来咱们来分析这位歌手是如何打造出来的。

    二、技术

    飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体,2016 年正式开源,是全面开源开放、技术领先、功能完备的产业级深度学习平台。

    上面的介绍是不是很唬人?从百度飞桨官网贴过来的。显然,本文使用的技术是基于百度飞桨框架打造,当然了,你要让我从零开始搞AI......那我还是选择当厨子。

    飞桨Hub(PaddleHub)是基于PaddlePaddle生态下的预训练模型,旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。

    说白了,这个飞桨Hub是模型集中营,提供了很多已经训练好的模型,用户可以拿来直接使用,而不需要再耗费过多的精力、资源去自己训练模型。

    Python,飞桨平台基于Python语言实现,不必多说了,毕竟,Python是世界上最好的语言.java。

    Anaconda,是一个常用的python包管理程序,可以方便的管理我们的多个Python环境。比如你的A软件需要基于Python3.7,B软件需要基于Python3.8,用Anaconda可以方便的对不同的环境进行管理和切换。

    三、环境搭建

    1、安装Anaconda

    到官网https://www.anaconda.com/或者https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载一个较新的版本即可。

    安装过程很简单,猛点下一步即可,建议你安装到C盘之外的盘。

    即便你装在了D盘,但是创建环境的时候,环境信息默认还是会被创建到C盘,所以还应该做如下操作:

    编辑C:\Users\你的用户名\.condarc文件(如果没有此文件请手动创建),文件内容如下:

    channels:
      - defaults
    envs_dirs: [D:\anaconda3\envs]
    pkgs_dirs: [D:\anaconda3\pkgs]

    这样环境信息就会被保存在D盘了。

    2、创建Python环境

    找到刚刚安装的anaconda,打开Anaconda Prompt命令行工具,执行如下语句:

    conda create --name paddle_env python=3.8 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

    以上代码表示,创建一个Python3.8的环境,环境名称为paddle_env,软件源从https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 地址下载。

    3、安装百度飞桨环境

    输入如下命令,表示接下来的所有操作,我要在刚才创建的那个名为paddle_env的环境中进行:

    conda activate paddle_env

    输入如下命令,表示安装百度飞桨基础环境:

    pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

    输入如下命令,表示安装百度飞桨Hub:

    pip install paddlehub -i https://mirror.baidu.com/pypi/simple

    最后,我们再新建一个环境变量HUB_HOME。因为paddlehub的模型下载安装时,会默认装在c盘。我们将HUB_HOME指到其他的磁盘即可。

    四、安装模型

    上面将基础环境搭建好了,接下来我们安装语音合成模型Diffsinger。

    DiffSinger,一个基于扩散概率模型的 SVS 声学模型。DiffSinger 是一个参数化的马尔科夫链,它可以根据乐谱的条件,迭代地将噪声转换为旋律谱。通过隐式优化变异约束,DiffSinger 可以被稳定地训练并产生真实的输出。

    上面在说什么,我也看不太懂。但通俗的说,这个模型可以将乐谱转换为旋律谱。

    首先,这个模型依赖如onnxruntime包,我们通过如下命令进行安装:

    pip install onnxruntime -i https://mirror.baidu.com/pypi/simple

    然后,我们安装Diffsinger模型:

    hub install diffsinger==1.0.0

    五、创造歌手

    目前万事俱备,我们开始创造歌手。

    首先我们看这个模型的调用参数是怎样的:

    inputs (Dict[str, str]): 输入数据格式如下;
    {
      'text': '小酒窝长睫毛AP是你最美的记号',
      'notes': 'C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 F#4/Gb4 | F#4/Gb4 C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F4 | C#4/Db4',
      'notes_duration': '0.407140 | 0.376190 | 0.242180 | 0.509550 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340',
      'input_type': 'word'
    }
    sample_num (int): 生成音频的数量;
    save_audio (bool): 是否保存音频文件;
    save_dir (str): 保存处理结果的文件目录。

    其中需要以下说明:

    text:就是指要唱的歌曲歌词;

    notes:表示歌词对应的曲谱;

    notes_duration:表示歌词中每个字要唱的时长;

    接下来,我们准备以下Python代码:

    import paddlehub as hub
    
    module = hub.Module(name="diffsinger")
    results = module.singing_voice_synthesis(
      inputs={
        'text': '小酒窝长睫毛AP是你最美的记号',
        'notes': 'C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 F#4/Gb4 | F#4/Gb4 C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F4 | C#4/Db4',
        'notes_duration': '0.407140 | 0.376190 | 0.242180 | 0.509550 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340',
        'input_type': 'word'
      },
      sample_num=1,
      save_audio=True,
      save_dir='./outputs'
    )

    我们执行以上脚本:

    python test.py

    最终生成了开头贴出的唱段。

    上面生成的是翻唱歌曲。接下来,我们再为歌手写一首原创主打歌曲,鄙人不才作词如下哈哈:

    双手敲下黑白键盘,这首音乐你是否会喜欢

    作曲可难倒我了,我打算找AI来帮忙,找百度文心一言生成以下曲谱:

    C#4/Db4 | F#4/Gb4 | G#4/Ab4 | A#4/Bb4 | F#4/Gb4 | F4/G4 | C#4/Db4 | C#4/Db4 | rest | C#4/Db4 | A#4/Bb4 | G#4/Ab4 | F#4/Gb4 | C#4/Db4 | G#4/Ab4 | A#4/Bb4 | G#4/Ab4 | F#4 | C#4/Db4

    每个字的持续时间瞎编一下:

    0.407140 | 0.376190 | 0.242180 | 0.509550 | 0.183420 | 0.315400 0.235020 | 0.361660 | 0.223070 | 0.377270 | 0.340550 | 0.299620 | 0.344510 | 0.283770 | 0.323390 | 0.360340 | 0.509550 | 0.183420 | 0.315400 0.235020 | 0.661660

     重新执行Python脚本,主打歌生成了:点我试听

    六、结语

    AI大时代,AI技术每个人都可以触手可及,程序员群体更是近水楼台,最起码可以起到自我娱乐的效果。

    我们可以将以上技术部署到服务器,做成网站、小程序、APP等,借助AI平台的能力,实现自动生成歌词,自动生成曲谱,自动生成唱段等,实现全民娱乐。

    作为一个程序员,云服务器现在应该是标配了,学生可以用来学习,菜鸟可以用来练手,老鸟玩点有趣的东西偶尔赚点小钱。你如果想买一台云服务器来玩儿,下面是直达腾讯云优惠专区的链接:

    https://cloud.tencent.com/act/cps/redirect?redirect=5186&cps_key=814b8b5d55ef58acc94a1b6bf43d5a2b&from=console

  • 相关阅读:
    golang defer,func()闭包,panic ,recover,contex
    引用类型详解
    Eigen计算均值和标准差
    护航数据安全|安全狗入选厦门市工业领域数据安全管理支撑单位
    16 - 多线程调优(下):如何优化多线程上下文切换?
    杀戮空间2开服架设需要的文件工具以及教程
    【室内设计作品】关于崂山酒店,我有一个新设计
    数据增强
    新手零基础自学Python,安装并配置环境+教程
    Spring Boot(Vue3+ElementPlus+Axios+MyBatisPlus+Spring Boot 前后端分离)【七】
  • 原文地址:https://www.cnblogs.com/blogtimes/p/17791037.html