关于FastSpeech2语音合成

[syy-love]

用FastSpeech2合成音频时能顺便返回字级别音素边界有大佬帮忙帮忙提供一下思路吗

[yt605155624]

参考 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/demos/style_fs2
里面调整速度就是获取了 phone 级别的 duration 再用 scale 调节 duration 实现的，那么你获取 phone 级别的 duration 后，稍微加点规则就能获得字级别的边界了（一般一个字是由一个声母+一个韵母，或者一个单韵母组成）

[yt605155624]

duration 是一个 list，长度和音素序列一致，list 里面每个 int 值表示对应 index 的音素的帧序列，按照帧数和 采样率 fs 的对应关系就可以得到时间维度上的持续时间，和 phone_id 没关系，如果你想要更了解底层原理，建议你看下 fastspeech2 的论文，和数据预处理部分

[yt605155624]

从 duration 计算时间可以参考这个函数

PaddleSpeech/paddlespeech/t2s/exps/fastspeech2/preprocess.py

Line 71 in ee99bf5

times = librosa.frames_to_time(

[yt605155624]

跟 asr 不一样正常啊
具体怎么算就是上面那行代码，先根据 durations 计算 d_cumsum 再调用上面那句函数就行了，不过计算得到的音素级别的时间，不是字级别的时间，你再合并一下就是了，一般一个字的最后一个音素是韵母，根据这个就能得到字级别的时间了

>>> import numpy as np
>>> durations = [6 , 7 , 8 , 11, 14, 7 , 6 , 9 , 8 , 6 , 18, 8 , 14, 8 , 6 , 5 , 8 , 15, 8 , 5 , 17, 8 , 18, 3 , 6 , 8 , 10, 5 , 8 , 8 , 10, 7 , 13, 7 , 6 , 12, 5 , 3 , 5 , 5 , 6 , 11, 13, 5 , 10, 9 , 13, 6 , 5 , 8 , 8 , 4 , 7 , 8 ,5 , 7 , 10, 6 , 6 , 7 , 6 , 8 , 11, 15]
>>> d_cumsum = np.pad(np.array(durations).cumsum(0), (1, 0), 'constant')
>>> d_cumsum
array([  0,   6,  13,  21,  32,  46,  53,  59,  68,  76,  82, 100, 108,
       122, 130, 136, 141, 149, 164, 172, 177, 194, 202, 220, 223, 229,
       237, 247, 252, 260, 268, 278, 285, 298, 305, 311, 323, 328, 331,
       336, 341, 347, 358, 371, 376, 386, 395, 408, 414, 419, 427, 435,
       439, 446, 454, 459, 466, 476, 482, 488, 495, 501, 509, 520, 535])
>>> import librosa
>>> times = librosa.frames_to_time(d_cumsum, sr=24000, hop_length=300)
>>> times
array([0.    , 0.075 , 0.1625, 0.2625, 0.4   , 0.575 , 0.6625, 0.7375,
       0.85  , 0.95  , 1.025 , 1.25  , 1.35  , 1.525 , 1.625 , 1.7   ,
       1.7625, 1.8625, 2.05  , 2.15  , 2.2125, 2.425 , 2.525 , 2.75  ,
       2.7875, 2.8625, 2.9625, 3.0875, 3.15  , 3.25  , 3.35  , 3.475 ,
       3.5625, 3.725 , 3.8125, 3.8875, 4.0375, 4.1   , 4.1375, 4.2   ,
       4.2625, 4.3375, 4.475 , 4.6375, 4.7   , 4.825 , 4.9375, 5.1   ,
       5.175 , 5.2375, 5.3375, 5.4375, 5.4875, 5.575 , 5.675 , 5.7375,
       5.825 , 5.95  , 6.025 , 6.1   , 6.1875, 6.2625, 6.3625, 6.5   ,
       6.6875])

综上，第一个字 帝 的边界是 0.1625s

[syy-love]

跟 asr 不一样正常啊 具体怎么算就是上面那行代码，先根据 durations 计算 d_cumsum 再调用上面那句函数就行了，不过计算得到的音素级别的时间，不是字级别的时间，你再合并一下就是了，一般一个字的最后一个音素是韵母，根据这个就能得到字级别的时间了

>>> import numpy as np
>>> durations = [6 , 7 , 8 , 11, 14, 7 , 6 , 9 , 8 , 6 , 18, 8 , 14, 8 , 6 , 5 , 8 , 15, 8 , 5 , 17, 8 , 18, 3 , 6 , 8 , 10, 5 , 8 , 8 , 10, 7 , 13, 7 , 6 , 12, 5 , 3 , 5 , 5 , 6 , 11, 13, 5 , 10, 9 , 13, 6 , 5 , 8 , 8 , 4 , 7 , 8 ,5 , 7 , 10, 6 , 6 , 7 , 6 , 8 , 11, 15]
>>> d_cumsum = np.pad(np.array(durations).cumsum(0), (1, 0), 'constant')
>>> d_cumsum
array([  0,   6,  13,  21,  32,  46,  53,  59,  68,  76,  82, 100, 108,
       122, 130, 136, 141, 149, 164, 172, 177, 194, 202, 220, 223, 229,
       237, 247, 252, 260, 268, 278, 285, 298, 305, 311, 323, 328, 331,
       336, 341, 347, 358, 371, 376, 386, 395, 408, 414, 419, 427, 435,
       439, 446, 454, 459, 466, 476, 482, 488, 495, 501, 509, 520, 535])
>>> import librosa
>>> times = librosa.frames_to_time(d_cumsum, sr=24000, hop_length=300)
>>> times
array([0.    , 0.075 , 0.1625, 0.2625, 0.4   , 0.575 , 0.6625, 0.7375,
       0.85  , 0.95  , 1.025 , 1.25  , 1.35  , 1.525 , 1.625 , 1.7   ,
       1.7625, 1.8625, 2.05  , 2.15  , 2.2125, 2.425 , 2.525 , 2.75  ,
       2.7875, 2.8625, 2.9625, 3.0875, 3.15  , 3.25  , 3.35  , 3.475 ,
       3.5625, 3.725 , 3.8125, 3.8875, 4.0375, 4.1   , 4.1375, 4.2   ,
       4.2625, 4.3375, 4.475 , 4.6375, 4.7   , 4.825 , 4.9375, 5.1   ,
       5.175 , 5.2375, 5.3375, 5.4375, 5.4875, 5.575 , 5.675 , 5.7375,
       5.825 , 5.95  , 6.025 , 6.1   , 6.1875, 6.2625, 6.3625, 6.5   ,
       6.6875])

综上，第一个字 帝 的边界是 0.1625s

非常感谢~还想问一下 就是想从流式语音合成中获取这个字级别音素边界也是可以的吗

[yt605155624]

目前流式语音合成是用 onnxruntime 作为推理引擎的，目前的导出的模型结构不能获取，encoder_infer 没有输出 d_outs, 但是你可以自己改一下源码重新导出模型尝试获取 ：），反正你要先熟悉 fastspeech2 这个模型结构，想怎么获取都行