🤓 ASR 如何使用自己的语料在预训练模型上 finetune

[Jackwaterveg]

先说一下 example 中数据处理的步骤：

如果你已经可以生成自己的 manifest 文件了，但是自己构建的 manifest 文件使用的词表长度和预训练模型的词表长度不一致，而你还希望用完整的预训练模型。那么，你可以在生成 manifest 文件的时候使用预训练的词表。也就是说，处理数据的时候，使用如下脚本：

 bash local/data.sh --stage -1 --stop_stage -1    # 生成你使用数据的 manifest 文件
 bash local/data.sh --stage 0 --stop_stage 0      # 生成你使用数据的 mean_std
 bash local/data.sh --stage 2 --stop_stage 2      # 跳过构建你的 vocab.txt, 使用预训练模型的词表生成正式的 manifest 文件

[J-ZZ]

请问预训练模型是怎么加载的呢 是否可以选择性的加载其他的预训练模型

[zh794390558]

可以，模型结构一致即可。

[Jackwaterveg]

加载模型的代码位置：

PaddleSpeech/paddlespeech/s2t/utils/checkpoint.py

Line 115 in 5a58a27

model_dict = paddle.load(params_path)

如果你要加载模型继续训练，你可以先自己从头训练一段时间，产生了checkpoint 和 相应的index 文件，然后你可以修改 index文件，或者把预训练模型改名为产生的checkpoint，再继续训练。

[JoyceMind]

为什么会有一个原始的和正式的manifest？有.raw和没有的有什么区别？

[yaleimeng]

哪个是index文件？就是1、2、3.json 这种吗？这种json文件里面就几个字段，需要改什么？
预训练模型只有*.pdprams，没有*.pdopt文件，只把pdparams改名放进去，没删除*.pdopt继续微调效果不好啊
有人微调成功吗？效果比预训练模型有提升吗？能不能贴一下微调前后CER成绩对比？

[lemondy]

朋友，你微调成功了吗？知道怎么改index吗？

[Chuyaoyuan]

同问，你微调怎么样了？成功了吗，可以分享下经验吗，多谢

[makeukus]

假如我有很多数据，如何才能不使用预训练模型，而完全基于自己的数据训练新的模型。

[yaleimeng]

@makeukus 默认情况就是完全基于自己的数据训练的。按照数据集目录->模型结构去找示例就行了。
使用预训练微调要麻烦一点。

[makeukus]

你有示例代码吗朋友关于【全新模型训练】，我跑了这个项目，https://aistudio.baidu.com/aistudio/projectdetail/5003396。 但这个项目就是基于小样本预训练模型合成，

[yaleimeng]

@makeukus 你发的链接是TTS小样本微调。。跟ASR完全是两码事。
在 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples 里面，有不同类型数据集处理的案例脚本。一般入门以aishell作为参考。把坑踩完，你就成功了。

[makeukus]

好的，谢谢你，我look一下。

[prcvoldermort]

大佬，能给个详细些的完全基于自己的数据训练ASR模型的文档或教程吗？

[lemondy]

如果我用tts 文字转成语音，然后构造自己语音片段和文字对应关系数据集，不知这种tts生成的音频数据是否可以做微调？声音的音色音调这些会对模型效果有影响吗？

[yaleimeng]

公开的真人语音数据集都用不完，何必要用TTS生成的语音呢？音色音调对ASR影响比较小，但如果你连实际语音数据集都没有，最终的模型也别抱什么期望了

[khushbookk]

I want to fine tune an asr model trained on librispeech with my own dataset specific to a domain, since it's said to use the vocab of the existing model to keep it consistent, but I want to append my vocabulary to the existing one, how do I do it?