Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问支持少数民族方言吗(维吾尔语、藏语、蒙古语等) #77

Open
cj-wade opened this issue Nov 7, 2024 · 15 comments
Assignees

Comments

@cj-wade
Copy link

cj-wade commented Nov 7, 2024

No description provided.

@sixsixcoder
Copy link

支持,你可以设计prompt尝试

@sixsixcoder
Copy link

image

@cj-wade
Copy link
Author

cj-wade commented Nov 7, 2024

非常感谢!那这个是否也可以作为少数名族语音识别模型来用呢?因为它可能生成简单的方言语音短语效果不错,但多场景下的语音识别效果会不会大打折扣。

@sixsixcoder
Copy link

感谢您的支持,您可以尝试开发更多用法,如有使用问题请随时提出issue

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

并不行。。。效果不好,只能说说你好这种简短的维语了

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

设计了语音识别prompt:中文引导(“请帮我把下列这段维吾尔语翻译成中文”)+ 维语语音。结果模型完全不能识别。

@sixsixcoder
Copy link

方便上传几个数据集让我测试一下吗

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

当然可以,我使用的是清华和新疆大学建的THUYG-20数据集,下载链接[(https://www.openslr.org/22/)]

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

感谢支持,期待反馈结果

1 similar comment
@fandia88
Copy link

fandia88 commented Nov 8, 2024

感谢支持,期待反馈结果

@sixsixcoder
Copy link

你是如何在上传音频的同时添加文本指令prompt的

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

我的prompt是音频。通过将prompt语音(“请帮我把下列这段维吾尔语翻译成中文”)与(维语语音)拼接成一个新的语音作为输入。

@sixsixcoder
Copy link

你可以先输入“请帮我把下列这段维吾尔语翻译成中文”的语音,提交问答后,再输入你想要翻译的维吾尔语
image

@cj-wade
Copy link
Author

cj-wade commented Nov 8, 2024

尝试了您提供的方式,依然无法识别,出现大量“幻觉”,5秒钟的维语,它的翻译“瞎编”出了好多句子,与原本的意思毫无关联[sad]。

@sixsixcoder
Copy link

我也用您的数据集测试过了,确实存在幻觉现象,不知道预训练有没有包含少数民族语言的数据集,请关注近期要发布的详细技术文献

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants