Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

ささやき系で空白部分でノイズが入る+発音がおかしい #790

Closed
1 of 3 tasks
webgoto opened this issue May 8, 2024 · 4 comments
Closed
1 of 3 tasks

Comments

@webgoto
Copy link

webgoto commented May 8, 2024

不具合の内容

ささやき系で
1.空白部分でノイズが入る(九州そらが顕著)
2.発音がおかしい

現象・ログ

九州そら(ささやき)で「こんにちわ、これを聞く」を作成した場合下記のようになりました。

default.mp4

問題点
1.「こんにちわ」の後に「ブーン」というノイズが入る
2.「これをきく」が「これをくく」と発音される(調整画面上は正しくコレオキクと表示されている)

再現手順

VoicevoxのGUIで「こんにちわ、これを聞く」を入力する

他にも「期待する(くたいする)」「ひとりで遊ぶ(ふとりであそぶ)」のようにおかしい発話がある

期待動作

1.「こんにちわ」の後に「ブーン」というノイズが無くなる
2.「これをきく」と発音される

対応策

1.queryのpause_moraの時間を短くするとノイズは緩和されました
(GUIで「長さ」を変えるのでも良い)

pause_mora: {
  "text": "、",
  "consonant": null,
  "consonant_length": null,
  "vowel": "pau",
  "vowel_length": 2.4906704425811768, //これを1以下にする
  "pitch": 0
}

2.queryのkanaを見ると発音がおかしい場合、前に「_」がついていました。そしてmoraを見るとvowelが大文字のIになっていました。これを小文字にすると正しい発音になりました。

kana: "コンニチワ'、コレオ'/_キク'"

{
  "text": "キ",
  "consonant": "k",
  "consonant_length": 0.08415838330984116,
  "vowel": "I", //これをiにすると直る
  "vowel_length": 0.0838986411690712,
  "pitch": 0
}

修正したクエリーで作成したのがコチラになります。

default.mp4

このようにAPIから操作すれば対応可能ですが、GUIからは難しそうなので、修正や別の対応策があればと思います。

VOICEVOXのバージョン

0.19.1

OSの種類/ディストリ/バージョン

  • Windows
  • macOS
  • Linux

Windows 10 Home 64bit 22H2(19045.4291)

その他

特になし

@Patchethium
Copy link

ノイズは主に録音デバイスの問題です。囁き声を録音する場合、通常の会話よりも音量が低いため、正規化が必要です。その結果、通常は聞こえない環境ノイズや呼吸音も増幅され、聞こえるようになります。ただし、これはデータの性質上の問題であり、こちらでは改善できません。

このようにAPIから操作すれば対応可能ですが、GUIからは難しそうなので、修正や別の対応策があればと思います。

対応策の1は長さパネルでスライダーを動かす、2は無声化(イントネーションパネルでカナをクリック)することでできます。

@webgoto
Copy link
Author

webgoto commented May 8, 2024

明快なご回答ありがとうございます。
解決しました。

@webgoto webgoto closed this as completed May 8, 2024
@Hiroshiba
Copy link
Member

@webgoto ご報告ありがとうございます!!

ノイズが入りやすい件と発音がおかしくなる件、とりあえず把握しました。
特に後者の方は問題に気づいていなかったので助かりました。


@Patchethium コメントありがとうございます!

ノイズは主に録音デバイスの問題です

こちらはmustやshouldではなく、mayだと思います。
(後からコメントを読んだ人が何か勘違いされないように補足です 👍 )

@webgoto
Copy link
Author

webgoto commented May 13, 2024

ありがとうございます😃

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants