マルチエンジン及びプラグインエンジンに関する議論

[y-chan]

VOICEVOXはOSSとして、UI(VOICEVOXフロントエンド・エディタ)・エンジンともに様々な方面で活用することができます。
例えば、UIの活用例としてシロワニさんのCOEIROINKプロジェクトが挙げられます。
このプロジェクトはVOICEVOXとは別プロジェクトになっていますが、VOICEVOXがOSSとして仕様を公開していることで、サードパーティ製のエンジンをVOICEVOXに接続させられることが証明されたといっても過言ではないでしょう。

さて、このディスカッションでは、「VOICEVOXフロントエンドをマルチエンジンに対応させる」ということについて議論したいです。
これができるようになれば、VOICEVOXが公式に含む音声ライブラリ以外に、サードパーティ製の音声ライブラリをエンジンとして差し込むことができるほか、VOICEVOX公式として音声ライブラリを別に切り分ける(ユーザーが必要な音声ライブラリのみを導入できる)、といったことも可能になると考えられます。

しかし、いくつかVOICEVOXとしての方向性、あるいは技術的な面などで問題が存在します。

• 方向性
  • そもそも、VOICEVOXとしてサードパーティエンジンなどを受け入れられる姿勢にすべきか
    • OSSとして公開されているならそれを使って別のアプリ・プロジェクト(COEIROINKのように)を作ればいいという意見があるかもしれない
    • VOICEVOXそのものの繁栄・普及において、サードパーティエンジンが必ずしも良い影響を与えるとは限らない・悪影響が強い可能性も考えられる
      • サードパーティエンジンの品質が本家と大きく異なる可能性がある
      • VOICEVOXとしてのブランディングに影響する可能性がある
      • 等々
• 技術的な面
  • APIクライアントのFactoryを作って、動的にAPIクライアントを変更できるようにする #420 のプルリクエストによって、エンジンを任意に変更するための一歩を踏み出したが、まだ複数エンジンを登録するためには様々な仕様の策定が必要
    • speaker id (style id)の管理
    • サードパーティエンジンのポート管理
    • サードパーティエンジンの認識
    • 等々
• その他
  • サードパーティエンジン向けドキュメント作成(問題というよりも課題)

軽く考えられる限りでもいくつか存在し、技術的な面を回避できたとしても、VOICEVOXとしての方向性に関しては、開発者のみならずユーザーを含むコミュニティとして答えを出すべきであるものだと私は考えます。
議論の中で方向性が固まり、技術的課題を解決する方向になれば、ここからIssueを派生させ、それに対処するPull Requestを作ればよいと思っています。
また、ユーザーにとって、GitHubで議論を行うことは普通ではないと思われます。開発に関連することとしてここを使ってみましたが、場所を移した方がよいかもしれません。

[Hiroshiba]

議論建てありがとうございます！

VOICEVOXの目標（ミッション・バリュー・ビジョン）を言語化してみました。
議論での判断材料になればと思います。

メンテナとして見解を書いてみたいと思います。

そもそも、VOICEVOXとしてサードパーティエンジンなどを受け入れられる姿勢にすべきか

ぜひ受け入れられるようにしたいです。
様々な音声合成エンジンと連携できるようにすることで、音声合成ソフトのエディターやプロトコルで覇権の獲得を狙えると思います。
これはユーザー数の増加に効いてくると思います。

ただしリスクもあると思うので意識して回避したいです。
一番気になるリスクが、サードパーティとVOICEVOXが混同されてしまうことです。
これは問題が２つあると思っています。
品質的な差でVOICEVOXにネガティブなイメージが付く可能性があるのと、作者の方が苦労して作られた音声合成エンジンの成果をVOICEVOXが奪ってしまう可能性がある点です。
どちらの場合も、どのエンジンを使って作られた音声なのかがわかりやすいUI/UXになっていれば良いと思いました。
例えばUI的には立ち絵やアイコンの場所からエンジンがわかるようにしたり、UX的にはホームページやSNSで案内を出したりがあると思います。

技術的な面

こっちは本当に大変だと思います。（が、ぜひ達成したいです。）

タスクを切り分けるとこんな感じかなと思ってissueを建てていました。

• https://github.com/Hiroshiba/voicevox/issues/429
  • CharactorInfoが必要な情報（立ち絵など）をエンジンに実装する
  • CharactorInfoをエンジンから取って来るようにする
  • 複数のエンジンのキャラクターを利用可能にする
  • 設定で複数のエンジンを登録可能にする

ここに挙げられていない点で @y-chan さんが挙げられているのはspeaker id (style id)の管理でしょうか。
こちらは、今はAudioCellやprojectファイルでstyleIdだけ参照しているものを、speakerUuidとstyleIdの２つ（もしくは新しくengineIdを追加して３つ）を参照するようにすると解決するかもです。

あと、サードパーティエンジンは認識（ポート管理）の他に、起動もサポートする必要があるかもです。
これは、exeのパスと起動オプションを設定可能にする、とか・・・？

[y-chan]

一番気になるリスクが、サードパーティとVOICEVOXが混同されてしまうことです。

なるほど、これは良くも悪くも影響がありそうですね....
これに関しては、自由な音声ライブラリを実現しているUTAUのUIが結構わかりやすそうで、音声ライブラリインストール(UTAUでは音源zipのドラッグアンドドロップでインストールできます)時にライセンス表記みたいなのをしていますね。
音源の規約や、更新履歴など、様々なものを表示できる形になっていればいいのかなと思いました。
また、左上のアイコンクリックでこれを表示できるので、そのような形のものを実装すればよさそうだと感じました。

(あれ、これによって技術的課題増えてる...?)

タスクを切り分けるとこんな感じかなと思ってissueを建てていました。

ちょっと見落としていました...補完ありがとうございます!
engineIdという概念は新しいですが、そういうのもよさそうですね。

サードパーティエンジンは認識（ポート管理）の他に、起動もサポートする

おっと！これは結構重要そうな課題ですね...
plugin_engineフォルダみたいなのを作って、さらにその中にエンジン名フォルダを設置、その中にconfigとかexeがあるとかっていう形がよいのかなと思いました。
そうすると、エンジン製作者側にとって統一性が生まれそうで、ドキュメント作成とかも楽になりそうかなと思いました。

[Hiroshiba]

リプライ機能があったのでリプライしてみます。

UTAUのUIが結構わかりやすそう

良いですね！
ライセンス表示のタイミングをどうするかは置いといて、キャラクター選択時にどのエンジン由来なのかがわかるような見た目になっていれば良いのかなと思いました。
（キャラ名の横にエンジン名がカッコ付きで表記されている、とか）

plugin_engine フォルダ

エンジン.exeがどこかに存在していないといけないのを失念していました。
たしかにplugin_engineみたいなフォルダがあって、何かしらのフォーマットでexeを起動するのも統一性が会って良さそうです。

とりあえず流れとしては、まずポートが登録できるように作って、それからexeが自動起動するように作るのが良いのかなと思いました。
（ちょっと↓のissueのタスクリストに記載を増やしてみました）

• https://github.com/Hiroshiba/voicevox/issues/429