« ◇「語呂合わせ」から「読みなし(做し)」へ | トップページ | ◆波束粒子モデルはスリットで干渉縞を作るか »

▲「ん」「な行」「ま行」と「が」音声合成試験

Javaの最新版ライブラリではPCMデータの扱いが変わったため、このプログラム では「無個性子音」系の声がうまく出せなくなっています。
対処を検討しています。

  「ん」と「な行」「ま行」の合成、ついでに「が行」、ついでのついでに。。

「ん」と「な行」「ま行」の合成試験です。ついでに「が行」も入れました。 さらに「やらわ行」も追加しました。「だ行」の仮追加も行いました。 拍長調整を各子音毎に可能としました。拗音も入れてみました。 促音(っ)と句読点での間も入れてみました。無声音も試しています。カタカナ のスで無声音(現状は完全無声ではなく母音を小さくしている)となります。
1文字ずつに声の強さ、高さ、長さを指定できるようにし、歌を歌わせることも 可能としてみました。例文の後部に載せています。
▲ノイズ系子音(「た行」他)音声合成試験をベースに して「ん」音およびそれを子音として用いる「な行」「ま行」を 追加しました。未調整のため綺麗な音ではありません。

幾つかの文の声と、歌(男声女声をAdobeAuditionでmix)を置きます。
sample5.mp3
巻き舌で歌う(makijita.mp3)
色々入れてみただけで、あくまで出発点です。(2011/8/29:知り合いからのヒントに より、巻き舌で歌うのを入れてみました。今のところ高い声で少し長い時間発声 するもの、即ち女声の歌でのみそれっぽく聞こえます)

文は[テキスト入力]欄に直接いれることができる他、例文選択 もできます。
例文は[例文セット:]でセットを選択し、[例文:] で文を選択する形です。
スラッシュの後ろにイントネーションヒントを置けます。0~9までで音の高さ を示します。終了後の高さを後に付加し、本文より1音 多く指定する形となります。

プログラム VarConsoTst.jar をダウンロードしてローカル実行することもできます。クリックで 起動できます。ローカルで実行すると 音声データが実行フォルダにaiueo01.wavという名前で生成されます。

 「ん」の音響的正体

「ん」音は、高調波が急速に減衰していくかなり単純な形をしているんですね。
確かに鼻は喉のように細かく形が変えられる訳ではなく、さらに形そのものも 広がって狭まるというようになっており、どこかの周波数に突出した反応が出る ということは無さそうです。

▲ハイブリッドフォルマント合成で試験を行い「ん」に聞こえるのはどういう特性の音かを 調べました。F1をF0と同じにし、F2のゲインを0にすると「ん」っぽくなってきます。 母音のアンチフォルマント渓谷のような固定位置にあるのではなく、 基音からの減衰の仕方の割合が大体一定となるようです。
当初「う」に近いかと想像したのですが、「う」は中音部に特徴があるのに対し 「ん」は特徴無しの減衰です。

「ん」音は高調波を単純に減衰させて生成可能ですが、今回はアンチフォルマント機構 でF2のゲインを0にする形で生成しています。

「な行」と「ま行」は全く同じ「ん」音を使っています。音の立ち上がり方で 「な」にまったり「ま」になったりします。
「ま」は「な」に比べて制御が簡単で、赤ん坊が「あ~あ~」の後「ま~ま~」 と声を作っていく理由も分りました。

濁音は単純ノイズ系子音に、「ん」に近い音を被せると得られそうです。 この版では「ん」をそのまま使用してみました。「が行鼻濁音」風の 音が得られました。他の濁音はまだ聞き取れるレベルではありません。

「どん」「ずしん」「きーん」などの「ん」も高調波成分が減衰していく 様子を表していることが分かりました。

他の音の母音部に少しだけ「ん」を被せると柔らかな人間の響きに近く感じる瞬間が ありました。今後の声質調整のパラメータとなりそうです。

 重母音系「やらわ」

「や行」「ら行」「わ行」は重母音エンジンで作成しました。 「や行」は「j-え」、「ら行」は「う-r」、「わ行」は「う-w」の感じの 変化音です。jは「い」と「え」の中間、rは「う」と「あ」の中間で少し「え」より、 wは「う」と「お」の中間です。

なお、「かさた」は単純ノイズエンジンで作成しています。
「な」は「んエンジン」。「は」は現時点では単純ノイズエンジンですが かなり無理があります。

 目標は「語れる、歌える、演技も出来る」

コーパスベースの音声合成は短時間語らせるとかなり自然ですが、 長く語ると不自然さが出てきます。なにより現時点では歌を歌う といった事が出来ません。どうしてもDBに固定的に入れられた データの鎖から解き放たれることはできません。

純合成または微小音素組み合わせの音声合成は歌を歌うことは ある程度できても、語りはまだまだ難しいものがあります。

技術的な問題を一切考えなければ、音声合成プログラムは、 語れるし歌えるし演技っぽい喋り方もできて当然です。
語れるけど歌えないプログラムではやはり自然な語りには 到達できません。

目標は「語れる、歌える、演技もできる音声合成」です。

まだまだですけど。
sFM_mix_2.mp3
 歌も歌える、夢も語れる
 鎖の無い世界へ、自由に翼広げ
 歌も歌える、夢も語れる
 言葉の力信じ、明日へ
(少し高めで)sFM_mix.mp3

おまけ
この音声合成の現状のなげき(hayaku_ningenn.mp3)
 君たちは宇宙人か?
 ソウイウ オマエコソ ロボット デハナイカ
 うっ!早く人間になりた~い!
これは一文の途中で声質、速度、強さなどを変更しています。 サンプルの最後に載せています。

 ###

2011/12/27
サンプル文に「まずまずのお味で御座います」追加。「ざ行」パラメタを微調整。
合成エンジンは変更なし。

|

« ◇「語呂合わせ」から「読みなし(做し)」へ | トップページ | ◆波束粒子モデルはスリットで干渉縞を作るか »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: ▲「ん」「な行」「ま行」と「が」音声合成試験:

« ◇「語呂合わせ」から「読みなし(做し)」へ | トップページ | ◆波束粒子モデルはスリットで干渉縞を作るか »