音を見るAI

登録した人はだいたい当てるのに、ほかの人はほとんど当てられませんね。

これが音声をみとめることが70年のあいだとけなかった問題です。人によって声がちがうからです。同じ人でも かぜをひけばまた変わります。

ところで機械は そもそも音をどうあつかうのでしょう。

音を絵に変えます

ここで前のチャプターの話がもどってきます。

コンピューターが知っているのは数だけです。ですから音も数に変えなければなりません。ところが音を数に変えると、とても長い数の列がひとつ出てきます。1秒に数が一万をこえます。

その長い列をそのまま見ても 何も見えません。だからこうします。

• 音をとても短いきれはしに切って

• きれはしごとに どの高さの音がどれくらい強いか をはかって

• たてに一列ずつ立てて 横につないでいきます

すると絵が出てきます。これを スペクトログラム と呼びます。

絵の見方は三つだけ知っていればよいのです。たては音の高さ、よこは時間、明るいほど強い音 です。

同じことばはもようが似ていますね。ところが そっくり同じではありません。人は同じことばを二回そっくり同じには言えないからです。

くちぶえ と はくしゅ も押してみましょう。話し声とはずいぶんちがいます。くちぶえはなめらかな よこ線一本、はくしゅはたて線です。

そうすると 2.2 にもどります

音が絵になると おもしろいことが起こります。

2.2 では写真にフィルターをなでていって特ちょうを見つけましたね。それをこの絵にも まったく同じようにできます。

スペクトログラムの上にフィルターをなでていくと 音の特ちょうが出てきます。層を重ねれば だんだん大きなものを見分けます。写真で 線 → もよう → かたまり だったものが、音では 短い音 → ことばのかけら → ことば になります。

同じやり方です。 材料が変わっただけです。

ここまでが 見て聞くAI

2部が終わりました。写真も音も けっきょく数の表になり、その上をフィルターがなでていき、層が重なれば だんだん大きなものを見分けましたね。

ところが そのフィルターの中の数は だれが決めたのでしょう。2.2 の終わりで先おくりにした問いです。次の部で答えます。