文をかけらに切る

3部までは 見るAI でした。写真、点、道すじ。

ここからは ことばをあつかうAI に入ります。ところが出だしが少し変です。コンピューターは文字を知らないのですから。

2.1 で見たのと同じ話です。コンピューターは写真も数に変えて見ていましたね。文も同じです。

ただ、文には写真より一段階多いものがあります。先に切らなければ なりません。

なぜ切るのでしょう

「この写真はねこです」をまるごとひとつの数にすることはできません。世界中のすべての文に番号をつけるわけにはいかないからです。

かといって文字ひとつずつに切ると細かすぎます。「写真」を「写」と「真」に分けたら意味が消えてしまいます。

だから その中間 で切ります。よくいっしょに出てくるものはくっつけておき、そうでないものは切りはなします。

このかけらひとつを トークン と呼びます。

日本語のほうが細かくくだけました

同じ意味なのに、かけらの数が二倍以上ちがいますね。

もっと変なのはその形です。英語はかけらごとにことばが見えるのに、日本語のほうは半分より多くが 読めないくず です。

文字ひとつがいくつものかけらにくだけているからです。かけらをひとつだけ取り出しても文字になりません。

ちがいます。規則のほうの問題でした

日本語の文でつくった規則 を押してみましょう。

ひっくり返りましたね。今度は 英語のほうが 文字ひとつずつにちぎれます。

ふたつの規則は まったく同じやり方でつくりました。 ちがうのはひとつだけです — どんな文を読んでつくったか。

かけらに切る規則は たくさん見たものだけをまるごとくっつけて おきます。あまり見ていないものはくずになります。

そしていま広く使われているAIは、ほとんどが一行めのほうです。英語の文をずっとたくさん読んでつくられたからです。

自分の名前を入れてみましょう

実習にもどって、ひとつめの欄に自分の名前を書いてみてください。規則はふたつとも押してみましょう。

名前はひとつのかけらになりましたか。

この本に出てこない名前なら、日本語でつくった規則も 細かくくだいたはずです。規則は自分がたくさん見たものしか知りません。

かけらが多いと何が悪いのでしょう

AIはかけらひとつごとに計算を一回します。かけらが二倍なら計算も二倍です。

ですから同じことを言っても 言語によって遅く、そして高くつきます。 目には見えにくいちがいですが、積み重なると大きくなります。

切ったら何をするのでしょう

これで文が、番号のついたかけらの列になりました。

次のチャプターでは、このかけらを使ってたったひとつのことだけをします。次にくるかけらを当てること。

それだけをとても上手にさせたら、いまのAIが出てきました。