ほうびとばつで教える

いままでAIを教えるやり方はひとつでした。正解を付けて見せること。

これは ねこの写真に「ねこ」と書いてあげられるからできることです。ところが自転車に乗ることはどうでしょう。「いま体を3.7度かたむけて」と書いてあげられますか。

できませんね。それでもわたしたちは自転車を覚えます。転びながら。

はじめは本当にでたらめに置きます。ところが百局ほどすぎると 勝つのがむずかしくなります。

だれも規則を書いてあげていません。 「真ん中がよい」も、「二つならんだら止めろ」もです。機械が味わったのは 勝つことと負けることだけです。

ほうびとばつだけをあたえる

こうして教えるやり方を 強化学習 と呼びます。

正解を教えません。かわりに うまくいけばほうび、だめならばつ をあたえます。そしてほうびをたくさんもらえるほうへ 自分で変わっていくようにします。

マッチ箱の機械では ビーズがほうびとばつでした。勝ってのこったビーズがほうびで、負けてすてられたビーズがばつですね。

この「ほうび」を 報酬 と呼びます。

さいごの行をよく見ておいてください。このチャプターの話がそこから出てきます。

ビーズのかわりにのうを使うと

マッチ箱は盤が304種類しかないからできました。ところが車の運転は 場合の数が数えきれないほど多いですね。

そういうときは ビーズのかわりに 3.2 で見たニューラルネット を使います。そしてうまくいったものだけをのこして 次の世代をつくります。

はじめは二十台ぜんぶが壁にぶつかります。ところが何世代かすぎると 長くもちこたえる車が出てきます。

車を一台おしてみましょう。この車が知っているのは 前の五つの向きまでのきょりだけです。 道がどんな形なのかも、自分がどこにいるのかも知りません。それだけで曲がり方を見つけ出しました。

ほうびをまちがえてあたえると

ここがこのチャプターの本当の話です。

右のつまみ三つが ほうびを何であたえるか を決めます。ひとつずつはしまでおしてみましょうか。

はやく行く だけを100に、のこりを0に。 そしてもう一度学ばせてみましょう。

車がずっと早くぶつかります。長く生きることをはからないので ふみこんで走って壁にぶつかるほうが得 だからです。

こんどは ぶつからない だけを100に。

まったく動きません。じっと立っているのが いちばんぶつからないやり方だからです。

言われたとおりにしただけです

機械は二回とも ほうびをいちばん多くもらうやり方 を正確に見つけ出しました。

わたしたちは「うまく走れ」と言ったつもりでしたが、じっさいにあたえたのは「はやく行けばほうび」でした。だからはやく行くことだけをしたのです。

AIはわたしたちがのぞんだことを学びません。わたしたちがあたえたほうびを たくさんもらうやり方を学びます。

3.3 で見たものと対になっています。あちらでは あたえた写真 が機械をおかしくし、ここでは あたえたほうび がそうします。どちらも機械ではなく 人があたえたものからはじまります。

3部が終わりました

学ぶやり方を三つ見ました。正解を見せること、ほうびとばつをあたえること、そしてまちがって学ぶやり方までもです。

ところがいままであつかったのは ぜんぶ 見るAI でした。写真、点、道すじ。

4部では ことばをあつかうAI へ行きます。このごろいちばんよく使われているものたちです。