상과 벌로 가르치기

지금까지 AI를 가르치는 방법은 하나였어요. 정답을 붙여서 보여주기.

이건 고양이 사진에 "고양이"라고 적어 줄 수 있으니까 되는 거예요. 그런데 자전거 타기는요? "지금 몸을 3.7도 기울여"라고 적어 줄 수 있나요?

못 하죠. 그런데도 우리는 자전거를 배워요. 넘어지면서요.

처음엔 정말 아무렇게나 둬요. 그런데 백 판쯤 지나면 이기기가 어려워져요.

아무도 규칙을 적어 주지 않았어요. "가운데가 좋다"도, "두 개 놓이면 막아라"도요. 기계가 겪은 건 이기고 지는 것뿐이에요.

상과 벌만 주기

이렇게 가르치는 방법을 강화학습 이라고 불러요.

정답을 안 알려 줘요. 대신 잘하면 상, 못하면 벌을 줘요. 그리고 상을 많이 받는 쪽으로 스스로 바뀌게 둬요.

성냥갑 기계에서는 구슬이 상과 벌이었어요. 이겨서 남은 구슬이 상이고, 져서 버려진 구슬이 벌이죠.

이 "상"을 보상 이라고 불러요.

마지막 줄을 잘 봐 두세요. 이 챕터의 이야기가 거기서 나와요.

구슬 대신 뇌를 쓰면

성냥갑은 판이 304가지뿐이라 됐어요. 그런데 자동차 운전은 경우의 수가 셀 수 없이 많죠.

그럴 땐 구슬 대신 3.2에서 본 신경망을 써요. 그리고 잘한 것만 남겨서 다음 세대를 만들어요.

처음엔 스무 대가 다 벽에 박아요. 그런데 몇 세대 지나면 오래 버티는 차가 나와요.

차 한 대를 눌러 보세요. 이 차가 아는 건 앞쪽 다섯 방향까지의 거리뿐이에요. 길이 어떻게 생겼는지도, 자기가 어디 있는지도 몰라요. 그것만으로 도는 법을 찾아냈어요.

상을 잘못 주면

여기가 이 챕터의 진짜 이야기예요.

오른쪽 조절 바 세 개가 상을 무엇으로 줄지 정해요. 하나씩 극단으로 밀어 볼까요.

빨리 가기만 100으로, 나머지를 0으로. 그리고 다시 배우게 해 보세요.

차들이 훨씬 일찍 박아요. 오래 사는 걸 안 재니까 밟고 달리다 벽에 박는 게 이득이거든요.

이번엔 안 부딪히기만 100으로.

아예 안 움직여요. 가만히 서 있는 게 가장 안 부딪히는 방법이니까요.

시킨 대로 했을 뿐이에요

기계는 두 번 다 상을 가장 많이 받는 법을 정확히 찾아냈어요.

우리가 "잘 달려라"라고 말했다고 생각했지만, 실제로 준 건 "빨리 가면 상"이었어요. 그래서 빨리 가기만 했어요.

AI는 우리가 원한 걸 배우지 않아요. 우리가 준 상을 많이 받는 법을 배워요.

3.3에서 본 것과 짝이에요. 거기서는 준 사진이 기계를 엉뚱하게 만들었고, 여기서는 준 상이 그래요. 둘 다 기계가 아니라 사람이 준 것에서 시작돼요.

3부가 끝났어요

배우는 방법을 세 가지 봤어요. 정답을 보여주기, 상과 벌 주기, 그리고 잘못 배우는 방법들까지요.

그런데 지금까지 다룬 건 전부 보는 AI였어요. 사진, 점, 길.

4부에서는 말을 다루는 AI로 가요. 요즘 가장 많이 쓰는 그것들이요.