AI가 잘못 배울 때

3.2 끝에서 물었죠. 층과 가중치를 아주 많이 넣으면 뭐든 다 풀 수 있을까요?

그게 그렇지가 않아요. 이번 챕터는 잘못 배우는 두 가지 방법에 대한 이야기예요.

사진 묶음 두 개

아래에 사진 묶음이 두 개 있어요. A와 B예요. 하나를 골라서 기계를 가르쳐 보세요.

가르치기 전에 사진들을 잘 살펴보세요. 여기가 이 실습의 전부예요.

몇 개나 맞혔나요? 그리고 틀린 것들만 모아서 보세요.

분홍 테두리가 쳐진 것들이요. 공통점이 뭘까요?

배경이 반대인 것들

찾았나요? 틀린 건 전부 잔디밭 위의 고양이와 눈밭 위의 강아지예요.

배경이 반대인데 맞은 것도 있죠. 배경만 본 게 아니라 배경을 더 크게 본 거예요.

묶음 A를 다시 보면 이래요.

그러니까 기계가 배운 건 "고양이 vs 강아지"가 아니었어요. 하얀 배경 vs 초록 배경이었어요.

둘 다 잘 맞아떨어졌으니까요. 우리가 준 사진 안에서는 눈밭에 있는 게 곧 고양이였거든요.

시험 사진을 눌러서 AI가 어디를 봤는지 보기를 눌러 보세요. 사진을 한 곳씩 가려 보고, 답이 크게 흔들리는 자리를 밝게 표시해요. 동물이 아니라 배경 쪽이 밝아요.

고치는 방법은 코드가 아니에요

이제 사진 묶음 B로 다시 가르쳐 보세요.

B는 고양이도 눈밭과 잔디밭에 반씩 있고, 강아지도 그래요. 배경으로는 못 가려내요. 그래서 기계는 어쩔 수 없이 동물을 봐요.

두 묶음을 견주면 이렇게 나와요.

기계도 그대로고, 계산도 그대로예요. 바꾼 건 사진뿐이에요.

3.1에서 이미 한 번 만났어요. 늘 같은 자리에서 찍었더니 기계가 "책상 위 왼쪽에 있는 것"을 배웠던 것 기억나죠. 같은 일이에요.

두 번째 방법 — 외우기

잘못 배우는 방법이 하나 더 있어요. 이번엔 사진이 아니라 가중치가 너무 많을 때 벌어져요.

가중치를 늘릴수록 곡선이 빨간 점들 사이를 헤집고 다니죠. 연습 문제를 전부 맞히려고요.

그런데 두 점수를 같이 보세요.

• 연습 문제 점수는 올라가요

• 시험 점수는 오히려 떨어져요

시험 점수는 중간에 오르내리기도 해요. 한 칸씩 올려 보고, 끝까지도 올려 보세요.

곡선이 연습 문제에만 딱 맞게 휘어 버려서, 처음 보는 문제가 오면 엉뚱한 데 가 있는 거예요.

이걸 과적합 이라고 불러요.

외운 것과 이해한 것

과적합을 "AI가 외웠다"고 말하곤 해요. 편한 말이지만 조심해야 해요.

AI가 문제를 어디에 적어 둔 게 아니에요. 답을 저장해 놓은 서랍 같은 건 없어요.

일어난 일은 이거예요. 연습 문제들에만 딱 맞게 가중치를 돌려버린 거예요. 그래서 처음 보는 문제가 오면 가중치가 엉뚱한 데 가 있어요.

가중치를 다시 줄여 보세요. 시험 점수가 돌아오죠. 외우기를 그만두게 했더니 오히려 잘 맞혀요.

여기까지가 배우는 방법

지금까지 AI를 가르치는 방법은 하나였어요. 정답을 붙여서 보여주기.

그런데 정답을 아무도 모르는 일은 어떻게 가르칠까요? 자전거 타기 같은 것 말이에요.

다음 챕터에서는 정답 대신 상과 벌만 줘 볼 거예요.