어디를 볼지 스스로 고르기

4.2에서 세는 방식이 왜 막혔는지 봤어요. 앞의 세 낱말까지밖에 못 봤거든요.

그런데 사람은 그렇게 읽지 않아요.

옛날에 마음씨 착한 나무꾼이 깊은 산속 작은 마을에 살았어요. 그는 매일 나무를 했어요.

"그는"이 누구인지 바로 알았죠. 여섯 낱말이나 앞에 있는데도요.

어떻게 알았나요? 문장을 다 읽고, 필요한 낱말 하나를 골라서 봤어요. 나머지는 안 봐도 됐고요.

기계도 화살표를 그어요

기계 화살표가 나왔죠. 굵을수록 세게 본 곳이에요.

이렇게 문장에서 어디를 볼지 스스로 고르는 방식을 어텐션 이라고 불러요.

그리고 이 어텐션을 여러 겹 쌓아 만든 구조가 트랜스포머 예요. 요즘 말을 다루는 AI는 거의 다 이걸로 만들어요.

3.2에서 본 것과 이어져요

이상하죠. 어디를 볼지 어떻게 "고를" 수 있을까요.

정해진 규칙이 있는 게 아니에요. 가중치예요. 3.2에서 손잡이를 돌려 맞춘 그 가중치요.

"어떤 낱말이 어떤 낱말을 봐야 하는지"도 학습으로 맞춰진 거예요. 아무도 "대명사는 앞의 사람을 봐라"라고 적어 주지 않았어요.

여덟 문장을 다 해 보세요

기계와 같은 곳을 본 게 몇 번인가요.

여섯 번쯤일 거예요. 전부는 아니에요.

사람도 갈리는 문장

마지막 문장을 다시 보세요.

철수가 영수에게 자기 책을 빌려주었어요. 그는 고맙다고 말했어요.

"그는"이 누구인가요. 철수일까요, 영수일까요.

문장만으로는 알 수 없어요. 고맙다고 할 사람은 빌린 쪽이니 영수 같지만, 그렇게 정해 주는 말이 문장 안에 없어요.

사람도 갈리는 문장이니 기계가 헷갈리는 것도 당연해요. 이건 기계가 고장 난 게 아니에요.

그런데 잘 보는 것과 아는 것은 달라요

어디를 볼지 고를 줄 알고, 다음 말도 잘 맞혀요.

그럼 이 AI는 아는 걸까요?

다음 챕터에서 아주 자신 있게 틀리는 AI를 만나요.