글을 조각내기

3부까지는 보는 AI였어요. 사진, 점, 길.

이제 말을 다루는 AI로 가요. 그런데 시작이 좀 이상해요. 컴퓨터는 글자를 모르거든요.

2.1에서 본 것과 같은 이야기예요. 컴퓨터는 사진도 숫자로 바꿔서 봤죠. 글도 마찬가지예요.

그런데 글은 사진보다 한 단계가 더 있어요. 먼저 잘라야 해요.

왜 자를까요

"이 사진은 고양이예요"를 통째로 하나의 숫자로 만들 수는 없어요. 세상의 모든 문장에 번호를 붙일 수는 없으니까요.

그렇다고 글자 하나하나로 자르면 너무 잘아요. "사진"을 "사"와 "진"으로 나누면 뜻이 사라지죠.

그래서 그 중간에서 잘라요. 자주 붙어 다니는 것들은 붙여 두고, 아닌 건 떼어 놓아요.

이 조각 하나를 토큰 이라고 불러요.

한국어가 더 잘게 부서졌어요

같은 뜻인데 조각 수가 몇 배씩 차이 나죠.

더 이상한 건 그 모양이에요. 영어는 조각마다 낱말이 보이는데, 한국어 쪽은 대부분이 읽을 수 없는 부스러기예요.

글자 하나가 조각 여러 개로 부서져서 그래요. 조각 하나만 떼어 놓으면 글자가 안 돼요.

아니에요. 규칙의 문제였어요

한국어 글로 만든 규칙을 눌러 보세요.

뒤집혔죠. 이번엔 영어가 글자 하나씩 뜯어져요.

두 규칙은 똑같은 방식으로 만들었어요. 다른 건 하나뿐이에요 — 무슨 글을 읽고 만들었느냐.

조각내기 규칙은 많이 본 것만 통째로 붙여 둬요. 많이 안 본 건 부스러기가 되고요.

그리고 지금 널리 쓰이는 AI들은 대부분 첫째 줄이에요. 영어 글을 훨씬 많이 읽고 만들어졌거든요.

자기 이름을 넣어 보세요

실습으로 돌아가서 첫째 칸에 자기 이름을 써 보세요. 규칙 두 개 다요.

이름이 한 조각으로 붙던가요?

이 글에 안 나온 이름이면 한국어로 만든 규칙도 잘게 쪼갰을 거예요. 규칙은 자기가 많이 본 것만 알아요.

조각이 많으면 뭐가 나빠지나요

AI는 조각 하나마다 계산을 한 번씩 해요. 조각이 두 배면 계산도 두 배예요.

그러니까 같은 말을 해도 언어에 따라 더 느리고 더 비싸요. 눈에 잘 안 보이는 차이인데, 쌓이면 커요.

잘랐으면 뭘 할까요

이제 문장이 번호가 붙은 조각들로 바뀌었어요.

다음 챕터에서는 이 조각들을 가지고 딱 한 가지만 해요. 다음에 올 조각 맞히기.

그것만 아주 잘하게 만들었더니 요즘 AI가 나왔어요.