Cortar el texto en trozos

Hasta la parte 3 todo era IA que ve. Fotos, puntos, caminos.

A partir de aquí entramos en la IA que maneja lenguaje. Y el comienzo es un poco raro, porque un ordenador no conoce las letras.

Es la misma historia que vimos en 2.1. El ordenador también convertía las fotos en números para verlas. Con el texto pasa igual.

Solo que el texto tiene un paso más que las fotos: primero hay que cortarlo.

¿Por qué hay que cortar?

No se puede convertir «esta foto es un gato» entero en un solo número. No hay manera de ponerle un número a todas las frases del mundo.

Pero cortarlo letra a letra es demasiado fino. Si partes «gato» en «g» y «ato», el significado desaparece.

Así que se corta por en medio. Lo que suele ir junto se deja pegado, y lo que no, se separa.

A cada uno de esos trozos lo llamamos token.

Al español le cuesta una vez y media más

La misma frase sale con ocho trozos en español y cinco en inglés.

No es una diferencia enorme, pero está ahí. Y si te fijas en la forma, se ve mejor lo que pasa: Est · a · ·f · oto · es · un · g · ato.

Las palabras se parten por sitios que no significan nada. «Esta» se rompe en «Est» y «a»; «gato» en «g» y «ato». No son restos ilegibles, pero tampoco son palabras.

No. El problema era la regla

Pulsa Regla hecha con textos en español.

Se da la vuelta, pero fíjate bien por qué lado se da la vuelta.

El español se queda casi igual (ocho trozos). El que cambia es el inglés: pasa de cinco trozos a doce.

Las dos reglas se hicieron exactamente igual. Solo cambia una cosa: con qué textos se hicieron.

Una regla para cortar deja pegado entero solo lo que ha visto mucho. Lo que ha visto poco se rompe.

Nuestra segunda regla es pequeña y está hecha solo con cuentos, así que al español tampoco le ayuda mucho. Pero al inglés, que no ha visto casi, lo rompe el doble.

Y la IA que se usa hoy en día es casi toda de la primera fila, porque se hizo leyendo muchísimo más texto en inglés.

Escribe tu nombre

Vuelve al ejercicio y escribe tu nombre en la primera casilla. Prueba con las dos reglas.

¿Tu nombre ha quedado en un solo trozo?

Si es un nombre que no sale en este libro, la regla hecha con español también lo habrá partido. Una regla solo conoce lo que ha visto mucho.

¿Y qué tiene de malo que haya más trozos?

La IA hace un cálculo por cada trozo. Si hay el doble de trozos, el doble de cálculo.

Así que, diciendo lo mismo, según el idioma sale más lento y más caro. Es una diferencia que casi no se ve, pero se va acumulando.

¿Y qué se hace después de cortar?

Ya tenemos el texto convertido en una fila de trozos numerados.

En el próximo capítulo vamos a hacer una sola cosa con esos trozos: acertar el trozo siguiente.

Y de hacer solo eso muy bien salió la IA de hoy.