El juego de acertar el trozo siguiente
En 4.1 cortamos el texto en trozos. ¿Y qué se hace con esos trozos?
Pues, aunque sorprenda, una sola cosa: acertar el trozo que viene después.
Puedes probar lo mismo. Tenemos preparada una tabla hecha contando todo un libro de cuentos.
No hay ni una regla
Esta máquina no sabe gramática. Tampoco sabe qué significan las palabras.
Solo ha contado. Y aun así, los grupos de dos o tres palabras suenan verosímiles, ¿verdad?
A lo que se hace para acertar lo siguiente lo llamamos . Lo de antes y lo de ahora hacen lo mismo.
Si mira más hacia atrás, mejora
Cambia a 3 y encadena otra vez. Suena mucho más natural.
Es normal: está eligiendo mirando las tres palabras anteriores enteras.
Pero fíjate en la frase que sale debajo del ejercicio.
No es que escriba bien: es que está copiando
Es una frase que está tal cual en el libro de cuentos.
Si esas tres palabras anteriores solo salen una vez en el libro, la que viene después también es una sola. No hay dónde elegir. Solo está calcando el libro.
Contándolo sale esto.
| Cuántas palabras mira hacia atrás | Cómo suena | Copiado tal cual del libro |
|---|---|---|
| 1 | Un desastre | 0 % |
| 3 | Muy bien | 60 % |
«No lo he visto nunca»
Entonces, ¿qué pasa si intentas hacer una frase que no está en el libro?
Encadena varias veces con 1 hasta tener una frase que no esté en el libro y después cambia a 3.
Se para. Casi siempre se queda sin nada que decir.
O escupe lo que memorizó, o dice que no lo sabe. Una de dos.
No puede crear frases nuevas. Ese era el muro de la manera de contar.
Entonces, ¿qué tiene de distinto lo de hoy?
Ahora ponemos al lado una IA pequeña que aprendió con el mismo libro de cuentos y las comparamos.
Que sea el mismo libro es importante. No vale que se pueda decir «claro, es que el material era otro».
La derecha no se atasca
Añade lo que quieras al final de la frase. La izquierda dice enseguida «no lo he visto nunca».
La derecha, en cambio, da una respuesta pongas lo que pongas. Incluso con una frase que ve por primera vez.
Porque no está contando, sino sumando pesos. Los mismos pesos que vimos en 3.2. No busca en una tabla, calcula; por eso no tiene callejones sin salida.
Y en cuanto la derecha escribe una línea, la izquierda dice enseguida «no lo he visto nunca».
Es normal: la frase que acaba de hacer la derecha no está en el libro. Debajo del ejercicio también lo pone.
La manera de contar, mirando tres palabras atrás, copiaba el libro el 60 % de las veces. La derecha: 0 %.
La misma frase, respuestas distintas
Pulsa Que siga escribiendo solo, después Volver a la frase inicial y vuelve a pulsarlo.
Es distinto, ¿verdad?
Porque no elige solo al primero, sino que saca según la probabilidad. Si algo tiene un 70 %, lo elegirá unas siete de cada diez veces y las demás elegirá otra cosa.
Si subes ¿Cuánto se arriesga? hasta arriba del todo, coge hasta las propuestas de abajo. Y entonces se vuelve disparatado.
Al revés, si lo bajas del todo, elige siempre al primero. Y entonces repite la misma palabra sin parar.
Y al hacerle solo eso muy bien
Visto hasta aquí resulta raro. ¿Qué tiene de impresionante acertar el trozo siguiente?
Pues que cuando se le hace muy bien pasan cosas curiosas.
Si acierta lo que viene después de «traducido al inglés:» → sale una traducción
Si acierta lo que viene después de «resumido en una línea:» → sale un resumen
Si alguien hace una pregunta y acierta lo que viene después → sale una respuesta
Nadie le enseñó a traducir aparte. Solo le hicieron acertar el trozo siguiente.
Para mirar todo lo de atrás
La manera de contar solo podía mirar tres palabras atrás. Los modelos de hoy miran mucho más lejos.
Pero cuando la frase se alarga, las palabras de antes son decenas. ¿Las mira todas por igual?
No. Elige cuáles mirar. De eso va el próximo capítulo.
Lo que sostiene este capítulo
- 2 Shannon, "A Mathematical Theory of Communication", Bell System Technical Journal 27 (1948)
- H5·P13 Cuentos antiguos libres de derechos — Bang Jeong-hwan, Joseph Jacobs, Hans Christian Andersen, Kusuyama Masao, Ramón A. Laval, José Martí, Luis Coloma
- P13 Es un modelo de lenguaje pequeño que entrenamos nosotros con esos cuentos. No hay ningún peso traído de fuera
- H5·P13 Contando tres palabras hacia atrás, el 60 % de lo que escribe está copiado tal cual de este libro de cuentos; lo aprendido: 0 %. (En coreano sale un 59 % y en inglés un 33 %, porque en cada libro se repiten cosas distintas. El japonés cuenta por caracteres y con ocho caracteres atrás sale un 54 %, también con 0 % en lo aprendido)