Enseñar con premios y castigos
Hasta ahora solo había una manera de enseñarle a una IA: mostrarle la respuesta puesta al lado.
Eso funciona porque en una foto de gato puedes escribir «gato». Pero ¿y montar en bici? ¿Puedes escribir «ahora inclina el cuerpo 3,7 grados»?
No puedes. Y aun así aprendemos a montar en bici. Cayéndonos.
Al principio coloca de verdad en cualquier sitio. Pero pasadas unas cien partidas se hace difícil ganarle.
Nadie le escribió ninguna regla. Ni «el centro es bueno» ni «si hay dos en fila, bloquea». Lo único que ha vivido la máquina es ganar y perder.
Dar solo premios y castigos
A esta manera de enseñar la llamamos .
No se le dice la respuesta. En vez de eso se le da premio si lo hace bien y castigo si lo hace mal. Y se la deja cambiar sola hacia donde recibe más premios.
En la máquina de las cajas de cerillas, las bolitas eran el premio y el castigo. La bolita que sobrevive por haber ganado es el premio; la que se tira por haber perdido, el castigo.
A ese «premio» lo llamamos .
| Las maneras de antes | Aprendizaje por refuerzo | |
|---|---|---|
| Lo que da la persona | La respuesta | La recompensa |
| Cuándo se usa | Cuando se sabe la respuesta | Cuando no se sabe la respuesta |
| Lo que hace la máquina | Acercarse a la respuesta | Conseguir muchos premios |
Fíjate bien en la última fila. De ahí sale la historia de este capítulo.
Si en vez de bolitas usamos un cerebro
Con las cajas de cerillas se pudo porque solo hay 304 tableros posibles. Pero conducir un coche tiene un número incontable de casos.
Entonces, en vez de bolitas se usa la red neuronal de 3.2. Y se conservan solo los que lo hicieron bien para formar la siguiente generación.
Al principio los veinte coches se estrellan contra la pared. Pero pasadas unas generaciones aparece alguno que aguanta mucho.
Pulsa un coche. Lo único que conoce este coche son las distancias en cinco direcciones hacia delante. No sabe cómo es la pista ni dónde está él. Y solo con eso ha encontrado la manera de tomar las curvas.
Si le das mal el premio
Aquí está la verdadera historia de este capítulo.
Las tres barras de la derecha deciden con qué se da el premio. Vamos a llevarlas al extremo una a una.
Pon Ir rápido a 100 y las demás a 0. Y haz que vuelva a aprender.
Los coches se estrellan mucho antes. Como no se mide durar mucho, le sale a cuenta pisar a fondo y estrellarse.
Ahora pon solo No chocar a 100.
No se mueve nada. Porque quedarse quieto es la mejor manera de no chocar.
Solo hizo lo que le pedimos
Las dos veces la máquina encontró con precisión la manera de conseguir más premio.
Nosotros creíamos haber dicho «conduce bien», pero lo que le dimos de verdad fue «premio si vas rápido». Así que fue rápido y ya está.
La IA no aprende lo que queríamos. Aprende a conseguir mucho del premio que le dimos.
Es la pareja de lo que vimos en 3.3. Allí eran las fotos que le dimos las que torcían a la máquina; aquí es el premio que le dimos. Las dos cosas empiezan en lo que da la persona, no en la máquina.
Se acabó la parte 3
Hemos visto tres maneras de aprender: mostrar la respuesta, dar premios y castigos, y también las maneras de aprender mal.
Pero todo lo que hemos tratado hasta aquí era IA que ve: fotos, puntos, caminos.
En la parte 4 pasamos a la IA que maneja lenguaje. Las que más se usan hoy.
Lo que sostiene este capítulo
- 10 Michie, MENACE (1961) · "Experiments on the Mechanization of Game-Learning", The Computer Journal 6(3) (1963)