Vamos a ponernos en contexto

2018 fue un año de grandes avances tecnológicos, con nuevos modelos de PNL (programación neurolingüística) que rompen todos los récords en tareas y ejercicios que van desde el análisis de sentimientos hasta la respuesta a múltiples preguntas.

Hubo un software con nombre OpenAI GTP que fue eliminado sin miramientos de la clasificación GLUE (The General Language Understanding Evaluation) por BERT.

Una de las razones de la caída de GPT fue que fue pre-entrenado usando el modelo del lenguaje tradicional, es decir, prediciendo la siguiente palabra en una oración.

Por otro lado, el BERT fue pre-entrenado usando modelos de lenguaje enmascarado, lo cual es más bien un ejercicio de llenar los espacios en blanco: adivinar palabras perdidas (“enmascaradas”) dadas las palabras que vinieron antes y después. Esta arquitectura bidireccional permitió al BERT aprender representaciones más ricas y, en última instancia, obtener mejores resultados en todos los puntos de referencia de la PNL.

Así que a finales de 2018, parecía que el OpenAI GPT sería conocido para siempre en la historia como el predecesor del BERT.

Pero 2019 ha contado una historia diferente. Resulta que la arquitectura unidireccional que llevó a la caída de GPT en 2018 le dio poder para hacer algo para lo que BERT nunca pudo (o al menos no fue diseñado): sacarse esta historia de la manga a través de unas oraciones insertadas en el software:

Por si alguien no entiende inglés dejaremos la traducción del texto.

El software se alimentó con el siguiente texto:

En un hallazgo impactante, un científico descubrió una manada de unicornios que viven en un valle remoto, previamente inexplorado, en las montañas de los Andes. Aún más sorprendente para los investigadores fue el hecho de que los unicornios hablaran un inglés perfecto.

El software devolvió lo siguiente:

En homenaje a su distintivo cuerno, el científico bautizó a la población como el Unicornio de Ovidio. Estos unicornios de cuatro cuernos y de color blanco plateado eran previamente desconocidos para la ciencia.

Ahora, después de casi dos siglos, el misterio de lo que provocó este extraño fenómeno se resuelve finalmente.

El Dr. Jorge Pérez, un biólogo evolutivo de la Universidad de La Paz, y varios compañeros estaban explorando las montañas de los Andes cuando encontraron un pequeño valle, sin otros animales o humanos. Pérez notó que el valle tenía lo que parecía ser una fuente natural rodeada por dos picos de roca y nieve plateada.

Debemos tener muy en cuenta que el modelado del lenguaje de izquierda a derecha es más que un ejercicio de pre-entrenamiento; también permite una tarea muy práctica: la generación del lenguaje. Si puedes predecir la siguiente palabra en una oración, puedes predecir la palabra después de eso, y la siguiente después de eso, y muy pronto tendrás…. muchas palabras. Y si el modelo de su lenguaje es lo suficientemente bueno, estas palabras formarán oraciones significativas, y las oraciones formarán párrafos coherentes, y estos párrafos formarán, bueno, casi cualquier cosa que usted desee.

Y el 14 de febrero de 2019, el modelo lingüístico de OpenAI fue lo suficientemente bueno como para escribir historias de unicornios parlantes, generar noticias falsas y escribir manifiestos anti-reciclaje. Incluso se le dio un nuevo nombre: OpenAI GPT-2.

No hubo avances algorítmicos fundamentales; esta fue una hazaña de la ampliación. El GPT-2 tiene la friolera de 1.500 millones de parámetros (10 veces más que el GPT original) y está entrenado en el texto de 8 millones de sitios web.

Fake news, peligros, etcétera.

Mucho se habla de los peligros de este software, de hecho, tristemente casi sólo se habla sobre estos. Parece que a la comunidad hispanohablante apenas ha importado mucho el gran avance que se ha realizado en este campo, si no que se ha criticado y ha puesto en tela de juicio una vez tras otra lo peligroso que es y que puede llegar a ser. Si bien es cierto, es una pena que un acontecimiento tecnológicamente más importante que la llegada del hombre a la luna no haya calado en nuestra sociedad, o más bien en nuestros países.