Es el último boom dentro de la industria de la Inteligencia Artificial. GPT-3 (siglas de Generative Pre-trained Transformer 3) es un modelo de lenguaje autorregresivo que utiliza el aprendizaje profundo para producir textos similares a los humanos. De la factoría OpenIA, son muchos los desarrolladores y especialistas en Inteligencia Artificial que están haciendo diversas pruebas con este código (te recomendamos que leas este artículo de Xataka para saber más acerca de GPT3).
Así que nosotros nos hemos puesto en contacto con varios especialistas en IA para saber su opinión sobre GPT-3. Esto es lo que nos han contado.
Andrés Torrubia
CEO y cofundador de FIXR
Es, de los tres, el único que ha tenido ocasión de probar GPT3, aunque antes de hacerlo ya realizó un podcast sobre GPT-3 en el que contaba sus primeras impresiones.
Para que veamos el potencial de esta herramienta, Andrés Torrubia ha introducido un texto de Xataka en el que le preguntábamos a él y a otros expertos de IA qué podíamos esperar de esta tecnología en una década. ¿Qué resultados dio GPT3? Según Torrubia, la máquina fue capaz de escribir textos como éste
Los expertos nos dicen que los avances son muy interesantes, pero aún quedan un montón de trabajo por hacer.
Andres Torrubia: “La Inteligencia Artificial es una parte fundamental en el futuro de las empresas y de la sociedad. La IA es una parte importante del cambio digital que está viviendo la sociedad, y por tanto es fundamental que la población entienda sus implicaciones, que son positivas. Pero la AI es más que la IA, y no es una tecnología nueva, sino que está más o menos en su infancia. La AI no es la IA y la IA no es la AI. En mi opinión, en el futuro todas las empresas van a tener una AI para el tratamiento de la información, que puede ser mucho más que la IA. Y esto es lo que hace que la IA sea tan importante, pues no se trata sólo de la tecnología, sino de la transformación de las empresas. Esta transformación es un proceso que tiene que ver con la sociedad, la forma en la que la gente quiere interactuar con las empresas y con el mundo. La AI nos permitirá construir empresas que cambien la forma en la que vivimos”.
“Si nos fijamos, el texto es bastante coherente. Tiene algunos derrapes típicos como “La AI no es la IA y la IA no es la AI” pero por lo demás podría colar”, comenta. Y, en tono irónico, añade, “como verás mi propio rol de “experto en IA” peligra”.
Para Torrubia, GPT3 es uno de los primeros ejemplos “donde vemos que sistemas de inteligencia artificial empiezan a funcionar con cierta fluidez y coherencia en algo que es (¿era?) patrimonio exclusivamente humano como el lenguaje”. En este sentido, compara GPT3 y todo el boom que ha provocado con lo ocurrido con anterioridad con los ordenadores que jugaban al ajedrez, “y luego nos ganaron”; o con Go, aunque “en visión por computador hay todavía situaciones en las que los humanos somos mejores”. “En lenguaje todavía estábamos lejos de que los ordenadores incluso pudieran escribir cosas moderadamente coherentes”, explica. Algo que GPT 3 ha venido a cambiar.
Por eso, las grandes aportaciones de este código se pueden resumir, según Torrubia, en dos. Por un lado, que GPT3 ha demostrado que “un modelo de IA no solo puede hacer las cosas mejor si le entrenas con más datos y más cómputo, sino que hace cosas nuevas que antes no era capaz de hacer”. Y, en este sentido, cree que “podemos anticipar un GPT3 más grande que haga lo mismo que GPT3 pero mejor o incluso que haga cosas nuevas”.
La segunda gran aportación es tener una interfaz muy natural. “Cuando interaccionamos con programas las entradas y salidas suelen estar muy encasilladas en formatos adaptados a los ordenadores, no a las personas. En un modelo como GPT3 una de las cosas interesantes es que escribes texto y simplemente GPT3 sigue escribiendo el resto. Esto abre posibilidades para que quien lo use no necesariamente sepa nada de programación”, detalla.
«GPT-3 tiene una interfaz muy natural, adaptado más a las personas, lo que abre posibilidades para que quien lo use no necesariamente sepa nada de programación»
Pero aún hay cosas que mejorar. Por ejemplo, que “el tamaño de lo que se le puede introducir y el GPT-3 es de 2048 “tokens” (más o menos equivalente a palabras) por lo que el contexto de cosas con sentido es pequeño”. Es decir, que aunque GPT 3 sea capaz de escribir texto, no podría, por ejemplo, acabar una novela “manteniendo la coherencia con el principio de la misma”.
“Otro defecto pero que se puede ver como una virtud es que, aunque no lo parezca a priori, memoriza más que razona”, ahonda Torrubia. “Cuando el GPT-3 se pone en marcha para calcular la siguiente palabra que tiene que aparecer en un texto siempre tarda lo mismo, no puede “darle más vueltas” a una entrada más complicada sino que siempre dedica el mismo esfuerzo de cómputo a predecir la siguiente palabra”.
Y, como otros expertos, Andrés Torrubia también alude a los sesgos que siempre tienen este tipo de sistemas. “La propia empresa que lo lidera (OpenAI) insiste en que los textos que puede generar pueden tener contenidos tóxicos (e.g. falsedades, insultantes, racistas, etc.)”. Por decirlo de alguna manera, se trata de un sistema que vierte palabras sin poner nada en contexto y sin “sentido crítico (como lo entendemos nosotros)”. Es decir, que “el sistema no sabe si lo que está escribiendo es bueno, malo, falso, verdadero, triste, cómico, etc.”.
Así pues, aunque GPT3 podría ser realmente útil para tareas como autocompletado de código (programación), mejores agentes conversacionales, inspiración para tareas creativas, resumir textos o realizar cambio de estilo de pequeños textos, este experto cree que, al menos a día de hoy, “no se puede poner un sistema de este tipo para tareas críticas sin una monitorización humana”.
En cualquier caso, este experto cree que “aún estamos muy lejos de los límites de estos modelos (tanto cuantitativa como cualitativamente)” por lo que, teniendo en cuenta además el progreso en IA, está convencido de que este mismo año “veremos modelos equivalentes superiores a GPT-3”.
Nerea Luis
Doctora en IA e ingeniera de Sngular
Aunque esta doctora en Inteligencia Artificial aún no ha podido probarlo, sí que se ha documentado e informado sobre cómo funciona. Para Nerea Luis, GPT-3 es “la viva confirmación” de que el área del Natural Language Processing “está avanzando más que nunca a pasos agigantados”.
Esta experta cree que podemos hacernos una idea del potencial de esta herramienta cuando lo hacemos desde el prisma de una conversación y del estilo del lenguaje a utilizar. “GPT-3 es un generador de textos que intentará dar una respuesta acorde a las expectativas esperadas por el usuario en cuanto a contexto y estilo que se ha fijado en el texto de muestra que el sistema recibe como entrada”, explica.
Más allá de haber sido entrenado con 175 billones de parámetros (lo que marca un nuevo hito en la industria), para ella la gran novedad y aportación de GPT3 es la técnica con la que trabaja, few-shot learning. “GPT-3 se ha entrenado con muchísimos corpus genéricos (como el de la imagen abajo de este párrafo) de Internet o de libros. Sin embargo, su poder va más allá gracias a que ha aprendido muchísimos patrones relacionados con el estilo, la estructura del texto y entre palabras/frase”, explica Nerea Luis. “GPT-3 es capaz de aprender nuevas formas de generar texto tan solo recibiendo unos pocos ejemplos como entrada. Esto hace que sea capaz de convertir lenguaje natural a código de programación o a patrones de diseño o que entienda conceptos como escribir un comentario al estilo Youtube, antónimos o verdadero/falso”, añade.
Sin embargo, el código no es perfecto y aún tiene mucho margen de mejora y de aplicación. Quizá por eso OpenAI ha abierto GPT-3 a través de un API para que, “precisamente, la gente explore los propios límites del sistema e invente usos que no habíamos pensado (ni nosotros ni sus creadores)”. En este punto, Nerea Luis recuerda que GPT-2 no se liberó directamente tras anunciarlo “porque se consideraba peligroso” mientras que GPT-3 se ha puesto en producción desde el día 1 mediante el acceso al API. “Parece que esta vez OpenAI ha hecho un razonamiento mayor sobre este tema”, expone.
«GPT-3 es la viva confirmación de que el área del Natural Language Processing está avanzando más que nunca a pasos agigantados”
Nerea Luis no niega que el potencial de GPT-3 puede usarse “para el mal” (ya con su predecesor se hablaba de generación automática de fake-news, entre otros) dado que “ningún sistema de IA es perfecto” y, en el caso de GPT3, “seguramente habrá formas de identificar fallos en el texto generado”. Sin embargo, cree que cada vez “habrá que trabajar más en pensamiento crítico a nivel individual y conocer la existencia de este tipo de herramientas o sistemas”.
Una de las cosas a mejorar será, con toda probabilidad, el problema de los sesgos (“aunque han hecho un mini análisis en el paper”) y el ‘cherry picking’ (es decir, que sólo llegue a los medios o redes sociales “los ejemplos wow y no otros donde su potencial no es tan grande o directamente falla”). Este mini-hilo del head of AI de Facebook lo cuenta muy bien», nos detalla.
Pero esta experta también está convencida de que veremos más avances en el próximo año “ahora que GPT-3 ha llamado la atención a nivel internacional”.
David Pereira
Responsable de Data & Intelligence para everis y del Centro de Excelencia global de IA para el grupo NTT DATA.
Tampoco David Pereira ha tenido la oportunidad de probarlo, aunque reconoce que, después de haber analizado todos los usos prácticos, tiene aún más ganas de hacerlo.
Pereira cree que estamos ante una demostración de que, “a pesar de muchas opiniones en contra, el Deep Learning todavía tiene recorrido para hacer avanzar el campo de la Inteligencia Artificial”, aunque para ello se incurra en un gran impacto medioambiental (debido a la potencia de cálculo y por tanto energía necesaria para entrenar un modelo del tamaño de GPT-3 (750 billones de parámetros vs los 1,5 billones de su “hermano pequeño” de 2019, GPT-2)”.
La gran aportación de GPT3 es “su contribución a la democratización de la IA. Con GPT-3, sin conocimientos técnicos de Inteligencia Artificial y sabiendo cómo llevar a cabo lo que ya se conoce como “priming” o “prompt engineering” (dar a GPT-3 unas “instrucciones” en lenguaje natural claras del texto que queremos que genere) cualquier persona va a tener a su disposición una IA muy avanzada y con un nivel de generalización muy amplio (es decir, que nos va a poder ayudar a resolver tareas de muy distinta índole)”.
Algo de lo que ya estamos siendo testigos en el mundo de la “codificación de software, la automatización del procesamiento de documentos o cualquier otro tipo de mensaje de texto (correos electrónicos), la generación automática de documentos creativos a partir de temáticas de nuestro interés o incluso la generación de cuadros de mando financieros a partir de la información que proporcionemos de nuestro departamento o empresa”. Para este experto, el límite a los casos de uso de GPT-3 va a venir dictado “por la creatividad que seamos capaces de lograr aplicando buenas técnicas de “priming” así como por sus defectos”.
Pero, además, Pereira cree que uno de los grandes retos, quizá el mayor, sea el que OpenAI está abordando durante la fase de beta cerrada de su API: “el control de los sesgos que GPT-3 ha demostrado ya en algunos ejemplos compartidos por usuarios en redes sociales. Al pedirle al algoritmo que genere tweets sobre conceptos como judío, negro, mujer, holocausto, los resultados obtenidos han sido claramente muy negativos”, explica.
«El límite a los casos de uso de GPT-3 va a venir dictada por la creatividad que seamos capaces de lograr y por el control de los sesgos»
Por eso, y además de controlar estos sesgos y su consecuente impacto sobre colectivos ya discriminados, “debemos ser conscientes de que cualquier modelo de lenguaje avanzado como GPT-3 (y sus futuras evoluciones) pueden implicar grandes riesgos para nuestra sociedad ya que puede ser usado para generar y distribuir información falsa y creíble por parte de la ciudadanía. La propia OpenAI es consciente de estos problemas y está abriendo a cuentagotas el acceso a la API, además de someter a un proceso de aprobación cualquier aplicación que haga uso de GPT-3”, añade.
En cualquier caso, el futuro parece que estará plagado de avances en este campo, “debido a la creciente democratización de la potencia de cálculo, que hará que vayamos viendo versiones más potentes de estos modelos”. Tras recordar algunos recientes avances en procesamiento del lenguaje o en modelos de traducción, Pereira cree que «la pregunta es cuándo veremos avances significativos en el diseño de la propia arquitectura de modelos como GPT-3, basada en el concepto de “Transformer” de 2017 y que nos lleven a otro salto claramente drástico en la forma de utilizar estos algoritmos”.
