¿Qué es GPT-3 de OpenAI y por qué se habla tanto de ello?

En las últimas semanas todos hemos leído titulares sobre ChatGPT, el sistema de chat basado en el modelo de lenguaje por Inteligencia Artificial GPT-3. Y sobre este lenguaje, el Generative Pre-trained Transformer 3, vamos a profundizar en este artículo

Qué es GPT-3 (generative pre trained transformer 3)

GPT-3, creado por OpenAI, significa Generative Pre-trained Transformer 3 y hace referencia, en el campo de la inteligencia artificial (IA), a un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para diversas tareas relativas a la comprensión y generación de lenguaje. Decimos que es generativo porque genera secuencias largas de texto original, y preentrenado porque no se ha creado con ningún conocimiento de dominio.

Es una red neuronal gigantesca y, como tal, forma parte del segmento de aprendizaje profundo del aprendizaje automático, que en sí mismo es una rama de la inteligencia artificial. Este tipo de modelo también se están desarrollando para aplicación práctica en empresas.

El programa es el mejor hasta el momento para producir textos que pueden confundirse con otros escritos por un humano

Esta tercera generación de los modelos de predicción de lenguaje GPT tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado. Forma parte de una tendencia en sistemas de procesamiento de lenguaje natural (PLN) basados en «representaciones de lenguaje pre-entrenadas». El PLN tiene la generación del lenguaje natural (lenguaje humano) como uno de sus componentes principales.

Con este algoritmo, el usuario comienza a escribir un párrafo y el sistema completa el resto de la forma más coherente posible, con contenido original. Y es solo un ejemplo. GPT-3 despierta interés y genera nuevas expectativas, ya que sus resultados muestras las posibilidades de una inteligencia artificial general.

Uno de los retos más destacados para GPT-3, como para la mayoría de los algoritmos de aprendizaje automático, son los sesgos

En los modelos de lenguaje, si el algoritmo aprende de aquello que lee y, por tanto, si se lo entrena a partir de textos de internet, pueden colarse sesgos de género o racistas, entre otros.

GPT-3 fue presentado oficialmente el 28 de mayo de 2020, a través de la publicación de la investigación con coautoría de investigadores e ingenieros de OpenAI y de la Universidad John Hopkins.

La historia de OpenAI

OpenAI es la empresa creadora de ChatGPT y, tal como ofrece la información corporativa, nació como un laboratorio pequeño sin fines de lucro. En origen, su objetivo era crear Inteligencia Artificial segura para la humanidad, con transparencia. Pero actualmente, esta empresa está inmersa en un momento bien distinto, ya que la necesidad de financiación le hace tomar decisiones no tan altruistas. En concreto, OpenAI ya proyecta 1.000 millones de dólares en ingresos para 2024.

Fundada en 2015 como organización sin fines de lucro de EEUU, se convirtió en uno de los laboratorios pioneros en el desarrollo de IA segura, es decir, aquella que beneficiara equitativamente a la sociedad, superando los sesgos habituales hasta ahora en el campo de la IA general.

La génesis de OpenAI se produjo alrededor de una mesa, en una cena de Elon Musk, Sam Altman e Ilya Sutskever, en la cual se compartió la preocupación de que la IA se convirtiera en una amenaza

Con una primera inversión de 1.000 millones de dólares y los mejores jóvenes expertos en IA a nivel mundial, Musk y Altman iniciaron su proyecto con una misión particular: para que la IA no sea negativa, o un riesgo, no puede ser algo restrictivo, sino que debe estar al alcance de todo el mundo.

Los primeros resultados

En 2018, por conflicto de intereses, Elon Musk renunció a participar en el consejo de administración de OpenAI.

En 2019 se presentó GPT-2, el modelo de lenguaje avanzado que redactaba párrafos completos, imitando el estilo de la frase fuente.

Y en 2020 llegó GPT-3, con 175.000 millones de parámetros de aprendizaje automatizado. Este modelo es capaz de generar textos extensos de gran calidad, similares a los redactados por cualquier persona. En esta ocasión, GPT-3 tuvo distribución comercial para los desarrolladores.

Para poder obtener estos resultados, en 2019 la organización sin fines de lucro se reestructuró financieramente, encaminándose hacia los beneficios mediante OpenAI LP, que sí tenía fines de lucro. A partir de ese momento es cuando Microsoft se incorporó a la organización como inversor y socio preferente. Resultado de todo ello fue que Microsoft ofrecía, a sus clientes desarrolladores, productos y soluciones tecnológicas que integraban modelos de GPT-3.

Las organizaciones y los usuarios utilizan GPT-3 (generative pre trained transformer 3) para infinidad de tareas, desde la redacción de ficción creativa hasta la escritura de código de aprendizaje automático (machine learning). Pero si el desarrollo de GPT-3 resulta exitoso, las aplicaciones podrían ser muchísimas y se ha abierto un nuevo capítulo en el aprendizaje automático.