GPT-3

GPT-3
Parte de OpenAI API
Información general
Tipo de programa	LLM
Lanzamiento inicial	28 de mayo de 2020
Serie OpenAI API
GPT-2	GPT-3	ChatGPT y GPT-4
Enlaces
Sitio web oficial Repositorio de código
[editar datos en Wikidata]

Generative Pre-trained Transformer 3 (Transformador generativo preentrenado) , conocida por sus siglas (GPT-3), es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana. Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la serie GPT, creados por OpenAI, un laboratorio de investigación de inteligencia artificial con sede en San Francisco.^[1]​ La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado, lo cual supera la magnitud de su predecesor, GPT-2. GPT-3 fue introducido en mayo de 2020 y, hasta julio de 2020, se encontraba en fase beta.^[2]​ Es parte de una tendencia en sistemas de procesamiento de lenguaje natural (NLP) basados en "representaciones de lenguaje pre-entrenadas".^[3]​ Previo a la liberación de GPT-3, el modelo de lenguaje más grande era Turing NLG desarrollado por Microsoft, presentado en febrero de 2020, con una capacidad diez veces menor que el de GPT-3.

GPT-3 fue presentado oficialmente el 28 de mayo de 2020, a través de la publicación de la investigación realizada en coautoría por 31 investigadores e ingenieros de OpenAI y de la Universidad John Hopkins,^{[nota 1]}​ titulada Language Models are Few-Shot Learners.^[3]​

La calidad de los textos generados por GPT-3 es tan alta que es difícil distinguirlos de aquellos escritos por humanos, lo cual ha generado la puntualización de los beneficios y riesgos que esto conlleva. En la publicación del 28 de mayo de 2020, los creadores advierten sobre peligros potenciales de GPT-3 al tiempo que solicitan ayuda para mitigar dichos riesgos. David Chalmers, filósofo australiano, describió a GPT-3 como "uno de los más interesantes e importantes sistemas de inteligencia artificial nunca antes creados.".^[4]​

Por otro lado, se ha señalado la carencia de coherencia en algunos textos debido a que el procesamiento de palabras llevado a cabo por GPT-3 es meramente sintáctico, sin atender a la semántica del texto.^[5]​

1. ↑ Shead, Sam (23 de julio de 2020). «Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab». Consultado el 4 de septiembre de 2020.  Se liberaron cuatro preimpresiones entre el 28 de mayo 28 y el 22 julio de 2020
2. ↑ Bussler, Frederik (21 de julio de 2020). «Will GPT-3 Kill Coding?». Towards Data Science. Consultado el 3 de septiembre de 2020. 
3. ↑ ^{a b} Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (22 de julio de 2020). Language Models are Few-Shot Learners. arXiv:2005.14165. 
4. ↑ Chalmers, David (20 de julio de 2020). «GPT-3 and General Intelligence». En Weinberg, ed. Daily Nous. Consultado el 3 de septiembre de 2020. 
5. ↑ Marcus, Gary; Davis, Ernest (22 de agosto de 2020). «GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about». MIT Technology Review. Consultado el 3 de septiembre de 2020. 

Error en la cita: Existen etiquetas <ref> para un grupo llamado «nota», pero no se encontró la etiqueta <references group="nota"/> correspondiente.