GPT-2

Generative Pre-trained Transformer 2 (GPT-2)

원저자	OpenAI
발표일	2019년 2월 14일(5년 전)(2019-02-14)
저장소	https://github.com/openai/gpt-2
대체한 소프트웨어	GPT-1
대체된 소프트웨어	GPT-3
종류	변환기 언어 모델
라이선스	MIT[1]
웹사이트	openai.com/blog/gpt-2-1-5b-release/

시리즈
인공지능
주요 목표 지식 추론 계획 기계 학습 자연어 처리 컴퓨터 비전 로봇공학 인공 일반 지능
접근 심볼릭 딥 러닝 베이즈 네트워크 진화 알고리즘
철학 윤리 실존적 위험 튜링 테스트 중국어 방 통제 문제 친절한 AI
역사 연표 진행상황 AI 겨울
기술 애플리케이션 프로젝트 프로그래밍 언어
용어 용어
v t e

기계 학습과 데이터 마이닝
패러다임 지도 학습 비지도 학습 온라인 기계 학습 메타-학습 준지도 학습 자기 지도 학습 강화 학습 규칙 기반 기계 학습 양자 기계 학습
문제 분류 클러스터 분석 회귀 분석 클러스터 분석 이상 탐지 데이터 정제 연관 규칙 구조 기반 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모달 학습
지도 학습 (통계적 분류 • 회귀 분석) 결정 트리 학습법 앙상블 학습법 (배깅, Boosting, 랜덤 포레스트) 최근접 이웃 탐색 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터 분석 BIRCH 계층적 군집화 k-평균 알고리즘 기댓값 최대화 알고리즘 DBSCAN OPTICS Mean-shift
차원 축소 인자 분석 CCA 독립 성분 분석 LDA 음수 미포함 행렬 분해 주성분 분석 t-SNE
구조화 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형 잠재 디리클레 할당
이상 탐지 k-최근접 이웃 알고리즘 국소 특이점 요인
인공 신경망 오토인코더 인지 컴퓨팅 딥 러닝 딥드림 생성적 적대 신경망 확산 모델 다층 퍼셉트론 순환 신경망 LSTM GRU 제한된 볼츠만 머신 변환기 비전 자기조직화지도 합성곱 신경망
강화 학습 Q 러닝 SARSA 시간차 학습
인간 참여학습 러닝 커브 크라우드소싱 인간 참여형
모델 진단 러닝 커브
이론 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 PAC 러닝 통계적 학습이론 VC 이론
회의/저널 NeurIPS ICML ICLR ML JMLR
관련 문서 기계 학습 알고리즘 목록 기계 탈학습 지식 증류 유사도 학습 대조 학습
v t e

생성적 사전학습 변환기 2(Generative Pre-trained Transformer 2) 즉 GPT-2는 OpenAI에서 만든 인공지능이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다.

2019년 2월^[2][3][4][5] OpenAI에서 만든 오픈 소스 인공 지능 대규모 언어 모델로서 GPT-2는 텍스트를 번역하고, 질문에 답하고, 구절을 요약하고,^[6] 때때로 인간과 구별할 수 없지만^[7] 반복될 수 있는 수준의 텍스트 출력을 생성한다. 범용 학습기이다. 이러한 작업을 수행하도록 특별히 훈련되지 않았으며 이러한 작업을 수행하는 능력은 다음 항목을 임의의 순서로 정확하게 합성하는 일반적인 능력의 확장이다. GPT-2는 OpenAI의 2018 GPT 모델("GPT-1")의 "직접 확장"으로 생성되었으며^[8] 매개변수 수와 훈련 데이터 세트 크기가 모두 10배 증가했다.^[5]

GPT-2는 심층 신경망, 특히 이전의 반복 및 컨볼루션 기반 아키텍처 대신 어텐션을 사용하는 변환기 모델을 구현하는^[8] 사전 훈련된 생성 변환기 아키텍처를 가지고 있다.^[9][10] 어텐션 메커니즘을 통해 모델은 가장 관련성이 높은 것으로 예측되는 입력 텍스트 세그먼트에 선택적으로 초점을 맞출 수 있다.^[11][12] 이 모델은 병렬화를 크게 증가시키고 RNN/CNN/LSTM 기반 모델에 대한 이전 벤치마크를 능가한다.^[8]

OpenAI는 2019년 11월 GPT-2 언어 모델의 전체 버전(15억 개의 매개변수 포함)을 출시했다.^[13]