Back GPT-2 Catalan GPT-2 English GPT-2 Spanish جی‌پی‌تی ۲ Persian GPT-2 Finnish जीपीटी-2 Hindi GPT-2 Korean GPT-2 Portuguese GPT-2 Swedish GPT-2 Ukrainian

GPT-2

Generative Pre-trained Transformer 2 (GPT-2)
GPT-2がプロンプトを補完する様子を示すHugging FaceのWrite With Transformerのウェブサイト。Wikipediaのこの記事から得たテキストをプロンプトとして用いた。最初のプロンプトに続くハイライトされたテキストはすべて最初の補完候補から機械的に生成されたもので、それ以外の編集はない。
作者 OpenAI
初版 14 February 2019年 (14 February 2019)
リポジトリ https://github.com/openai/gpt-2
前身 GPT-1
後継 GPT-3
種別 Transformer 言語モデル
公式サイト openai.com/blog/gpt-2-1-5b-release/

Generative Pre-trained Transformer 2（GPT-2） は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである[1][2][3][4]。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い[5]、時には人間と見分けがつかないようなテキスト出力を生成するが[6]、長い文章を生成すると繰り返したり意味不明な表現になることもある[7]。GPT-2は、多目的学習器であり、特定のタスク（仕事）を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある[8][5]。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され[9]、パラメータ数と訓練用データセットがともに10倍に増加した[4]。

GPTアーキテクチャは、ディープラーニング（深層学習）によるニューラルネットワーク、具体的には「トランスフォーマー（Transformer）モデル」を実装しており[9]、これまでの回帰型や畳み込み型のアーキテクチャの代わりに「アテンション」を使用している[10][11]。アテンション機構により、モデルは、入力テキストの中から最も関連性が高いと予測される部位に選択的に焦点を当てることができる[12][13]。このモデルでは、並列化を大幅に向上させることができ、RNN／CNN／LSTMに基づくモデルのこれまでのベンチマークよりも優れた性能を発揮している[9]。

OpenAIは、2019年11月、GPT-2言語モデルの完全版（15億個のパラメータを含む）を公開した[14]。GPT-2に続いて、1,750億個のパラメータを含むGPT-3[15]が、2020年に公開される予定だった[16]（そのソースコードは公開されていない）。GPT-3へのアクセスは、OpenAIとマイクロソフトが提供するアプリケーションプログラミングインタフェース（API）を通じてのみ提供されている[17]。

  1. ^ 引用エラー: 無効な <ref> タグです。「voxxy2」という名前の注釈に対するテキストが指定されていません
  2. ^ 引用エラー: 無効な <ref> タグです。「vb」という名前の注釈に対するテキストが指定されていません
  3. ^ 引用エラー: 無効な <ref> タグです。「verge2」という名前の注釈に対するテキストが指定されていません
  4. ^ a b 引用エラー: 無効な <ref> タグです。「openai」という名前の注釈に対するテキストが指定されていません
  5. ^ a b 引用エラー: 無効な <ref> タグです。「badpaper」という名前の注釈に対するテキストが指定されていません
  6. ^ 引用エラー: 無効な <ref> タグです。「tds2」という名前の注釈に対するテキストが指定されていません
  7. ^ 引用エラー: 無効な <ref> タグです。「guardian」という名前の注釈に対するテキストが指定されていません
  8. ^ 引用エラー: 無効な <ref> タグです。「gpt2paper」という名前の注釈に対するテキストが指定されていません
  9. ^ a b c 引用エラー: 無効な <ref> タグです。「gpt1paper」という名前の注釈に対するテキストが指定されていません
  10. ^ 引用エラー: 無効な <ref> タグです。「attention」という名前の注釈に対するテキストが指定されていません
  11. ^ 引用エラー: 無効な <ref> タグです。「attentionRNNs」という名前の注釈に対するテキストが指定されていません
  12. ^ 引用エラー: 無効な <ref> タグです。「jointly」という名前の注釈に対するテキストが指定されていません
  13. ^ 引用エラー: 無効な <ref> タグです。「effective」という名前の注釈に対するテキストが指定されていません
  14. ^ 引用エラー: 無効な <ref> タグです。「15Brelease」という名前の注釈に対するテキストが指定されていません
  15. ^ 引用エラー: 無効な <ref> タグです。「gpt3paper」という名前の注釈に対するテキストが指定されていません
  16. ^ 引用エラー: 無効な <ref> タグです。「Arram_20200709」という名前の注釈に対するテキストが指定されていません
  17. ^ 引用エラー: 無効な <ref> タグです。「GPT3microsoft」という名前の注釈に対するテキストが指定されていません

Rich TVX News Network Site

Rich TVX News Network Info

© MMXXIII Rich X Search. We shall prevail. All rights reserved. Rich X Search