OpenAIのGPT-3は、2020年半ばから一部の顧客に提供しています。強力なテキストAIは、現在300以上のアプリで使用されています。しかし、GPT-3へのアクセスをまず規制し、次に販売するという決定は、AI研究者やイーロン・マスクのような元投資家からの批判をすぐに受けた。
GPT-3とふたつのバリアント
そこで、ゆるやかに組織されたAI研究者のグループであるEleuther AIは、数ヶ月前からGPT-3のオープンソース・バリアントの開発に取り組んでいます。 現在、2つのバリアントがあります。「GPT-Neo」と「GPT-NeoX」。
GPT-NeoXはグラフィックカードで学習され、最終的に1750億から2000億のパラメータを持つことが期待されています。
これは、最大のパラメータを持つGPT-3バージョンの1750億と同等かそれ以上の性能です。
800ギガバイトのテキストデータセット「The Pile」を使ったAIトレーニングは、早ければ8月中に完了する予定です。
一方、GPT-Neoは、Googleが無償で提供しているTPUチップで学習します。
しかし、Googleが提供する無料トレーニングには制限があるため、GPT-Neoプロジェクトでは、より小さなテキストAIしか提供できません。
GPT-3のオープンソース版
最大規模の27億円を投じて開発されたモデル。
今回、Eleuther氏はGPT-Neoの2つのバージョンをリリースしました。
2つのモデルは13億と27億のパラメータを持っています。一方、GPT-2の最大のバリエーションは15億個のパラメータを持っています。
Eleuther氏によると、この2つのバリエーションは、OpenAIの「GPT-3 Ada」のような、27億個のパラメータを持つGPT-3の小型版と同等の性能を持つという。
GPT-Neoの最大の亜種は、研究者がユニコーンを発見したというこの段落のように、すでに信頼性のあるテキストを生成することができます。
「アンデス山脈の人里離れた未開拓の谷間に、ユニコーンの群れが生息しているという衝撃的な発見がありました。さらに驚いたのは、ユニコーンが完璧な英語を話していたことだ。
最初は戸惑いましたが、異質な外見にもかかわらず、ゲルマン語の話し方にもかかわらず、彼らは普通のユニコーンであることがわかりました。
彼らがエイリアンではないことがわかったのは良かったのですが、彼らの奇妙な話し方には少し戸惑いがあり、彼らの認識能力の初歩を説明することができませんでした。
しかし、彼らはおそらくこの原始人と何らかの関係があり、そこに住んでいるとさえ考えられていたに違いありません。それは、彼らと外国語でコミュニケーションを取ることを可能にする技術に出会ったからです。」
少し突飛な気がしますが、読める文章にはなっていますね。