ひとことにAIといっても用途によって、その性能は大きく変わってきます。まず、学術研究と商用製品の開発には明確な違いがあります。学術的なAI研究では、科学の限界を超えることが目標ですが、GPT-3はまさにそれを実現したと言われています。
OpenAIの研究者たちは、十分なパラメータとトレーニングデータがあれば、1つの深層学習モデルが、再トレーニングの必要なく複数のタスクを実行できることを示しました。
そして、このモデルをいくつかの一般的な自然言語処理ベンチマークでテストしました。
しかし、商用製品の開発では、GLUEやSQuADのようなベンチマークを相手にしているわけではありません。
特定の問題を解決し、既存の企業よりも10倍優れていて、それを大規模かつ費用対効果の高い方法で実行できなければなりません。
したがって、大規模で高価な深層学習モデルがあって、10種類のタスクを90％の精度で実行できれば、それは素晴らしい科学的成果です。
しかし、それらのタスクをそれぞれ99パーセントの精度で実行でき、価格も数分の1で済む、より軽量なニューラルネットワークがすでに10種類もあるとしたら、利益を追求する市場では競争に勝てなくなってしまいます。
GPT-3を実際のビジネス問題に適用することの難しさを裏付ける、マイクロソフトのブログからの興味深い引用があります。
マイクロソフトのAzure AI担当コーポレートバイスプレジデントであるエリック・ボイドは、「GPT-3の膨大な能力の発見は、自然言語学習で可能なことの限界を爆発させました。しかし、このような大規模で複雑なモデルを、現実のビジネスニーズを満たすためにコスト効率よく大規模に展開できるかどうかについては、まだ未解決の問題がありました。」
そしてそれらの疑問は、その特定のタスクのためにモデルを最適化することで解決しました。
マイクロソフトは非常に特殊な問題を解決したかったので、完全なGPT-3モデルは高価なリソースを浪費する過剰なものになってしまいます。
そのためGPT-3は、製品開発のための信頼できるプラットフォームというよりは、科学的な成果といえるでしょう。
しかし、適切なリソースと構成があれば、市場での差別化を図るための貴重なツールとなり、それを実現させようとしているのが、我々にもお馴染みのマイクロソフトなんです。