LINE、日本語に特化した「超巨大言語モデル」を開発へ「日本語版GPT-3か」
AI..
LINE株式会社は11月25日、NAVERと共同で、日本語に特化する「超巨大言語モデル」の開発および、その処理に必要なインフラ構築に取り組むと発表した。日本語に特化した「超巨大言語モデル」開発は世界初の試みとうたう。
膨大なデータから生成された汎用言語モデル「超巨大言語モデル」は、人工知能（AI）で、より自然な言語処理・言語表現を可能にするというもの。
従来の言語モデル「特化型言語モデル」は各ユースケース（Q&A、対話など）に対して、自然言語処理エンジニアが個別に学習する必要があった。一方で、「汎用言語モデル」はOpenAIが開発した「GPT」や、Google（グーグル）の「T5」に代表される。
これらは、新聞記事や百科事典、小説、コーディングなどの膨大な言語データを学習させた言語モデルを構築。そのうえでコンテキスト設定をするために、ブログの書き出しやプログラミングコードの一部などを与える「Few-Shot learning」を実行するだけで、さまざまな言語処理（対話、翻訳、入力補完、文書生成、プログラミングコードなど）が可能になり、個々のユースケースを簡単に実現できることが期待される。
今回、LINEとNAVERは、日本語に特化した「汎用言語モデル」を開発するにあたり、1750億以上のパラメーターと100億ページ以上の日本語データを学習データとして利用予定という。この数は現在、世界に存在する日本語をベースにした言語モデルのパラメーター量と学習量を大きく超えるとのこと。パラメーター量と学習量は今後も拡大するとしている。
なお、本取り組みにより、日本語におけるAIの水準が格段に向上し、日本語AIの可能性が大きく広がることが予想されるという。
700ペタフロップス以上の高性能スーパーコンピュータを活用
現在、世界を見渡しても、OpenAIが開発し、米Microsoft（マイクロソフト）がライセンスを保有する超巨大言語モデル「GPT-3」は英語のみ。他言語の開発についても、ごく少数の取り組みが発表されている現状と言える。
このような状況になった理由の1つとして、高度なインフラ環境の必要性が挙げられる。超巨大言語モデルの処理には、数百ギガバイトものメモリーが必要と考えられており、世界でも指折りの性能を持つスーパーコンピュータなど、高度なインフラ環境が必要とされる。
今回、LINEはNAVERと共同で、同モデルを迅速かつ、安全に処理できる700ペタフロップス以上の性能を備えた世界でも有数とうたうスーパーコンピュータを活用した。超巨大言語モデルの土台となるインフラの整備を年内に実現予定としている。
LINEは今回の発表に際して、「英語にて実現している精度に匹敵する、またはそれ以上の、日本語の超巨大言語モデルを創出してまいります」と意気込みを述べている。
なお、開発した超巨大言語モデルは、新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとした同社のサービスへの活用を予定しているという。そのほか、第三者との共同開発やAPIの外部提供についても検討予定とのこと。
SNS上では今回の発表について、「すご」「気になる」「日本語版GPT-3か」など、さまざまな書き込みが見られる。Ledge.ai編集部では、、LINEとNAVERによる今後の発表に注目したい。
＞＞ニュースリリース
「高精度過ぎる文章を作る」Microsoftが言語モデルGPT-3の独占的ライセンスを取得
なお、Ledge.ai編集部では、米Microsoftが超巨大言語モデル「GPT-3」のライセンスを保有した件について、記事を公開している。気になる人は以下をチェックしてほしい。
引用先はこちら：LINE、日本語に特化した「超巨大言語モデル」を開発へ「日本語版GPT-3か」
