News

AIモデル LUKE がHugging Face社のTransformersに追加されました

2021-05-24

弊社のチーフサイエンティスト山田らが提案したAIモデル LUKE米Hugging Face社が提供するTransformersライブラリ version 4.6.0に追加され、使用が可能となりました。これによって、LUKEが世界の標準的なAIモデルの一つとして、開発者が非常に簡単に使えるようになりました。 なお、日本人を中心としたチームが開発したモデルがTransformersに採用されたのは今回が初めてです。

Huggingface社が提供するTransformersは自然言語処理に用いられる様々なAIモデルの実装を提供するライブラリです。Transformersでは多くの標準的なAIモデルが提供されており、モデルの訓練・評価・共有をわずかなコードで可能とします。 今回の取り組みを通じて、LUKEが活用しやすくなり、多くの実用的な課題解決につながるものと考えております。 Transformersについての詳細とライブラリの入手はTransformersライブラリのウェブページを参照ください。

LUKEは弊社の研究者および学術機関に所属する複数の研究者で構成されるチームが開発した新しい自然言語のAIモデルです。LUKEは独自開発の技術(masked entity prediction, entity-aware self-attention mechanism)を活用することで、言語モデルが獲得している知識に加え、Wikipediaなどに蓄積されている世界に関する知識をより詳細に獲得することができるようになりました。 これによってLUKEは、下記の4つの主要な自然言語処理のタスクで最高精度を記録しました:

  • 質問応答(SQuAD 1.1、ReCoRDデータセット)
  • 固有表現抽出(CoNLL-2003データセット)
  • 関係抽出(TACREDデータセット)
  • 型分類(Open Entityデータセット)

以下のColab Notebookを通じてウェブ上からLUKEを使って上述のタスクを解くコードを実行することができます。

今後は、LUKEの日本語を含む多言語対応に取り組んで参ります。また、ビジネス現場で最先端技術の利活用を実現するべく、LUKEを弊社最新モデル Sōseki に組み込み、より精度の高いAIエンジンの開発につなげて参ります。