弊社の研究者および学術機関に所属する複数の研究者で構成されるチームが開発した新しい自然言語のAIモデル「LUKE」が、質問応答の世界で最も有名なデータセットの1つであるSQuAD v1.1において、BERT（2018年にGoogleが発表）、XLNet（2019年にGoogleが発表）、SpanBERT（2019年にFacebookが発表）などの最先端のモデルをおさえて世界最高の回答精度を獲得しました。

SQuAD v1.1のリーダボード（2020年4月24日現在）

https://rajpurkar.github.io/SQuAD-explorer/

近年、自然言語処理の様々なタスクにおいて、BERTやXLNet等のcontextualized embeddingsと呼ばれるAIのモデルが重要な役割を果たすようになってきています。しかしこうしたモデルは言語に関する知識については優れた学習を行えるものの、実世界に関する知識をうまく学習できていないことが知られています。

LUKEは、Wikipediaに記述されている知識をエンティティ（Wikipediaのエントリ）を基軸に集約し、様々な実世界の知識を精緻に学習させた新しいモデルです。このモデルは実世界に関する知識を細かく記憶しているため、さまざまな実用的な自然言語処理の問題に対して高い性能を発揮します。 また、LUKEは、知識や推論が必要な難しい質問を集めた質問応答データセットReCoRDにおいても、BERT、XLNetなどの最先端のモデルをおさえてリーダーボード上で1位を獲得しています。

ReCoRDデータセットのリーダボード（2020年4月24日現在）

https://sheng-z.github.io/ReCoRD-explorer/