News

Studio OusiaのAIがクイズチャンピオン達と対戦し勝利

2017-12-14

ニューラルネットワークやAIに関する世界最高峰の国際会議NIPS(The Neural Information Processing Systems, 米国カリフォルニア州で12/4-9に開催)で行われた質問応答に関するコンペティション「Human-Computer QA Competition」でStudio OusiaのAIが人間のチャンピオンを含むクイズエキスパート6人組のチームと対戦を行い、465対200のスコアをつけて勝利しました。

上図:左側が人間のクイズエキスパート6人チームのスコア、右側がStudio Ousiaのシステムのスコア。

この対戦は、NIPSのコンペティショントラックの一つとして開催されている「Human-Computer Question Answering Competition」の中で行われました。 このコンペティションでは、参加者はクイズボウルと呼ばれる、クイズ対戦ゲームを解くAIを開発することを求められます。 そして、提出したAIは、他の提出されたAIとの対戦をして性能を評価され、このAI同士の対戦で勝利したAIが最終的に人間のチームと対戦するということになっています。クイズボウルは順に読まれる質問文から回答を予測して早押しで答えるゲームで、いかに早く、かつ正確に回答を出せるかが焦点になります。コンペティションに参加したAI同士が事前に対戦を行った結果、10月にStudio Ousiaのシステムが優勝していました。

対戦した人間のチームは、クイズ番組「ジェパディ!」の優勝者でテレビ番組「Who Wants to be a Millionaire)」で過去に25万ドル獲得したことのあるRaj Dhuwalia氏や、数学者で、過去にいくつかの米国のクイズコンペティションで優勝した経験を持つDavid Farris氏などの有力なクイズプレーヤーを含む六名で構成されました。

クイズ対戦が行われたNIPSの会場では、点差が広がるにつれて人間の正解が出ると会場が盛り上がり、機械の音声で回答が読み上げられ正解の合図が流れると、会場が静まり返るというような状況が繰り広げられていたようです。

このコンペティションは2016年に引き続き二度目の開催で、前回と同様にメリーランド大学、スタンフォード大学、Allen Institute for AI等に所属する質問応答の分野で著名な研究者がオーガナイズしています。

今回のシステムは、弊社で開発している質問応答システムであるQA ENGINEの製品の開発の過程で得られたノウハウを元に二つのディープラーニングを用いた自然言語理解モデルと、複数の情報検索モデルから出力された複数の特徴を、アンサンブル学習を用いて組み合わせて開発されています。 なお、QA ENGINEについては日本語の対応が可能となっており、すでにチャットボットのエンジンとして活躍しています。 また、本システムは、弊社と奈良先端科学技術大学院大学(NAIST)で行っている共同研究の成果の一つでもあります。


掲載記事:


対戦の様子:


スライド:

全米クイズ王チームに勝利した早押しクイズAIの仕組み from Ikuya Yamada


Studio Ousia’s Quiz Bowl Question Answering System at NIPS HCQA 2017 from Ikuya Yamada


論文:


参考資料:クイズボウルについて

クイズボウルは英語圏を中心に幅広い年齢層に人気のあるクイズトーナメントです。米国を中心に、年間を通じてクイズボウルのトーナメントが開催されています。また、AIブームのきっかけとなったと言われる、クイズ番組「ジェパディ!」でのIBM Watsonと人間の対戦で、IBM Watsonに敗れたクイズ王Ken Jenningsは、クイズボウラーとしても活動していたことが知られています。

クイズボウルの特徴の一つは、早押しで回答する必要がある点です。 質問文は、早い段階で答えるのは難しく、読み上げられていく毎に簡単に回答できるように書かれていて、質問の早い段階で正解した場合は15ポイント、そうでない場合は10ポイントがもらえるルールになっています。また、一度間違えると同じプレーヤーは再度回答することが出来ないため、回答の精度を維持することも重要です。 例えば、下記の質問文の回答は「豊臣秀吉」ですが、回答について知っていたとしても、質問文の早い段階で回答するのは、難易度が高いことがお分かりいただけると思います。

質問の例:

He displaced one of his rivals by giving the Kanto domain to them, which precipitated that family's move away from the Chubu region. This man redefined class relationships based on kokudaka, or amount of agricultural production. He became so enraged at his nephew Hidetsugu that he killed thirty of Hidetsugu's female relatives, and he failed to get past Korea in an attempt to conquer China. In order to enforce an order that allowed only samurai to bear arms, this man started the Great Sword Hunt. For 10 points, name this successor of Oda Nobunaga who unified Japan before being succeeded by the namesake of a shogunate, Tokugawa Ieyasu.

本件に関するお問い合わせ

株式会社Studio Ousia 事業開発部 info (at) ousia.jp