株式会社ユーザベースとの業務提携の一環として、「ニューステキスト内の企業名抽出」の課題を解決するため、日本語LUKE​​をベースとしたモデルを開発し、公開いたしました。

日本語LUKEはトークナイザとしてSentencepieceを使っていますが、これをWordPieceに変更することで、従来の日本語LUKEと比較してNER等の情報抽出系タスクに適したモデルとなっています。

詳細につきましては、ユーザベースのテックブログをご参照下さい。

https://tech.uzabase.com/entry/2023/09/07/172958​​