意味的プロービングデータセットの構築と言語モデルの評価: イタリア語の倒置を例に

今井咲良, GiovanniPasa, 小田博宗, 折田奈甫, 河原大輔

Abstract: 言語特有の現象を利用した意味的プロービングは、言語モデルにとって挑戦的な検証タスクであり、今後の言語モデルの発展のために必要不可欠である。しかし、英語以外の言語での実施が少ない状況にある。本研究では、多言語への展開を目的として、イタリア語の主語・述語の倒置に着目した意味的プロービングデータセットを作成し、事前学習済み BERT がどの程度の意味識別能力を有するかを観察する。イタリア語の容認性判断タスクを行い、文の持つ統語・意味的性質に対する容認性識別能力の変化を調査した結果、不定代名詞や再帰代名詞など意味解釈と関わりの深い性質をもつ文の容認性識別能力が大きく変動することがわかった。