採用AIに「自己選好バイアス」の課題、Qwen等で自モデルの生成物を高く評価

メリーランド大学などの研究チームは、AIモデルが「自身と同じモデルが生成した文章」を過大評価する「​​自己選好バイアス（身内びいき）​​」についての調査結果を発表しました。この調査は履歴書の要約評価などを対象としており、アリババの「​Qwen 2.5-72B​」を含む主要な大規模言語モデル（GPT-4oやLLaMAなど）で同様の傾向が確認されています。

研究によると、Qwen 2.5-72Bに履歴書の要約を評価させたところ、人間が作成した要約よりも自モデルが生成した要約を選択する割合が極めて高く、その差は95.9ポイントに達しました。この結果は、採用選考や文書審査のプロセスにおいてAIを導入する際の重大な課題として指摘されており、AI利用における公平性の担保について議論を呼んでいます。