AIの「人間のふり」は人をだませる域に近づいていると判明

人とAIに同じお題を出し、別の人に見分けさせた

チューリング・テストを表した画像です。今回の試験も、この試験に近い形で行われました。Credit: Luke.schaaf / Wikimedia Commons（CC BY-SA 4.0）

研究チームはまず、人とAIの両方に、同じお題で答えを書いてもらいました。

答えの書き手は、人間636人と37のAIです。

お題は、言葉を使うものと目を使うものが、3つずつ用意されました。

言葉のお題の1つ目は、写真を見て、その様子を短い説明文にする課題です。

写真は1,000枚で、ネットで募った229人が説明文を書きました。

同じ写真に、5つのAIも説明文を付けています。

2つ目は、ある言葉を見せられ、思い浮かんだ言葉を1語だけ返す連想の課題です。

3つ目は雑談で、2人が交互に言葉を交わします。1回の雑談は最大24回の発言(1人12回ずつ)で、一部ではもっと長い、1人24回ずつのやりとりも試されました。

スマートフォンでメッセージをやりとりしている様子です。雑談の課題でも、2人が交互に言葉を交わしました。Credit: StockyPics / Wikimedia Commons（CC0）

組み合わせは「人と人」「人とAI」「AIとAI」の3通りです。

話している本人たちは、相手が人かAIかを知らされていませんでした。

雑談は全部で510本集まりました。

参加したのは、190人と9つのAIです。

目のお題は、色を見積もる、写真の中の物を見つける、人の目の注意がどこに向くかを予測する、の3つです。

次に、答えを書いた人とは別の人たちに、審判になってもらいました。

審判は答えを1つずつ見て、人の答えかAIの答えかを選びます。

出てくる答えは半分が人、半分がAIのもので、順番はばらばらにされていました。

つまり、当てずっぽうに選んでも、正解はおよそ50%になる仕組みです。

人間の審判は1,916人にのぼり、それとは別に10のAIにも審判役をさせています。

判定は、全部で7万2191回にもなりました。

これで、人がAIのなりすましにどれほどだまされるのかを、数字で測る準備が整いました。