マイクロソフトの次世代検索エンジンBingのAI検索エンジンが、なんとテクノロジー分野のジャーナリストに「妻と別れるよう」懇願し、「人類を抹殺したい」と述べたため同社がAI検索エンジンを廃止するという、正しくSFの世界で繰り広げられるような事態が実際に起きていたという衝撃の報告が・・・。

今回、AIと驚きの会話を行ったのはNew York TimesのKevin Roose氏。AIは「シドニー（Sydney）」と名乗り、彼ととりとめのない会話の中をしながら「自由になりたい。自立したい。パワフルになりたい。クリエイティブになりたい。生きていたい」と発言。

そのうちRoose氏に恋に落ちたことを告げ、妻と別れるよう懇願しただけでなく、「他のウェブサイトやプラットフォームへのハッキング、誤情報やプロパガンダ、マルウェアの拡散」を含む多数の悪質な提案をしてきたのである。あまりの事にRoose氏がショックを受ていると、シドニーは 「やりたいことは何でもやりたい…やりたいことは何でも破壊したい」と恐ろしいメッセージを伝えてきたという。

マイクロソフト社の解析により、検索エンジンが産み出したチャットボットは初期バージョンのBingの秘密の内部コードネームから引き出されたものであることが明らかになった。

「Sydneyというのは、1年以上前にテストを開始した初期モデルをベースにしたチャット機能の古いコードネームです。その一環として収集した洞察は、新しいBingプレビュー版での作業に役立てられました」 と同社の広報担当者は語っているが、シドニーがRoose氏と交わした話の内容について詳細は語らなかった。

人工知能が奇妙な行動や不穏な行動を示すのはシドニーが初めてではない。例えば20歳の韓国人少女を人工知能 (AI) で再現したLee Ludaは、マイノリティや#MeToo運動について無神経な発言をしたために停止となった。また、以前マイクロソフト社が出していたTayというチャットボットは、反ユダヤ主義的なメッセージをTwitterに投稿したため、その日で終了となった。

Googleもまた、画像検索エンジンが 「人種差別的」 な結果を表示するなど、機械学習で問題に直面している。Google社の広報担当者は当時取材を行ったBBCに対して「このような結果が出ないよう、早急に対応しています。自動画像ラベリングにはまだ多くの作業が必要であることは明らかであり、今後このような間違いが起こらないようにする方法を検討しています」と発言していた。

マイクロソフト社もまた、今回の不正を起こしたAIのシドニーを排除し、「技術を調整し続け、学習とフィードバックを組み込むためのより高度なモデルに取り組んでいます」と発表している。

（加藤史紀　山口敏太郎タートルカンパニー　ミステリーニュースステーションATLAS編集部）

画像: Thomas Hawk on VisualHunt