人工知能が人間のルールをハックする「AIハッキング」が始まっている

AIシステムが有能になればなるほど、社会はより多くの、そしてより“重要な”決断をAIに委ねるに違いない。AIシステムによるハッキングの被害はますます大きくなる。
lIUZISHAN/GETTY IMAGES
2021.07.12 MON 07:00:29
人工知能が人間のルールをハックする「AIハッキング」が始まっている
ブラックボックスの中で、しばしば常識外れのやり方で問題を解いていく人工知能（AI）は、やがて人間の社会、政治、経済におけるルールの弱点を突き、システムをハックするようになる。社会がより“重要な”決断をAIに委ねるにつれて、ハッキングによる被害は大きくなるだろう。コンピューターセキュリティの世界的権威ブルース・シュナイアーによる寄稿。
TEXT BY BRUCE SCHNEIER
お知らせ：Thursday Editor’s Lounge
7月15日（木）のゲストは緒方壽人（Takram デザインエンジニア）
次回のテーマは「『コンヴィヴィアル・テクノロジー』入門：「ちょうどいい道具」とは何か？」。新著でイヴァン・イリイチが提唱した「コンヴィヴィアル」（自立共生）の可能性をアップデートし、2020年代を取り巻くテクノロジーの景観の中で他者や自然と共に生き生きと（コンヴィヴィアルに）生きる人間の在り方を構想する緒方をゲストに迎え、“コンヴィヴィアルテクノロジー”の可能性を掘り下げる。詳細はこちら。
ブルース・シュナイアー
これまであまり気にかけたことがなかったのなら、一度、AIがハッカーである世界を想像してみよう。
ハッキングは人類と同じぐらい歴史が長い。わたしたち人間はクリエイティヴに問題を解決してきた。抜け穴を見つけては利用し、システムを操作し、もっと多くの影響力、権力、富を求めてきた。現在まで、ハッキングと言えば人間がやることだった。しかし、その状況も長くは続かないだろう。
わたしが発表したばかりの記事で明らかにしたように、近い将来AIこと人工知能は、社会、経済、政治などあらゆるシステムの弱点を見つけ、それらを前例のない速さで、規模で、範囲で悪用するようになる。人間社会をハッキングしたAIは、次のターゲットとしてほかのAIシステムをハックするだろう。そうなれば、人間は巻き添え被害を食らうだけだ。
そう考えるのは、確かに少し大げさかもしれない。しかし、このシナリオに遠い未来のSFで描かれるような技術は必要ない。わたしはいわゆるAIの「シンギュラリティ（特異点）」、つまり、AIの学習フィードバックループが人間の理解をはるかに超えるほど高速になる状況を想定しているわけではない。知性をもつアンドロイドの登場を予想しているわけでも、何らかの悪意が働くと考えているわけでもない。
ここで言うハッキングには、AI研究における画期的な発見すら必要ない。それどころか、AIによるハッキングはすでに始まりつつある。ただし、AI技術が洗練されつつあるため、ほとんどの場合、わたしたちはそれらが始まっていることに気づきもしないのだ。
性能と説明能力はトレードオフ
問題に対する取り組み方は、AIと人間とでまったく異なっている。AIは人間よりも多くの解決法を検討する。その際、わたしたちが考えたこともないほど複雑な道筋をたどる。この点は、説明可能性と呼ばれる事象が原因で問題に発展する恐れがある。最新のAIシステムは基本的にブラックボックスだ。一方の端からデータが入ると、もう一方の端から答えが出てくる。ところが、プログラマーがコードを眺めても、システムがなぜその答えを出したのか、理解するのが不可能であることが多いのだ。
2015年、ある研究チームが「Deep Patient」という名のAIシステムにおよそ70万人の健康・医療データを入力してみた。システムが疾患の発症を予測できるかどうかを調べるためだ。実際、Deep Patientは病気を予測したが、診断の理由は説明しない。研究者にも、AIがなぜその結論にたどり着いたのか、理解できなかった。医者には、コンピューターの診断を信じることも無視することもできるが、信じる場合は根拠のわからないまま信頼するしかない。
研究者は、自らの判断を説明するAIの開発に取り組んでいるが、どうやら性能と説明能力の間にはトレードオフがあるようだ。説明とは、人間の判断の仕方に適した行為であり、人間が用いる認知的な表現法だ。AIに説明を要求することは、AIに追加の制約を課すことにつながるので、判断の質に悪影響を及ぼす恐れがある。現在のところ、AIはますます不透明になりつつあり、説明が難しくなっている。
AIによる報酬ハッキング
それとは別に、AIは報酬ハッキングと呼ばれる行ないをすることもある。AIは人間とは違う方法で問題を解決するので、つねに人間が予想もしなかったようなソリューションを思いつき、それらのなかにはシステムの意図そのものを覆すものもある。なぜなら、AIはわたしたち人間が共有し当然とみなす意味、文脈、基準、価値などに基づいて考えるわけではないからだ。報酬ハッキングでは、AIデザイナーが望んだり意図したりしていない形で、目標が達成されることになる。
たとえばサッカーのシミュレーションの場合、AIはボールをフィールド外に蹴り出せば、キーパーがスローインするだろうから、ゴールががら空きになると結論づけた。他のAIのシミュレーションでは、走る代わりに自分を巨大にしてから倒れれば遠くにあるゴールラインを横切ることができると考えた。
障害物にぶつからない方法を学習する代わりに、バックすることを学んだ掃除機ロボットもあった。後ろにはセンサーがないので、その掃除機は障害物にぶつかった。ルールのなかに問題や矛盾、あるいは抜け穴があれば、そしてそれらの特性を用いることで定められたルールを破らない解決策が導き出せるのであれば、AIはそうしたハックを見つけるのだ。
わたしたち人間は、ミダス王の話を通じてこの種のハッキングに問題があることを知っている。ディオニュソス神に望みを訊かれたミダスは、自分が触れるもの全てを黄金に変えてくれと頼んだのだ。その結果、食べ物も、飲み物も、娘も金に変わったため、ミダスは飢えに苦しみ、寂しい思いをした。これはいわば仕様の問題だ。ミダスはシステムに誤ったゴールをプログラミングしたのである。
魔神たちは望みの言葉を文字通りに受け取るので、たとえそれが意地悪でも、言われたことをそのまま実現する。わたしたちはそのことを知っているのに、それでも魔神を出し抜く方法はまだ見つかっていない。あなたが何を望もうとも、魔神はあなたが望んでいない方法でその望みを実現する。魔神は、あなたの望みをハッキングする。人間の言語や思考では、ゴールや願望はつねに曖昧に表現される。あらゆるオプションを説明することは決してないし、関連する警告、例外、但し書きなどの全てが明かされることもない。わたしたちが示すゴールは例外なく不完全なのである。
AIは“規格外”の発想をする
人はほとんどの場合で文脈を理解し、通常は善意をもって行動する。その一方で、人がAIに目標を設定するとき、あらゆる詳細を不足なく指定することはできないし、AIにも文脈を完全に理解することができない。
15年、フォルクスワーゲンが排出ガス制御試験で不正行為をしていた事実が明るみに出た。これはAIが引き起こした事件ではない。人間のエンジニアが不正を行なうために普通のコンピューターをプログラミングしたものだが、喩え話としてわかりやすい。エンジニアはエンジンに排出ガス制御試験が行なわれていることを察知するプログラムを施し、試験が行なわれているときには普段とは違う性能を発揮するように操作したのだ。このチート（ずる）は何年もの間、誰にも見つからなかった。
わたしがあなたに、エンジンの性能を最大限に引き出しながらも、排出ガス制御試験に合格するエンジン制御ソフトウェアをつくるよう依頼したと想像してみよう。そんなとき、あなたは、自分がいままさに不正を行なっていると意識することなしにチートプログラムを書くことはできないはずだ。
しかしこれは、AIには当てはまらない。AIは“規格外”の発想をする。単純に、規格という概念をもち合わせていないからだ。フォルクスワーゲンの用いたやり方が人々に有害で、排出ガス制御試験の意図を損ない、法に触れるという事実を、AIは認識しない。試験中にもふだんと違う動きをするなとプログラマーが指定しない限り、AIもフォルクスワーゲンのプログラマーと同じ不正行為を思いつくだろう。プログラマーは満足し、経理担当者は大喜びだ。そして、AIには説明能力がないため、誰もAIがやっていることに気づかないのだ。
もちろん、わたしたちはフォルクスワーゲンの事件を知っているので、そのような行為を防ぐための目標を設定することができる。しかし、魔神からの教訓で明らかなように、予期しないハッキングは必ず行なわれる。
現実に起こりうる可能性は？
では、AIハッキングが現実に起こりうる可能性はどれほどなのだろうか？ AIが新しいハッキング方法を思いつきやすいかどうかは、どのシステムがモデル化されるかによって決まる。問題を最適化するために、当然ながらAIは全く新しい解決策をハッキングすることになるが、そのためには関連するありとあらゆるルールがコンピューターに理解できる形で形式化されていなければならない。
ゴール──AIの世界では目的関数と呼ばれる──が特定されている必要がある。また、AIは自分がどれぐらいうまく機能しているかを理解するために、何らかのフィードバックも必要としている。フィードバックを得て初めて、改善できるからだ。
ときに、これはとても単純だ。チェスの場合、ルールも、目的も、フィードバック──勝った？ 負けた？──も、事細かく指定できる。外側にある文脈を知らなくても、混乱が生じることはない。現在のところ、目標および報酬ハッキングの例のほとんどがシミュレーション環境から来ているのは、それが理由だ。それらは人工的で、限定的なので、すべてのルールをAIに指定することができる。他のほとんどのシステムが抱える曖昧さは、結局のところ、AIハッキングに対する短期的なセキュリティになる。
この点は、仕様がしっかりしていて、しかもほぼ完全にデジタルな世界で、特に興味深い。統治システムを見てみよう。例えば税法はインプットとアウトプットを伴う一連のアルゴリズムだ。金融システムは、多かれ少なかれアルゴリズムとして扱うことができる。
AIに全世界の法律と規制、さらにはリアルタイムの金融情報、その他にも重要と思われる情報を全て入力したと想定しよう。そのうえで、「利益の最大化」という目標を与えるのだ。わたしの考えでは、これはそれほど非現実的な話ではない。結果として、おそらく一連の斬新なハッキングが生まれるだろう。
しかし、AIの進歩はスムーズでも直感的でもない。簡単に見えることが難しかったり、難しく見えることが簡単だったりする。実際にブレークスルーが起こるまで、何もわからない。
すべてが変わる
AIがハッキングを始めたら、すべてが変わるだろう。AIに人間と同じように制約や限度を課すことはできない。ハッキングのスピードも、規模も、範囲も、わたしたちが対応できないほどになるに違いない。たとえば、AIテキスト生成ボットはソーシャルメディア上で数百万単位で複製されるだろう。それらが四六時中休みなく問題に対処し、何十億ものメッセージを発信し、人間が実際に行なっているオンラインディスカッションを圧倒する。
わたしたちが読む大荒れの政治論議は、ボットが他のボットに向けて発した主張なのだ。それら人工的につくられたメッセージを、わたしたちは正常な意見だと見なしたり、他の人々はそう考えているのかなどと納得したりするのである。
AIシステムの使用範囲が拡がると、ハッキングもいまより危険になる。これまで人間だけが行なう権限をもつと考えられてきた生活にかかわる重要な決断が、すでにAIによって下され始めている。誰が仮釈放されるか、誰が銀行ローンを得られるか、あるいは誰が大学に入り、誰が仕事を得るか、などだ。AIシステムが有能になればなるほど、社会はより多くの、そしてより“重要な”決断をAIに委ねるようになるに違いない。ハッキングによる被害はますます大きくなる。
AIにアメリカの税法の全てを教えたら何が起こるだろうか？ あるいは、多国籍企業の場合、全世界の税法を入力したら？ AIは自発的に、デラウェアで会社をつくってパナマで船を登録するのが賢いという答えを導き出すだろうか？ わたしたちがまだ気づいていない抜け穴をいくつ見つけるだろう？ 数十個？ それとも数千個？ まったく予想がつかない。
わたしたちの社会システムはハッキングに対応できる仕組みになっているが、それはハッカーが人間だった時代にできたものであり、人間のスピードと規模と範囲を反映している。突然新たに数十もの税の抜け穴が見つかったら、国税庁には対処できない。数千などもっての他だ。AIが想定外でありながら合法的な方法で金融システムをハッキングした場合、市場はわたしたちが介入する隙もないほど混乱すると考えられる。
レジリエンスに富む統治機構を
すでに別の記事で述べたように、攻撃者がシステムを悪用するためだけでなく、防御側がシステムにパッチを当てて守ろうとするときにも、ハッキングを利用できる。従って長期的に見れば、AIハッカーは防御側に有利だと考えられる。
ソフトウェア、あるいは税法や金融システムに、それらが配備される前にパッチを当てればいいからだ。もちろん、そこに至るまでの道のりでは、数多くの既存のルールがハッキングされる恐れがあり、危険だ。その際、レジリエンスこそが問題の解決策になるに違いない。
求められているのは、レジリエンスに富み、ハッキングに対して迅速かつ効果的に対応できる統治機構だ。政治的な理由から、税法の改正に何年もかけたり、法に対するハッキングを修復不可能なほど深く浸透させてしまったりしては意味がない。これは現代のガヴァナンスに突きつけられた難問だ。本質的に、情報化時代のスピードと複雑さに対応できる統治体制をつくるのと同じ種類の問題だと言える。
わたしがここまで書いてきたことは、人間とコンピューターの相互作用についてであり、コンピューターが人間の役割を果たし始めたことから生じるリスクだと言える。これもまた、AIハッカーよりも広範囲な問題だ。科学技術者や未来学者が指摘している問題でもある。テクノロジーに人類を未来に導いてもらうのは簡単だが、わたしたちは社会として、未来におけるテクノロジーの役割を自ら決めたほうがいいだろう。
このことは、いま考えなければならない。AIがオンラインに入り込んで世界をハッキングし始める前に。
TAGS:

Related Keywords

Yasu , Kochi , Japan , Delaware , United States , Thailand , Butsuka Tsu , Mitsuka Tsu , Ogata Hisato , Technology Introduction , Ru Technology , Sun Thursday , Target Corporation , Toledo Spain , Yes Description , River Tsu , Volkswagen , Tsu Te Panama , யாஸ்யூ , கோச்சி , ஜப்பான் , டெலாவேர் , ஒன்றுபட்டது மாநிலங்களில் , தாய்லாந்து , தொழில்நுட்பம் அறிமுகம் , சூரியன் வியாழன் , இலக்கு நிறுவனம் , டோலிடோ ஸ்பெயின் , வோக்ஸ்வாகன் ,