ニューラルネットワークは，物事をあれこれの範疇にわける方法を自力で提供するように設計できる．だが，その分類にかかわる数学的計算は複雑なので，ネットワークそのものをとりあげてどうやってその決定にいたったのかを理解しようとしても，一筋縄でいかない．そのため，意図せざる行動が予測しにくくなる．それに，もし過誤が生じても，そうなったワケを説明するのは困難かもしれない．たとえば，写真にうつってる物体をシステムが誤認識しても，その画像のどんな特徴のせいでエラーが起こったのかを知るのは（不可能ではないにしても）難しいかもしれない．
この一節は，ウィル・ナイトから引用した．これを読んで，ぼくはコンピュータ・チェスのことを想起した．いまのコンピュータ・チェスでもいいんだけど，ぼくが思い浮かべたのは，とくに初期のやつだ．評価関数は，少なくとも透明じゃない．それに，人間による意識的な計画で設計されてはいない．（チェスの場合，いろいろと異なるバージョンのプログラムどうしを何百万回と対戦させてどの評価関数が最多勝利を収めるか調べるのが常套手段だ．） だから，「ピーター・シンガーの功利主義的無人自動車を採用すべきだろうか？」だの「カント的な定言命法無人自動車の方を採用すべきじゃないか？」だのという議論は，この大事なところに十分に注意を払えていない．無人自動車がとる現実の「行動」の多くは，そのプログラムがもつ不透明な特性によって決定されるんだ．
たいてい前もって確証のとれる安全性対策を模索する規制システムは，いったいどうやってこんな現実に対処するんだろう？ あるいは，もしかすると，こんな風に不透明だからこそ，反対するのがかえって難しくなって，自動運転車を路上に出せるってことはあるだろうか？ 「こんなことが二度と起きないようにソフトウェアをどうにかしろ」って声が上がったとき，なにが起きるだろう？ もちろん，調整はなされるだろうけど．
ゆっくりとではあるけれど，ぼくらの世界は，ますますこんな具合になってきてる．
ネタを教えてくれた Michelle Dawson に感謝．
