ずっと昔のこと．ぼくはトロントで小包の集配をやっていた．ボスから小包 A → 小包 C → 小包 B の順で配達するように言われたけれど，A と B の方が近かったので，A→C→B の順では巡回ルートが長くなってしまう．ぼくが A→B→C の順にやったのを見つけたボスはご機嫌斜めだった．C の方が荷物がずっと早く届く必要があって，最適化すべき変数は距離だけじゃなかったからだ．そのときボスがどなりつけた言葉を（きっと不正確だろうけど）思い出す：
いいか小僧，おれァお前に考えさせるために給料出してんじゃねえんだ．おれがやれっつったことをやらせるために金だしてんだ．
相手の方がいい判断をしてるときにすら，ぼくにとって自分より他人の判断を優先するのはどうにもガマンならない（ぼくの妻に聞いてみるといい）．だけど，いったん説明されてみたら，少なくとも，ボスの判断が理に適ってるってことを理解できた．ところが，自分の判断を抑えて人工知能の判断にしたがうよう求められることがますます増えてきている．これは，タイラーの『Average is Over』の主題だ．タイラーはこう述べている：
なんらかのラッダイトが登場するだろう．「この手の新デバイスが，どいつもこいつもぼくにああしろこうしろと指図する――だが，たたき壊しちまえってんだ．ぼくは人間なんだ！ 毎週パンを買っては3分の2を余らせて捨ててやるさ．」 なんらかのかたちで，疎外がおこるだろう．居心地のわるさを感じることだろう．手にする結果は改善されるだろうけれど，ユートピアのようには感じられないだろう．
これをちょっとちがったかたちで述べよう．問題は人工知能じゃなくて，不可解知性 [opaque intelligence] なんだ．いまや，あれこれのアルゴリズムはすごく洗練されていて，アルゴリズムがどうしてしかじかの指図をするのか，その理由がぼくら人間にはわからないほどになっている．『ウォールストリート・ジャーナル』の記事によれば，配送運転手たちはユナイテッド・パーセル・サービス UPS のスーパー・アルゴリズム「オリオン」を使って配送ルートを計画しているそうだ．
運転手たちのオリオンに対する反応は好悪・賛否が入り交じっている．一定の自律を手放したくない人たちやオリオンの論理に従わない人たちにとっては，いらだちのつのる経験になる場合がある．たとえば，午前中に近所に1件の配送をやっておいて，あとでまた別件の配送のために同じエリアに戻ってくるのがどうして理に適うのか理解しない運転手たちもいる．だが，オリオンはそうすることが割に合うのをよく見越せる．平均的な人間にはわからないわずかな時間と金額でみて得になるのを見越せるのだ．
身分を明かすのを拒んだある運転手は，こう語った――2014年中頃からオリオンを使っていますが，嫌いですね．だって，非論理的に思えるんですよ．
人間の運転手たちがオリオンの指示を非論理的だと思うのは，オリオンの超論理が彼らにはなっとくいかないからだ．おそらく，十分に発達した論理はアホと区別がつかないのだろう．
議論してくれたロビン・ハンソンに感謝．
これは実は、途上国でしょっちゅう起きることです。信号機、特に交通管制システムにつないだ信号機を導入すると、おまわりさんたちが「おれのほうがよい交通制御ができるんだ！」と主張して信号をあちこち（それも大きくて重要な交差点ほどありがち）とめてしまい、システムがまともに動かなくなってしまい、結果として「ほらこんなシステムダメだ」ということになり……という具合。
新しそうで古い問題なんですね．システムの指図に対して「俺にはわからん道理がなにかあるんだろう」と信頼するにも一定の知識が必要なんでしょうか．