こちらの記事を読んで、いろいろ思うところがあったので、書いておきます。
機械学習の説明可能性（解釈性）という迷宮 – 渋谷駅前で働くデータサイエンティストのブログ
注目される説明可能なAI
説明可能AIはひとつの注目領域で、ガートナーのハイプサイクルでは「説明可能なAI」として、これから「過度な期待」のピーク期に位置付けられています。
ガートナー、「先進テクノロジのハイプ・サイクル：2019年」を発表
AI、特にディープラーニングは、その判断根拠がブラックボックスになりやすく、何か問題が起こったときに、検証や改善が難しいという特徴があります。
例えば、自動運転などにおいても、事故が起こってもなぜ事故が起こるような判断をAIがしたのか、を検証できないわけです。
それを解消するため、AIの判断根拠を見える化しようというのが、説明可能なAIです。
説明可能なAIは本当に人間が理解できるのか
冒頭紹介した記事を読んでいただければわかるのですが、今まさにAIの判断プロセスを可視化するためのいくつかのアプローチが登場してきています。
機械学習の説明可能性（解釈性）という迷宮 – 渋谷駅前で働くデータサイエンティストのブログ
この記事の最後のあたりを読むと、「なるほどな」という気持ちと同時に、少し寂しいというか虚しい気持ちも生まれてきます。
簡単にいえば、「説明可能AI」のアプローチは限界がある、ということです。
基本的には「ヒトが直感でも解釈できそうなところを一部取ってくる」もしくは「ヒトが直感でも解釈できそうな別のモデルに何とかして当てはめる」ということをしているに過ぎず、悪い言い方をすると「優れたブラックボックスのMLモデルに対して見かけだけは分かりやすい劣化コピーの代用品を持ってきているだけ」だからです。
「人間では認識しづらい複雑なパターンまで学習して予測する」のが機械学習なのに、それを「人間が説明可能にする」ということは、AIモデルを簡素化の方向へ進めることになるため、機械学習のメリットがないのでは、ということです。
一方で、可視化が全く意味がないかといえばそうではなく、決定木系などは可視化することで解釈がわかりやすくなりますし、
画像系であれば、AIが画像のどこを注目したのかを示すことができれば、あとから人間がAIの判断根拠を類推することもできそうです。
つまり、説明可能になるにはAIのアルゴリズムの特性によって変わったり、参考情報として示すにとどまる場合がある、というのが現状のようです。
ガートナーのハイプサイクルで紹介したように、技術的には注目領域ではあるのですが、「なんでも説明可能になる」というのは、「過剰な期待」なのではないでしょうか。
個人的には、全てをホワイトボックス化するのに固執するのではなく、リスクの明確化、業務全体でのリスクヘッジなども考えるのが現実解では、と思います。
今、これを読み始めました。AIが社会にどう浸透していくのか、各国の考え方などを踏まえながら書かれているのが面白いです。
