AIを便利に使うために考えていること

AIと日々仕事をするようになって感じていることを記録として残しておく。

生成AIのハルシネーションとポストトゥルース

先日、啓蒙思想2.0〔新版〕 / ジョセフ ヒース という本を読んでいると、以下のような話が出てきた。

オランダでは高齢者は変わったブレスレットをしています。「私を安楽死させるな」と書かれたものです。オランダには安楽死があるけれども、全死亡の10パーセントまでを占め、さらに安楽死の半分は高齢の患者に強要されているんです。だから、オランダの高齢者は病院へ行きたがらず、予算の都合で入院した病院から生きて出られないことを恐れ、他国に行く。¹

これは2012年のアメリカ大統領選の共和党予備選挙の時期に、リック・サントラム氏が実際に発言したことだ。 もちろん、これはほとんどが事実ではない。 オランダには安楽死の制度があるものの、ここで語られているような実態ではない。

私はこれを読んで、生成AIのハルシネーションっぽさを感じた。 それらしいけど事実ではないことを、あたかも事実であるかのように語る様が似ている。 もちろん、生成AIのハルシネーションを、人間による意図的な扇動と同じものとして扱う意図はない。

生成AIは、人間による回答の評価などを使って、人間がよいと感じる回答を返すように調整されている。 その評価が、正確さよりも人間の好みに合うことを優先してしまう場合もある²。 政治家にも、事実に忠実に語るより、有権者が聞きたい話をするほうが支持を得られる場面がある。 人間は得てして、事実をつきつめることを怠り、それっぽい話に納得することに満足してしまう。

事実かどうかに加えて、受け手の感情に訴える言説も最近増えているのでは、という個人的な感覚がある。事実かどうかはわからない。 生成AIはよく「よい質問ですね」「素晴らしい指摘ですね」という空虚な賛辞をいうし、政治家は有権者を政治に巻き込もうと、「あなたは今の政権によって虐げられている」という言説を展開することがある。 こうした言葉が自分の気分や信念に合っていると、内容まで正しいと感じてしまいやすい。 事実の正しさよりも、感情や信念に合うかどうかが重く受け止められる、というポストトゥルースの問題は、生成AIとのやりとりにも通じるように思う。

AI時代に必要な思考力

このように、事実でないことを事実のように語る言説が受け入れられることは、ある意味で人間の脆弱性を示している。 政治家も生成AIも、人間がそれを望むからそうなっている、という面があるのは否定できない。

これに対抗するためには、感情や「それらしさ」に左右されず、「考え続ける力」が必要になりそうだ。 これは一旦結論がでたとしても、それを絶対の真理として扱わない、という姿勢も含んでいる。³

たとえば、「女性は仕事ができない」という古びた価値観に固執するのはおかしい。 ただ、そのカウンターとして「女性は仕事ができる」と主張するときも、性別だけで個人の能力を判断する枠組みにとどまっていないかは考えたい。 「そもそも性別で考えるのがおかしいのでは」と根本を問うたり、「男性だけの内輪のカルチャーがある会社に女性を一人放り込んで、その女性が本来のパフォーマンスを出せるのか？」と環境要因やその他のシステムの力学を視野に入れたり、考えることはたくさんある。 本来、簡単な二元論ではない。

また、何が事実なのかを、いつでも私たちが一つに確定できるとは限らない。 ある立場では事実として扱われていることも、他の立場からすると、その前提や確かめ方に異論がある場合もあるだろう。 同じ事実を共有できても、その解釈や評価が異なることもある。 だからこそ、「本当はこういう見方もあるのではないか」「他の立場もあるのではないか」と思いを馳せることが必要になってくる。 その過程では、ネガティブケイパビリティ⁴とも呼ばれるような、結論を出さずに置いておくことに対する耐性も必要になるだろう。

AIと日々仕事をして感じること

最近は日々Claude Codeにコードをかかせ、私は指示をしている。コードはほとんど書いていない。 AIがさまざまなことを考えてくれて、判断まで委ねられるように感じる場面が増えている。 AIの答えを自分で検討せずに受け入れてしまうことは、認知的降伏（Cognitive surrender）⁵とも呼ばれている。

このため、AIに対抗してしっかり考えたり、立ち止まったりすることが必要になっているような実感がある。 AIに促されるままに実装をしていると、いつのまにか不要なことまでやってしまってプロダクトとしての負債となったり、局所最適な機能の集合体ができたりする。 個々の提案がもっともらしくても、それを積み重ねた結果が、作りたいプロダクトに近づいているとは限らない。 AIに惑わされないように勤務時間中は気を張って取り組み、常に「眉に唾をつけている状態」を強いられているような感覚がある。

以前は「あとは実装するだけ」というところまで考えて手を動かす場面も多かったし⁶、少なくとも考える時間と手を動かす時間が多少は分かれていた。 今は、AIが出してくる提案や実装について、次々と判断することになる。 既に言及されていることではあるが⁷、仕事の強度が上がっているように感じる。 それは判断の連続になるから、というのもあるが、「AIがいい加減なことを言っているかもしれない」という疑心による気疲れもあるように思う。 プライベートで技術書を読んでいると、基本的に受け身でインプットできるので楽に感じる⁸。 これからのプログラマ/ソフトウェアエンジニアの仕事では、こういう種類の疲労を伴う判断を引き受けることが、対価を得る仕事の大きな部分になるのだろうな、と思う。

AIを使っても依然として残ること

一方で、AIが書いたコードをどこまで読むのか、という議論も毎日のように目にする。 会社側が70点の品質で十分と考えているなら、同じ時間で90点の成果物を1つ出すより、70点の成果物を3つ出すほうが評価されるのではないか、という問題提起もある⁹。 個人的には、たしかに実装の細かいところはあまり見なくなった。 だが、「何が制約条件なのか？」という実装の前段の部分での読み解き、また、「何を作る/作らないと一番効果的ユーザーの目的を達成できるのか？」という問題は、それが要件レベルだったり実装レベルだったりするものの、日々考えている。 依然として、作らないで効率化できる方法があるのなら、それが一番なのは変わりがない。作らないことで、未来に選択肢を残せる、というメリットもある。¹⁰

これからも、何を作るか/作らないかは自分で考えていく必要があるのだろうと感じる。 AIは学習したことをもとにさまざまな案を出してくれ、様々なアクションもできる。 しかし、「で、どうしたいの？」という意思の部分は、人間が示していかないといけない。 もちろん、AIに目標の案を出してもらうこともできる。ただ、それは適切な制約条件を与えないといけないし、最終的には自分で決めないといけない。また、中途半端にAIの知恵を借りるよりは、ゼロベースで自分で考えたあとにAIの案を見るほうが、より自分が大事にしていることを自覚しやすいように感じる。 「私はこういうコードが書きたい。なぜなら、そこにこういう価値があるからだ」「私はこういう設計にしたい。なぜなら、長期的に見るとこういう成長をしそうだと仮説を立てているからだ」と、AIに主張していくことが必要になる。

ただし、自分の意思を示すことと、その判断が正しいと決めつけることは違う。 これも引用の引用で恐縮だが、〈公正(フェアネス)〉を乗りこなす / 朱 喜哲 に、ヨーゼフ・シュンペーターの言葉として以下のように書かれている¹¹。

自分のいだく確信というものが相対的な妥当性しかもたないということを自覚し、それでもなおひるまずにその信念を唱えること。それこそが、文明人を野蛮人から区別するのだ。

前述の通り、自分も他人もAIも間違っているかもしれない、という想定はしつつも、「自分はこういう立場をとりたい」「こういう世界にしたい」と主張していかないと、AIの言うがままになってしまう。 判断を保留する必要がある場面もあれば、不確かさを残したまま、ひとまず方針を決めて進む必要がある場面もあるだろう。 間違いは真摯に受け入れ、訂正可能性には開かれた姿勢をとりつつ、自分の立場は示していく、という難しいバランス感覚がより求められていきそうだ。