AIガバナンスにおける欠けているピース：バイアスの内外への戦い

私の最近のポッドキャストを聞いた方は（AI時代のイノベーションと信頼の舵取りKyndrylの最高情報責任者（CIO）であるキム・バジル氏との対談（2019年11月）では、私が頭字語を使うのが好きだとご存知でしょう。AIの急成長を目の当たりにすると、企業や経営幹部はFOMO（取り残される恐怖）を感じています。これは、取り残されることへの恐怖を意味します。Kyndrylは世界最大のITインフラサービスプロバイダーであるため、キム氏はFOMOがKyndrylとその顧客にとって現実のものであると確信していました。AIに取り組まなければ、ビジネスは後れを取ってしまうというのが、世間の認識（現実？）です。

AIに関連するもう一つの頭字語、FOMU（Fear Of Messing Up：失敗への恐怖）についてもキムと話しました。これはAIイニシアチブを成功させる上で、さらに重要な要素だと私は考えています。キムは、AIプロジェクトを適切に管理し、部門横断的な信頼関係を構築するために必要なガバナンスについて長々と説明しました。ガバナンスの責任者は一人ではなく、適切なガードレールが敷かれていることを保証する、主導的な監督チームが必要です。AIプロジェクトは企業内の他の管理対象プロジェクトと全く同じです。

LinkedIn を利用していて、テクノロジー関連のつながりがあるなら、次のような記事から「企業の 95% が GenAI に 30 億ドルから 40 億ドルを投資したにもかかわらず、利益はゼロだった」という MIT の調査に言及した投稿を目にしたことがあるはずです (MITの調査によると、AI投資は企業の95%で利益ゼロにつながった（…）。これだけの誇大宣伝とそれに伴う投資を考えると、これは恐ろしい統計です。しかし、なぜそうなるのでしょうか？

FOMO（取り残される可能性）と、綿密な計画とガバナンスなしにAIプロジェクトに飛び込むことが問題の一因であることは間違いありません。また、これらのプロジェクトにおいてFOMU（取り残される可能性）に十分な注意を払わなかったことが、成功につながらなかった原因でもあると考えています。しかし、AIが期待どおりに成功していない理由の一つに、もう一つの頭文字、BIBO（バイアス・イン・バイアス・アウト）があると考えています。これは、モデルのトレーニングに選択されたデータソースから、モデルから結果を得るために使用される関連プロンプトまで、システム全体に広がるバイアスが問題を引き起こし、失敗につながるのです。

BIBO を最小限に抑え、バイアスのない AI システムを目指すにはどうすればよいでしょうか?

まず第一に、AIシステムに導入される可能性のある多様なバイアスを理解することが重要です。この記事（AIバイアス：差別的なアルゴリズムによる意思決定モデルの探究と、製薬業界から応用した機械中心のソリューションの適用 – PMC) は、バイアスの主な種類を非常によく特定しています。

• 歴史的偏見
• 表現バイアス
• 測定バイアス
• 評価バイアス
• シンプソンのパラドックス（サブグループバイアス）
• サンプリング バイアス
• コンテンツ制作の偏り
• アルゴリズムのバイアス

偏りのないデータセットを構築し、最終的に決まった結果セットに偏らないようにすることが重要です。適切なデータ基盤の構築は、モデル開発を始める前に、トレーニングデータセットを徹底的に監査し、代表性のギャップ、過去の不平等、そして偏ったサンプルを特定することから始まります。目標はシンプルです。最初からバイアスを排除することです。簡単にアクセスでき、便利なデータセットに頼るのではなく、代表性が低い視点やユースケースを積極的に探し出す、多様なデータソーシング戦略を導入しましょう。

上記の記事では、「アルゴリズムはデータに依存しており、その成果は、提供されラベル付けされたデータ、そして数学的定式化の手法に左右される傾向がある。生データを扱う教師なし機械学習モデルであっても、機械は差別的な社会パターンを発見し、それを再現する可能性がある。」と述べられています。

記事で言及されている「代表性バイアス」の例は、AIの導入がまだ広く行われていた初期の頃のものです。Amazonは、応募者の経歴を自動的に審査、分析、評価するAIモデルを構築しました。しかし、このシステムを約1年間運用した結果、男性を女性よりもはるかに高く評価していることに気付きました（洞察 – アマゾン、女性に対する偏見を示した秘密のAI採用ツールを廃止 | ロイター（原文ママ）。このモデルは過去10年間の採用データ（圧倒的に男性が多かった）で学習されました。つまり、モデルは男性候補者の方が「優れている」と自ら学習してしまったのです。このモデルは、技術職や、女性に圧倒的に人気が高まっていた労働力の進化に対応できませんでした。

AIによる行動や結果にも偏見が現れた場合、企業にとって法的および財務的なリスクが実際に存在します。HRプラットフォームのWorkdayは、応募者追跡システム（ATS）が高齢の応募者に対して偏見を示したとして訴訟を起こされています（https://styledispatch.com/the-hidden-ageism-in-ai-hiring-tools/AI モデルは履歴書に空白期間のある経歴を調べ、古い用語と卒業年月日 (年齢を推測できる) を使用するため、経験豊富な (つまり年配の) 候補者に不利になる可能性があります。

キムがポッドキャストで述べたように、AIイニシアチブを部門横断的な専門家と連携して統括することで、多様な視点をサポートし、バイアスが入り込む機会を減らすことができます。チームメンバーが具体的な想定に疑問を持ち、モデル設計、データ収集、実装における盲点を探る演習を実施しましょう。AIは技術的すぎるため、一部のステークホルダーは参加をためらうかもしれませんが、バイアスのかかったデータセットや問題のあるプロンプトを特定するには、非技術系のチームメンバーからの意見が不可欠となることがよくあります。

バイアスのないAIシステムを構築し、維持するには、厳格なテスト、検証、そして継続的なガバナンスが不可欠です。導入前に、様々な人口統計グループ、ユースケース、エッジ環境におけるモデルのパフォーマンスをテストするバイアス検出プロトコルを開発しましょう。運用環境におけるモデルのパフォーマンスの差異を追跡する継続的なモニタリングシステムを導入し、ガバナンスチームによる定期的なレビューを促進しましょう。

すべてはプロンプト、プロンプト、プロンプト…最適化に関するものです

エンドユーザーがChatGPTのような自然言語インターフェースを通じて、特別に訓練されたLLMを利用しようとする場合、プロンプトの内容と表現方法によって、結果が大きく異なる可能性があります。最近、同僚とある製品の命名について社内で議論しました。外部から、選択した名前は改善の余地があるというフィードバックをもらいました。同僚はChatGPTにアクセスし、現在使用されている名前がなぜ良い名前なのかを強調する結果を得ました。私はClaudeに相談し、質問の前提となる情報を提供し、製品の詳細と2つの名前の候補を提示し、市場に最適なものを選択するよう依頼することで、できるだけ中立的なプロンプトを作成しようとしました。Claudeは、検討していたもう1つの名前を使用することを勧めました。

どちらの結果も「正しい」でも「間違っている」でもありません。プロンプトによって全く異なる結果になっただけです。本当にできる限り中立的なプロンプトを作ったと言えるでしょうか？そうではありませんでした。現在の製品名を裏付ける製品属性をいくつか含め忘れていました。Claude氏に再度確認し、元のプロンプトと、非常に関連性の高い製品情報を追加したところ、どちらの名前も選択可能で、それぞれに長所と短所も提示されるという結果が返ってきました。

「誘導型」の質問は避けましょう。プロンプトのデザインにおける無意識のバイアスが結果を歪める可能性があることをユーザーに理解させ、中立的で包括的な言葉遣いのガイドラインを提供する必要があります。製品名の例で示したように、「なぜ今の名前が良いのか」といった特定の方向にAIエンジンを誘導すると、エンジンはまさにその通りに行動します。AIチームは、ステレオタイプを助長したり、意図せず結果を歪めたりする可能性のある誘導的な質問や思い込みをユーザーが避けられるよう、プロンプトのテンプレートとガイドラインを構築する必要があります。

前進します。

AI の成功への道は、FOMO を回避したり FOMU を管理したりすることだけではありません。AI 投資の失敗の 95% に確実に影響する隠れた第 95 の要因、BIBO (Bias In Bias Out) に立ち向かうことです。Amazon の男性に偏った採用アルゴリズムから、プロンプトが結果を歪める微妙な方法まで、バイアスはあらゆるレベルの AI システムに浸透し、有望な取り組みを高くつく失敗に変える可能性があります。解決策には、キム・バジル氏が提唱するのと同じ厳格なガバナンスが必要ですが、多様なデータ ソーシング、部門横断的なバイアス検出、および「証人を誘導する」ことのない中立的なプロンプトを作成するためのユーザー トレーニングに重点を置きます。BIBO をマスターした組織は、その厳しい XNUMX% の失敗という統計の一部になることを回避できるだけでなく、競合他社が解決するように設計された問題そのものを永続させるシステムに苦労しているときに、AI の真の可能性を解き放つことができます。