Lifecycle stage — Discover
過去18ヶ月の間に、AIツール、パイロット、ベンダー契約に5万ユーロから50万ユーロの間で支出してこられたはずです。しかしそれが機能しているかどうか、数字でお答えになれないでしょう。これは規律の失敗ではなく、テクノロジーが統治のために構築したオペレーティングモデルより早く動いた時に起きる現象です。これはLifecycleのDIAGNOSEフェーズを2週間に凝縮し、ご判断中に費用が膨らまないようフラットフィーで設定したものです。Berkeley SkyDeckアドバイザーとして30以上のAIスタートアップを監査し、自身で10のAIベンチャーを本番化してきました。失敗パターンは繰り返します。何を見るべきか、どのギャップがブロッカーで、どれが来年まで放置しても大丈夫かを把握しています。
ツールを購入したがROIを証明できない。エンジニア全員にCopilotライセンス、前四半期40%増のLLM API請求、誰も開かないGenAIプラットフォームのベンダー契約、1日200件の顧客質問に回答するチャットボット。どれも測定可能なビジネス成果に紐づいていません。CFOに「AIは元を取っているか」と問われても、本当にわからない——データ責任者もわかりません。
リーダーシップがブロッカーと許容可能なギャップを区別できない。チームは「AIリスク」として40項目のリストを持ってきます。その中には実際の調達ブロッカー——規制ワークロードのデータ系譜が欠落、評価ハーネスなし、モデル障害時のインシデント対応経路なし——が含まれます。しかし、2年後も問題にならない雑誌記事レベルのリスクも含まれます。外部の誰かにランク付けしてもらう必要があり、チーム自身は正直にランク付けできません。
社内にベンダーを監査できる人材がいない。AIベンダーはデモが上手い。自分たちが設計した評価を見せてきます。チームが計算を検証しないと知っている人特有の自信で質問に答えてきます。モデルカードを読み、セールスデモをストレステストし、契約の「ファインチューニング」が本当のファインチューニングかシステムプロンプトかを判別できる社内専門家がいらっしゃらないはずです。この非対称性が契約更新のたびにコストを生んでいます。
90日ロードマップが四半期ごとにリセットされる。3ヶ月ごとに新しいモデルが出荷され、新しいベンダーがCAIOにメールを送り、プランは最新のものを取り込むため書き直されます。プランに階層がありません——「OpenAIが来週火曜に何を出荷しようと我々はこれをやる」という軸がないのです。その背骨がなければロードマップはリアクティブになり、リアクティブなロードマップは、組織が3年間AIに費やしても何の優位性も複利で生み出さない原因となります。
これはフラットフィーのエンゲージメントで、固定スコープと固定期限です。第1週はディスカバリーと技術評価、第2週は統合と書面の成果物。インタビューの合間は非同期で作業するため、チームは私を待って止まる必要はありません。
CEO、CFO、CAIOまたはデータ責任者、エンジニアリング責任者、および実際に日常的にAIツールを使う2人のオペレーターとの構造化60分インタビュー。毎回同じ質問を行い、ナラティブが崩れる箇所を三角測量します。また、直近4回のAI関連取締役会デッキ、2.5万ユーロ超のすべてのベンダー契約、現行のAIポリシードキュメントがあれば確認します。3日目終わりまでには、現在地についての作業仮説を持ちます。
本番稼働またはパイロット中のAIシステムを深く掘り下げます——データパイプライン、評価プラクティス(またはその欠如)、モデルガバナンス、セキュリティ姿勢、ベンダーロックイン、インシデント対応。各システムについて3つの問いに答えます: 機能しているか、測定可能か、調達レビューまたは監査で防御可能か。これは、インセンティブが逆方向に働くため、多くの社内チームが正直に出せないレイヤーです。
すべてのギャップを4段階スケールでランク付けします: 調達ブロッカー(今すぐ修正、対応しなければ案件を失うか監査に落ちる)、ROIブロッカー(今四半期で修正、対応しなければ価値を証明できない)、スケーリングリスク(AI支出を倍にする前に修正)、磨き上げ(キャパシティが許したら修正)。各項目に工数見積もりとオーナー案が付きます。このランキングこそリーダーシップが実際に必要とするもの——ランキングなしのフルリストは麻痺を招きます。
90日ロードマップを執筆します——具体的なプロジェクト、具体的なオーナー、具体的な成功指標、早期の成果が後続作業の資金を生むようシーケンス化。その後、90分のリードアウトでリーダーシップチームにレポートを届け、厳しい質問にリアルタイムで対応します。会議室を出る時には、CFOが防御でき、CAIOが実行でき、取締役会が来期レビューできるドキュメントが手元にあります。
過去18ヶ月で5万〜50万ユーロをAIツールに投資したが明確なROI像がない、中小企業およびミッドマーケット企業のCEO。次のベンダー契約への署名前に外部評価を必要とする、Q3またはQ4コミットメントを準備中のCAIO。調達レビューや監査に直面し、「これは機能しているか」という問いにデータで答えられない公共セクターリーダー。AI予算500万ユーロ超のエンタープライズ向けではありません——そのような組織はフルビジネスケースと12ヶ月実行計画を含む4週間戦略スプリントが必要です。また、AIをまだデプロイしていない売上前のスタートアップ向けでもありません。監査には監査対象の存在が前提です。
監査の価値はランキングであり、時間ではないからです。時間請求のエンゲージメントは誤ったインセンティブを生みます——時間を多く費やし、問題をもっと見つける。固定スコープのフラットフィーでは、何回インタビューを行おうと14日目にレポートを納品します。私のインセンティブは、限られた時間内で最も有用なランキングを提供することです。技術評価の完了に3日余計にかかっても、それは私の問題であってお客様の問題ではありません。
データ責任者は、監査対象の意思決定の政治経済の内側にいるからです。彼らは、自部門のチームが昨年署名したベンダー契約が間違いだったと伝えることができません——嘘をつくからではなく、インセンティブがその会話を支持しないからです。履歴に利害を持たない外部監査人は、ギャップを正直にランク付けできます。また、データ責任者が定義上持ち得ない、30以上の他の監査から得られるパターン認識も持ち込みます。
スコープ、価格、作業担当者です。Big 4のAI評価は通常8〜12週間、20万ユーロ超で、作業は御社のエンジニアリングチームよりAI本番経験の少ないアナリストが行います。こちらは2週間、フラットフィーで、10のAIベンチャーを本番化し、30以上を監査してきた者が行います。判断が鋭いため成果物も鋭く、CAIOが社内で作り直す必要のない、尊重できるドキュメントが得られます。
その場合、レポートにそう書きます。証拠付きで書面にて。5件に1件の監査では、組織が運用キャパシティを超えて投資しており、追加投資の前に統合すべきと結論付けられます。これは正当で多くの場合非常にコスト削減効果のある所見です——更新しない30万ユーロのベンダー契約は、監査費用の20倍を支払ってくれます。私はAIを追加で売るインセンティブを持ちません。防御可能なランキングを提供するインセンティブを持ちます。
30分で状況を診断し、このサービスが合うかどうか正直にお伝えします。合わなければ、何が合うかも。