自社のLLMにプロンプトを出すのではダメなのか?

今あらゆる経営者が問われている質問です。
率直な答えをお伝えします。

率直な答え

「金利が上がったら、40代の富裕層の顧客はどう動くか?」という問いであれば、自社の LLM にセグメントのプロフィールを与えてプロンプトを出せば、答えは返ってきます。

その答えは自信に満ち、もっともらしく、そして安価でしょう。

しかしそれは、証拠のように装われたハルシネーションでもあり、その答えが導いた意思決定を後で見直す人は、なぜそう答えたのかを誰も説明できません。

3つのアプローチ、機能するのはそのうち1つだけ

デジタルツイン、合成ペルソナ、合成ツインは、同じものの3つの呼び名ではありません。一見すると混み合ったカテゴリーに見えますが、実はそうではありません。

合成ペルソナ
合成ツイン (LLM模倣)
デジタルツイン
構築元
実在のアンケートデータから生成されたアーキタイプ
1回のプロンプト呼び出し、基礎データなし
特定の実在人物1人の行動レプリカ。5時間以上のAIモデレーション動画インタビューから構築され、継続的に拡充される
分析単位
平均
モデルが生成した完全に架空のキャラクターで、実在の人物の裏付けはない
実在の個人1人、そのインタビューまで遡って追跡可能
分散
設計上、潰されている(統合の段階で、オーディエンスの最も興味深い部分が平均化されてしまう)
モデルのバイアスをすべて無加工で受け継ぐ
N体のツインがそれぞれ自分の声で答え、本物の分布が得られる
グラウンドトゥルースに対する検証
確認できる基礎ソースがない
なし
あり、ツインの背後にいる実在の人物を通じて
監査可能性
限定的
なし
インタビューの瞬間まで遡って検証できる

構築元

合成ペルソナ 実在のアンケートデータから生成されたアーキタイプ
合成ツイン (LLM模倣) 1回のプロンプト呼び出し、基礎データなし
デジタルツイン 特定の実在人物1人の行動レプリカ。5時間以上のAIモデレーション動画インタビューから構築され、継続的に拡充される

分析単位

合成ペルソナ 平均
合成ツイン (LLM模倣) モデルが生成した完全に架空のキャラクターで、実在の人物の裏付けはない
デジタルツイン 実在の個人1人、そのインタビューまで遡って追跡可能

分散

合成ペルソナ 設計上、潰されている(統合の段階で、オーディエンスの最も興味深い部分が平均化されてしまう)
合成ツイン (LLM模倣) モデルのバイアスをすべて無加工で受け継ぐ
デジタルツイン N体のツインがそれぞれ自分の声で答え、本物の分布が得られる

グラウンドトゥルースに対する検証

合成ペルソナ 確認できる基礎ソースがない
合成ツイン (LLM模倣) なし
デジタルツイン あり、ツインの背後にいる実在の人物を通じて

監査可能性

合成ペルソナ 限定的
合成ツイン (LLM模倣) なし
デジタルツイン インタビューの瞬間まで遡って検証できる
裾野(テール)の答えが重要なとき——アーリーアダプター、エッジケース、専門家の外れ値——それを浮かび上がらせられるのはツインだけです。ペルソナや合成ツインは一度消費されて捨てられます。デジタルツインは価値が高まっていく資産です。

同じタスクで86% 対 57%。

私たちは直接対決を行いました。定義された消費者セグメントについて銀行選好を予測し、実在する回答者パネリストに対して検証しました。

銀行選好の予測 · Brox vs LLM vs 汎用

実在する回答者パネリストに対して検証

Broxデジタルツイン
単独LLM (セグメントプロンプト型)
汎用AIベースライン (セグメント文脈なし)

Source: Brox社内ベンチマーク、実在する回答者パネリストに対して検証。

検証済みの他のタスク(価格感応度、コンセプトテスト、メッセージの共感度、乗り換え意向、広告クリエイティブのテスト)でも差は維持されました。実在の人間のツインパネルは、そのすべてで LLM の模倣を上回りました。

なぜ差が生まれるのか

理由は3つあります。

LLM は人々が書いたもので学習しており、人々がどう行動するかでは学習していない。

世界のテキストは、人々が公の場で語ることに偏っています。ほとんどの意思決定は公の場では行われません。アンケートの回答、インタビューの記録、行動に関するプロンプトや意思決定ツリーといった、実在の人間が実際にどう決めるかという素材は、いかなるフロンティアモデルの学習データにも含まれていません。

LLM による模倣は分散を潰してしまう。

LLM に「アトランタに住む47歳の看護師になりきって」と頼むと、そのモデルがこれまで読んできたあらゆる47歳の看護師の平均が返ってきます。実在の人間はもっと風変わりで、鋭く、矛盾を抱え、そしてより正確です。必要なのは平均ではなく、その分散です。

監査証跡が存在しない。

LLM は、なぜそう答えたのかを説明できません。実在する人物に一度も相談していないからです。Brox なら、ツインが予想外のことを言ったとき、その根拠となるインタビューの記録に立ち入り、理由を確認できます。

LLM は、なぜそう答えたのかを説明できません。
デジタルツインは、常に説明できます。

LLM が適したツールである場合

私たちは LLM 反対派ではありません。毎日 Claude を使っています。プロンプト型の LLM が最適なタスクもあります。マーケティングコピーの作成、会議の要約、コードのデバッグ、キャンペーンのブレインストーミング、テスト用のクリエイティブのバリエーション生成などです。

しかし、実在の人間が何をするかを、追跡可能性と監査証跡を伴って予測する必要のある意思決定(医薬品のローンチ、与信ポリシー、広告費、価格設定、M&A のデューデリジェンス、危機シミュレーション)では、LLM は適切な手段ではありません。

さらに詳しく

マーケティングやセールスのための美辞麗句を並べるよりも、私たち自身が製品をお見せしたいと思います。

デモを予約する

まずはお問い合わせください。担当者よりご連絡し、オンラインミーティングを設定いたします。当日は、貴社のビジネス課題や調査したい内容について、ぜひお聞かせください。直接、お伺いできればと思います。ミーティングでは、Brox のデジタルツインの構築方法、信頼性の根拠、導入プロセス、費用体系、検証方法などをご説明します。その他、ご関心のあることは何でもお伝えください。投資対効果をすぐに実感していただけるはずです。

現在、米国、英国、日本、トルコでサービスを提供しており、まもなく中東およびアジア太平洋地域の多くの国や地域でも展開予定です。