自社のLLMにプロンプトを出すのではダメなのか?
今あらゆる経営者が問われている質問です。
率直な答えをお伝えします。
率直な答え
「金利が上がったら、40代の富裕層の顧客はどう動くか?」という問いであれば、自社の LLM にセグメントのプロフィールを与えてプロンプトを出せば、答えは返ってきます。
その答えは自信に満ち、もっともらしく、そして安価でしょう。
しかしそれは、証拠のように装われたハルシネーションでもあり、その答えが導いた意思決定を後で見直す人は、なぜそう答えたのかを誰も説明できません。
3つのアプローチ、機能するのはそのうち1つだけ
デジタルツイン、合成ペルソナ、合成ツインは、同じものの3つの呼び名ではありません。一見すると混み合ったカテゴリーに見えますが、実はそうではありません。
構築元
分析単位
分散
グラウンドトゥルースに対する検証
監査可能性
同じタスクで86% 対 57%。
私たちは直接対決を行いました。定義された消費者セグメントについて銀行選好を予測し、実在する回答者パネリストに対して検証しました。
銀行選好の予測 · Brox vs LLM vs 汎用
実在する回答者パネリストに対して検証
検証済みの他のタスク(価格感応度、コンセプトテスト、メッセージの共感度、乗り換え意向、広告クリエイティブのテスト)でも差は維持されました。実在の人間のツインパネルは、そのすべてで LLM の模倣を上回りました。
なぜ差が生まれるのか
理由は3つあります。
LLM は人々が書いたもので学習しており、人々がどう行動するかでは学習していない。
世界のテキストは、人々が公の場で語ることに偏っています。ほとんどの意思決定は公の場では行われません。アンケートの回答、インタビューの記録、行動に関するプロンプトや意思決定ツリーといった、実在の人間が実際にどう決めるかという素材は、いかなるフロンティアモデルの学習データにも含まれていません。
LLM による模倣は分散を潰してしまう。
LLM に「アトランタに住む47歳の看護師になりきって」と頼むと、そのモデルがこれまで読んできたあらゆる47歳の看護師の平均が返ってきます。実在の人間はもっと風変わりで、鋭く、矛盾を抱え、そしてより正確です。必要なのは平均ではなく、その分散です。
監査証跡が存在しない。
LLM は、なぜそう答えたのかを説明できません。実在する人物に一度も相談していないからです。Brox なら、ツインが予想外のことを言ったとき、その根拠となるインタビューの記録に立ち入り、理由を確認できます。
LLM は、なぜそう答えたのかを説明できません。
デジタルツインは、常に説明できます。
LLM が適したツールである場合
私たちは LLM 反対派ではありません。毎日 Claude を使っています。プロンプト型の LLM が最適なタスクもあります。マーケティングコピーの作成、会議の要約、コードのデバッグ、キャンペーンのブレインストーミング、テスト用のクリエイティブのバリエーション生成などです。
しかし、実在の人間が何をするかを、追跡可能性と監査証跡を伴って予測する必要のある意思決定(医薬品のローンチ、与信ポリシー、広告費、価格設定、M&A のデューデリジェンス、危機シミュレーション)では、LLM は適切な手段ではありません。
さらに詳しく
マーケティングやセールスのための美辞麗句を並べるよりも、私たち自身が製品をお見せしたいと思います。
まずはお問い合わせください。担当者よりご連絡し、オンラインミーティングを設定いたします。当日は、貴社のビジネス課題や調査したい内容について、ぜひお聞かせください。直接、お伺いできればと思います。ミーティングでは、Brox のデジタルツインの構築方法、信頼性の根拠、導入プロセス、費用体系、検証方法などをご説明します。その他、ご関心のあることは何でもお伝えください。投資対効果をすぐに実感していただけるはずです。
現在、米国、英国、日本、トルコでサービスを提供しており、まもなく中東およびアジア太平洋地域の多くの国や地域でも展開予定です。