決め手になった条件
2案を並べて、1〜10点で採点
1案だけ見せて「この案は良いですか」と聞く形式だと、40件のベンチマークで的中は40〜45%。コインを投げる50%を下回ります。比べる相手がないと、LLMは点数の基準を自分で持てないためです。同じ集団に2案を並べて採点させると、CTRで75%、会員登録で80%まで上がりました。
PERSONA A/B ／ 株式会社みらいスタジオ
LLMでつくった100体の顧客集団に、2つの案を並べて1〜10点で採点させます。返ってくるのは、どちらに勝ち目があるかの方向と、その確信度。限られた本番のテスト枠を、どの案から使うかを決めるためのものです。
Amazon所属の研究者が40件の実A/Bテストで検証した手法を、論文の手順どおりに実装しています。
WIDGET 1
WIDGET 2
100体のペルソナが、それぞれ1〜10点と理由を書く
図は結果画面のイメージです。
課題
A/Bテストは1本走らせるごとに、有意差が出るだけのトラフィックと、それが貯まるまでの週数を食います。案が10本出ても、期の中で本番に載るのはせいぜい数本。
残りは会議室で、誰かの感覚で落とされます。落とした案に本命が混じっていたかどうかは、あとから確かめようがありません。足りていないのは試行回数というより、落とす前の材料です。
先に方向の見当がつけば、少ないテスト枠を勝ち目のある案から順に使えます。
本番のA/Bテストで検証できる案
主観で落とすか、検証せずに出す案
1期に案が10本出た場合のイメージ。本番に載せられる本数はトラフィックの規模で変わります。
しくみ
プロダクトの説明文、または行動データのCSVをもとに、100体のペルソナを生成します。年齢や職業に加えて、比較の仕方、価格の見方、離脱の理由まで一体ずつ書き込みます。
画面か文言の2案を、AとBのような中立なラベルで同時に見せます。提示順はペルソナごとに入れ替え、左右どちらに置いたかの偏りを消したうえで、1〜10点の採点と理由を書かせます。
集団の平均点の差と標準誤差から、優勢な案とその確信度を出します。差が小さいときは判定不能。セグメントごとの差と、一体ずつの採点理由もそのまま読めます。
なぜ効くか
決め手になった条件
1案だけ見せて「この案は良いですか」と聞く形式だと、40件のベンチマークで的中は40〜45%。コインを投げる50%を下回ります。比べる相手がないと、LLMは点数の基準を自分で持てないためです。同じ集団に2案を並べて採点させると、CTRで75%、会員登録で80%まで上がりました。
年齢・性別・職業だけで書いたペルソナは、会員登録の指標で的中30%。買い方の癖まで書き込んだプロファイルでないと、集団は機能しません。
よくできた代表顧客を1体つくって聞く方法は、ペルソナを与えない素のLLMにも届きません。1体の出来より、集団のばらつきが結果を左右します。
出典: Benomar et al. "Data-Driven Persona-Conditioned Agents for A/B Test Simulation" arXiv:2609.01038, 2026-09-01, EMNLP 2026 Industry Track。
根拠
CTRの勝敗方向の的中率
実A/Bテスト20件
会員登録の勝敗方向の的中率
実A/Bテスト20件
935体から100体まで減らしても
精度は保たれた
出典: Benomar et al., arXiv:2609.01038（2026-09-01・EMNLP 2026 Industry Track）。
条件: 検証対象はEコマースの視覚デザイン案40件、指標はCTRと会員登録。指標ごとの件数は20で、標準誤差はおよそ±10ポイント、40件全体で±7ポイント。公開データからつくったペルソナでは会員登録の的中が90%。論文本文と付録で数値が一部食い違うため、当社は70〜90%の幅で読んでいます。
条件を外したとき
| 構成 | CTR | 会員登録 |
|---|---|---|
| 聞き方を変えた場合 | ||
| 1案だけ見せて、良いか悪いかで聞く | 40% | 40% |
| 1案だけ見せて、1〜10点で採点させる | 40% | 45% |
| 2案を並べて、どちらが良いかで聞く | 45% | 80% |
| 2案を並べて、1〜10点で採点させる | 75% | 80% |
| ペルソナの作り方を変えた場合 | ||
| 行動プロファイル入りのペルソナ集団 | 75% | 80% |
| 属性だけのペルソナ集団 | 65% | 30% |
| 汎用の代表顧客を1体だけ | 40% | 60% |
| ペルソナを与えない素のLLM | 45% | 65% |
当たらないだけなら害は少ないのですが、50%を下回る構成は逆の方向に確信を持たせます。1案を見せて「この案どう思う」と聞くAIレビューは、表の上から2行目に当たります。
出典: Benomar et al., arXiv:2609.01038 表2・表6（2026-09-01）。指標ごとn=20、標準誤差およそ±10ポイント。
限界
論文の著者も、本番A/Bテストの代替ではなく事前のふるい落としとして位置づけています。ここで優勢と出た案は、本番で検証する順番が前に来るだけで、採用の判断は実測で行います。
真の差がゼロに近い比較では、予測の向きは簡単に反転します。
判定不能と返し、無理に順位はつけません。
論文で検証されたのは行動ログからつくったペルソナです。プロダクトの説明文からLLMが推定したペルソナは、その保証の外にあります。
推定ペルソナで走らせた結果には、その旨を画面に明示します。
価格、機能フロー、長文の変更で同じ精度が出るかは分かっていません。ベンチマークも勝敗がはっきりした40件に絞られています。
実運用では論文の数値より下がる前提で、向き不向きの見立てからお伝えします。
当社の案件で本番A/Bの結果と突き合わせた実績は、まだありません。
パイロットでは、貴社で過去に出たテスト結果との照合を最初の工程に置きます。
提供のかたち
対象は、マーケティングかプロダクトの部門を持つ事業会社です。制作会社や代理店を通したご相談も受けています。案の整理とペルソナ集団の設計を当社が持ち、本番のテスト運用は、いまの貴社の体制を変えずに進めます。
パイロットの最初の素材は、すでに結果が出ている過去の改修です。それで方向が当たるかを測り、貴社の領域で使えるかどうかを先に確かめます。当たらなかった場合は、その数字をそのままお見せします。
期間、対象テスト数、費用は、案の性質と見たい指標で変わるため、打合せで詰めます。定価表はありません。
本番テストの運用代行と、実測を伴わない効果の保証。この2つはお受けしません。