Active A/B Tests
稼働中ABテスト
9件
I.
Vol.01からの修正
Corrections from Vol.01
CORRECTION
Vol.01 では 期間を揃えずに対照群と変更群を比較しており、誤った解釈を招いていた。
Ptengine 管理画面の「概要説明」から各テストの正しい開始日を取得し、同期間で再集計した結果、結論が大きく変わった。
| Vol.01 の誤り |
Vol.02 の正しい理解 |
| 「4媒体で新仮説が全敗」 |
媒体別で結果分かれる。自社チラシは勝ち、オイシックス・ベルメゾンは負け、楽天は引き分け |
| ZOZO は 130 日稼働 |
Experience は 130 日前作成だが、現在のテスト（QA位置変更）は 4/07 開始、11 日経過 |
| 各テストの開始日は BQ 初出日で推定 |
Ptengine 概要の日付 +1 日 が実際の開始日（既存Experienceは当日0時スタート不可） |
II.
特集：4媒体同時テスト
The Four-Venue Experiment
FEATURE INSIGHT
2026/04/15、同一仮説「FV下平均買取金額を追加する」を
4 つのチラシ媒体で同時にローンチ。3 日経過時点で媒体ごとに結果が分かれ、訪問者属性による仮説の効きの違いが浮かび上がっている。
SIMULTANEOUS LAUNCH — 2026/04/15
同一仮説を4媒体で並行検証
Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
オイシックス
A 対照37.10%
B 新仮説32.94%
users124 / 85
Z−0.62
A 優位（有意差なし）
ベルメゾンSP
A 対照31.25%
B 新仮説26.15%
users112 / 65
Z−0.72
A 優勢
楽天SP
A デフォルト26.43%
B 新仮説26.22%
users613 / 389
Z−0.07
引き分け（打ち切り推奨）
自社チラシ
A 対照34.65%
B 新仮説36.65%
users303 / 251
Z+0.49
B 優位 (+5.8%)
INTERPRETATION
4日経過で全媒体の傾向が固まってきた。
自社チラシのみ B 優位 (+5.8%) を維持。オイシックス・ベルメゾンは A 優位で継続、楽天SPは1,000 users超えても完全な引き分け。
楽天SP・オイシックス・ベルメゾンSPは打ち切り推奨
— 「平均買取金額表示」は自社チラシ訪問者（既存顧客寄り）にのみ有効な仮説と結論付けてよい段階。
III.
稼働中テスト詳細
Active Experiments
開始日は Ptengine 概要記載日 +1 日（既存Experience変更は翌日0時から計測）。CV は露出以降のイベントのみ対象。
Control
デフォルト924 users
買取申込26.52%245
会員登録23.81%220
vs.
Variant
QA追加（下へ移動）831 users
買取申込28.40%236
会員登録25.87%215
RECOMMENDATION
両指標で B 優勢、lift +7.1%。サンプル増加で lift が落ち着いてきたが B 優位の傾向は継続。
必要 n が 4,434/群のため、あと 4〜5 週の継続が必要。引き続き監視推奨。
Control
オリジナル（修正版）804 users
買取申込26.25%211
会員登録21.89%176
vs.
Variant
Bパターン（イラスト、査定金額）783 users
買取申込26.69%209
会員登録21.33%167
RECOMMENDATION
36 日経過で差はさらに縮小（+1.7%）、両指標ともフラット。効果なしが確定的。
早期終了し、フェリシモ訪問者向けには別の仮説で再テストを。
Control (旧勝者)
FV下コンテンツ変更124 users
買取申込37.10%46
会員登録22.58%28
vs.
Variant
FV下平均買取金額追加85 users
買取申込32.94%28
会員登録21.18%18
RECOMMENDATION
サンプル増加でZ値が緩和（−1.79→−0.62）したが A が依然優位。平均買取金額の訴求はオイシックス訪問者には効かない傾向。
あと 1 週様子見のうえ方向変わらなければ打ち切り推奨。
Control (旧勝者)
FVコンテンツ下変更303 users
買取申込34.65%105
会員登録20.79%63
vs.
Variant
FV下平均買取金額画像追加251 users
買取申込36.65%92
会員登録21.12%53
RECOMMENDATION
サンプル増でlift が +14.1%→+5.8% に落ち着いたが B 優位は継続。自社チラシ訪問者への平均買取金額表示の効果は残っている。
継続推奨。あと 2〜3 週で有意到達見込み。
Control
デフォルト613 users
買取申込26.43%162
会員登録18.43%113
vs.
Variant
FV下平均買取金額追加389 users
買取申込26.22%102
会員登録18.77%73
RECOMMENDATION
1,000 users 超えても Z=−0.07 のまま。楽天 SP では平均買取金額の訴求は無効と判断してよい。打ち切り推奨。
Control (旧勝者)
FV下コンテンツ変更112 users
買取申込31.25%35
会員登録26.79%30
vs.
Variant
FV下平均買取金額追加65 users
買取申込26.15%17
会員登録20.00%13
RECOMMENDATION
オイシックスと同じく A が安定優位。両指標で B が劣後し方向性は明確。打ち切り推奨。
IV.
他の稼働中テスト
Other Active Tests
| Experiment 実験名 |
Hypothesis 仮説 |
Started 開始日 |
Days 経過 |
Status |
| [AB]楽天メルマガバースデー_SP |
FV画像をメルマガに合わせる |
2026-04-11 |
8 日 |
サンプル不足 |
| [AB]楽天メルマガバースデー_PC |
FV画像をメルマガに合わせる |
2026-04-11 |
8 日 |
サンプル不足 |
| [AB]WOWOW/FAQテスト |
QAあり版でCV率が上がる |
2026-04-11 |
8 日 |
サンプル不足 |
V.
非ABテストのExperience
Non-A/B Experiences
Personalization 配信や LP 出し分けなど、対照群を持たないExperience。本レポートの比較分析対象外。
| Experience | Purpose 用途 | Users |
| [tmp] WEB広告 | Personalization（期限表示） | 24,591 |
| [tmp] ベルメゾン_PC版のみ | キャンペーンバナー非表示（PC） | 322 |
| 大垣書店LP | LP配信 | 527 |
| 啓林堂LP / デフォルトバナー非表示 (PC/SP) | LP・バナー制御 | — |
VI.
運用ルール
Operational Rules
NEW RULES — from next test
開始日の取り扱いStart Date
既存 Experience 内でのテスト変更は当日 0 時スタートできない。
概要記載日 +1 日 = 実データ開始日。
経過日数・サンプル予測はこの日から計算する。
実験名Experience Name
形式: [カテゴリ]_テスト対象_仮説概要
例: [FV]_フェリシモ_イラスト+査定金額追加
[FV][CTA][QA]
[OFR][PRC][FRM][POP]
バリアント名Variant Name
A_対照（統一） /
B_変更内容 /
C_変更内容
禁止事項Forbidden
デフォルト
オリジナル
パターン 1
05:完成
全角記号
対照群なしの実験
VII.
ネクストアクション
Next Actions
| Priority | Action アクション | Impact 効果 | Effort |
| 高 |
楽天SP・オイシックス・ベルメゾンSP の打ち切り — 平均買取金額テストを終了、元に戻す |
無駄なトラフィック配分を回避 |
即 |
| 高 |
フェリシモ打ち切り — 36 日経過も差なし（+1.7%） |
学習サイクル加速 |
即 |
| 中 |
自社チラシ継続 — lift +5.8% で有望、あと2-3週で有意到達見込み |
買取申込 +6% の可能性 |
監視のみ |
| 低 |
ZOZO 現行継続 — lift +7.1%、4〜5 週で有意見込み |
買取申込 +7% の可能性 |
監視のみ |
| 低 |
/ab-test-analysis スキル化 — 期間自動揃え + 概要日付 +1 日ロジック組込み |
毎週 5 分で全体把握 |
1〜2 h |
VIII.
分析ロジック
Methodology
METHOD
- 開始日特定: Ptengine 概要「概要説明」の日付 +1 日 を実開始日として採用
- 対象期間: 実開始日以降のみ（両バリアントを同一期間で比較）
- 割り当て: user_pseudo_id 単位で最初の露出バリアントを採用
- CV 集計: 露出以降のイベントのみカウント
- 統計検定: 2 群間比率の Z 検定（両側、p=0.05 基準）
- データソース: Ptengine 管理画面 + valuebooks-ga4.analytics_251957577