The Valuebooks

Ptengine A/B Test Archive

Vol.02 — Members Only

The Valuebooks — A/B Test Archive Vol.02 · April 2026

Ptengine A/Bテスト分析

With corrected timelines and hypothesis tracking
Period: 2026-03-14 — 2026-04-17 · Generated: 2026-04-18 · Source: Ptengine 管理画面 + BQ analytics_251957577
Active A/B Tests
9件
incl. 4-venue simultaneous
Promising
2件
ZOZO · 自社チラシ
Losing
2件
オイシックス · ベルメゾンSP
No Effect
1件
フェリシモ (35日経過)
I. Corrections from Vol.01
CORRECTION

Vol.01 では 期間を揃えずに対照群と変更群を比較しており、誤った解釈を招いていた。
Ptengine 管理画面の「概要説明」から各テストの正しい開始日を取得し、同期間で再集計した結果、結論が大きく変わった。

Vol.01 の誤り Vol.02 の正しい理解
「4媒体で新仮説が全敗」 媒体別で結果分かれる。自社チラシは勝ち、オイシックス・ベルメゾンは負け、楽天は引き分け
ZOZO は 130 日稼働 Experience は 130 日前作成だが、現在のテスト（QA位置変更）は 4/07 開始、11 日経過
各テストの開始日は BQ 初出日で推定 Ptengine 概要の日付 +1 日 が実際の開始日（既存Experienceは当日0時スタート不可）
II. The Four-Venue Experiment
FEATURE INSIGHT

2026/04/15、同一仮説「FV下平均買取金額を追加する」を 4 つのチラシ媒体で同時にローンチ。3 日経過時点で媒体ごとに結果が分かれ、訪問者属性による仮説の効きの違いが浮かび上がっている。

SIMULTANEOUS LAUNCH — 2026/04/15

同一仮説を4媒体で並行検証

Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
オイシックス
A 対照53.73%
B 新仮説36.36%
users67 / 44
Z−1.79
A 大勝ち（p≈0.07）
ベルメゾンSP
A 対照39.29%
B 新仮説29.41%
users56 / 34
Z−0.95
A 優勢
楽天SP
A デフォルト32.75%
B 新仮説33.03%
users342 / 218
Z+0.07
引き分け
自社チラシ
A 対照42.21%
B 新仮説48.15%
users154 / 135
Z+1.01
B 優勢 (+14.1%)
INTERPRETATION 媒体により仮説の効果が逆転。 自社チラシ訪問者（既存顧客寄り、価格感度高）には「平均買取金額」の具体訴求が刺さるが、 オイシックス・ベルメゾン経由の初回訪問者には信頼構築系（FV下コンテンツ変更）の方が効く。 ただし、オイシックス・ベルメゾンSPは早期打ち切り推奨 （3日でも明確に負けており、学習のための継続コストが割に合わない）。
III. Active Experiments

開始日は Ptengine 概要記載日 +1 日（既存Experience変更は翌日0時から計測）。CV は露出以降のイベントのみ対象。

No. 01 / Category: QA

[AB]ZOZO/イラスト合わせ

Hypothesis: よくある質問をフォーム上に配置することでCV率が上がる
Started: 2026-04-07 · 11 days · 1,223 users
継続推奨
Control
デフォルト652 users
買取申込35.28%230
会員登録32.06%209
vs.
Variant
QA追加（下へ移動）571 users
買取申込38.70%221
会員登録35.20%201
Z-score
1.24
Lift
+9.72%
Required n
2,739/群
Judgment
有意差なし
RECOMMENDATION 両指標で B 優勢、lift +9.7%。このまま継続で 3〜4 週後に有意到達見込み。 Experience 過去履歴（02月イラスト版勝利、03月クレイ猫動画負け、現在QA上部配置）を見ると、学習サイクルが機能している好例。
No. 02 / Category: FV

[AB中]フェリシモ

Hypothesis: デザインを大きく変えて査定金額を表示するとCV率が上がる
Started: 2026-03-14 · 35 days · 1,163 users
打ち切り推奨
Control
オリジナル（修正版）590 users
買取申込34.41%203
会員登録28.81%170
vs.
Variant
Bパターン（イラスト、査定金額）573 users
買取申込35.25%202
会員登録27.92%160
Z-score
0.30
Lift
+2.4%
Required n
3,600/群
Judgment
有意差なし
RECOMMENDATION 35 日経過しても差が広がらず、方向性も不一致（買取+2.4% / 登録-3.1%）。効果はあってもノイズレベル。 早期終了し、フェリシモ訪問者向けには別の仮説で再テストを。
No. 03 / Category: PRC

[AB]オイシックスチラシ

Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
Started: 2026-04-15 · 3 days · 111 users
打ち切り推奨
Control (旧勝者)
FV下コンテンツ変更67 users
買取申込53.73%36
会員登録32.84%22
vs.
Variant
FV下平均買取金額追加44 users
買取申込36.36%16
会員登録29.55%13
Z-score
−1.79
Lift
−32%
p-value
≈0.07
Judgment
A 優勢 (p<0.10)
RECOMMENDATION 3 日でほぼ有意に A 勝ち。平均買取金額の訴求はオイシックス経由の訪問者には効かず、むしろマイナス。 早期終了し、B の「FV下コンテンツ変更」に戻すことを推奨。
No. 04 / Category: PRC

[AB]自社チラシ

Hypothesis: FV下に平均買取金額を追加することでCVRが上がる（画像追加版）
Started: 2026-04-15 · 3 days · 289 users
有望
Control (旧勝者)
FVコンテンツ下変更154 users
買取申込42.21%65
会員登録27.92%43
vs.
Variant
FV下平均買取金額画像追加135 users
買取申込48.15%65
会員登録25.93%35
Z-score
+1.01
Lift
+14.1%
p-value
≈0.31
Judgment
有意差なし（有望）
RECOMMENDATION 3 日で買取 CVR +14% の好結果。自社チラシ訪問者には平均買取金額表示が刺さっている。 継続推奨。あと 1〜2 週で有意到達見込み。勝ち確定したら自社単独展開。
No. 05 / Category: PRC

[AB]楽天チラシ_SP

Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
Started: 2026-04-15 · 3 days · 560 users
引き分け
Control
デフォルト342 users
買取申込32.75%112
会員登録23.98%82
vs.
Variant
FV下平均買取金額追加218 users
買取申込33.03%72
会員登録22.48%49
Z-score
+0.07
Lift
+0.9%
Traffic
342 : 218
Judgment
引き分け
RECOMMENDATION 差が極めて小さく、楽天 SP では平均買取金額の訴求は効かない可能性が高い。あと 1 週継続し、明らかな差が出なければ打ち切り。
No. 06 / Category: PRC

[AB]ベルメゾン_SP版

Hypothesis: FV下に平均買取金額を追加することでCVRが上がる
Started: 2026-04-15 · 3 days · 90 users
打ち切り推奨
Control (旧勝者)
FV下コンテンツ変更56 users
買取申込39.29%22
会員登録33.93%19
vs.
Variant
FV下平均買取金額追加34 users
買取申込29.41%10
会員登録26.47%9
Z-score
−0.95
Lift
−25%
Traffic
56 : 34
Judgment
A 優勢
RECOMMENDATION オイシックスと同じく、ベルメゾン経由の初回訪問者には信頼構築系の方が効く模様。 サンプル不足だが方向性は明確、打ち切り推奨。
IV. Other Active Tests
Experiment Hypothesis Started Days Status
[AB]楽天メルマガバースデー_SP FV画像をメルマガに合わせる 2026-04-11 7 日 サンプル不足
[AB]楽天メルマガバースデー_PC FV画像をメルマガに合わせる 2026-04-11 7 日 サンプル不足
[AB]WOWOW/FAQテスト QAあり版でCV率が上がる 2026-04-11 7 日 サンプル不足
V. Non-A/B Experiences

Personalization 配信や LP 出し分けなど、対照群を持たないExperience。本レポートの比較分析対象外。

ExperiencePurpose Users
[tmp] WEB広告Personalization（期限表示）24,591
[tmp] ベルメゾン_PC版のみキャンペーンバナー非表示（PC）322
大垣書店LPLP配信527
啓林堂LP / デフォルトバナー非表示 (PC/SP)LP・バナー制御—
VI. Operational Rules
NEW RULES — from next test

開始日の取り扱いStart Date

既存 Experience 内でのテスト変更は当日 0 時スタートできない。 概要記載日 +1 日 = 実データ開始日。 経過日数・サンプル予測はこの日から計算する。

実験名Experience Name

形式: [カテゴリ]_テスト対象_仮説概要

例: [FV]_フェリシモ_イラスト+査定金額追加

[FV][CTA][QA] [OFR][PRC][FRM][POP]

バリアント名Variant Name

A_対照（統一） / B_変更内容 / C_変更内容

禁止事項Forbidden

デフォルト オリジナル パターン 1 05:完成 全角記号 対照群なしの実験

VII. Next Actions
PriorityAction Impact Effort
高 オイシックス・ベルメゾンSP の打ち切り — 平均買取金額テストを終了、B戻し 無駄なトラフィック配分を回避 即
中 自社チラシ継続 — lift +14% で有望、あと1-2週で有意到達見込み 買取申込 +14% の可能性 監視のみ
中 フェリシモ打ち切り — 35 日経過も差なし 学習サイクル加速 即
低 ZOZO 現行継続 — lift +9.7%、3〜4 週で有意見込み 買取申込 +10% の可能性 監視のみ
低 /ab-test-analysis スキル化 — 期間自動揃え + 概要日付 +1 日ロジック組込み 毎週 5 分で全体把握 1〜2 h
VIII. Methodology
METHOD
Vol.02 · Generated 2026-04-18 · Claude Code