【AB Test 教學】A/B 測試完整指南|5步驟執行+工具比較+實戰案例

讀完這篇 A/B 測試完整指南,你能獨立設計測試假設、計算樣本量、判讀統計顯著性,並選擇適合的測試工具來優化行銷活動的轉化率。
行銷團隊工具推薦
⭐ 編輯首選
行銷團隊的全方位活動管理平台
  • 行銷活動看板——多通道活動進度一目了然,跨部門即時同步
  • 內容日曆——文章、社群、EDM 排程集中管理,不漏發
  • 自動化——素材審核、任務指派、截止提醒一鍵設定
  • 行銷儀表板——KPI、廣告 ROI、流量數據即時追蹤
9.5 / 10 本站評分
250,000+ 團隊信賴 · 無需信用卡
免費開始使用 免費方案永久使用,隨時升級
CRM + 行銷自動化——從名單到成交一站管理
免費開始使用
拖拉式電子報設計 × 自動化序列 × A/B 測試
免費開始使用

A/B 測試(AB Test)是將受眾隨機分為控制組與實驗組,透過改變單一變量來比較兩個版本的表現差異,從而做出數據驅動的行銷決策。 本文完整解析 A/B 測試的核心概念、5 步驟執行教學、統計顯著性判讀方法、6 大應用場景,並附上 Landing Page 與 Email 工具比較表及實戰案例分析。

Table of Contents

AB Test 是什麼?A/B 測試意思與核心概念

A/B 測試,也稱為拆分測試(Split Testing),是數位行銷中最基礎也最有效的市場調查方法之一。它的運作邏輯很簡單:

  • 控制組(A 版本):維持現有狀態不變,作為基準線
  • 實驗組(B 版本):僅改變一個變量(例如 CTA 按鈕顏色、標題文案、圖片),其他條件完全相同
  • 比較結果:觀察兩組在特定指標(轉化率、點擊率、開信率等)上的差異

這裡的關鍵是「單一變量原則」——每次測試只改動一個元素。如果你同時改了標題和按鈕顏色,即使 B 版本表現更好,你也無法確定是哪個改動造成的。

A/B 測試與多變量測試(MVT)的核心差異在於:A/B 測試一次只測一個變量,而 MVT 同時測試多個變量的所有組合。對大多數台灣中小企業來說,A/B 測試是更實際的選擇——原因在下一節說明。

A/B 測試基本流程:控制組 A 版本與實驗組 B 版本的對比示意圖

A/B 測試 vs 多變量測試:如何選擇?

很多行銷人在入門時會困惑:什麼時候該用 A/B 測試,什麼時候該升級為多變量測試?以下是完整的判斷依據:

比較維度 A/B 測試 多變量測試(MVT)
定義 比較兩個版本(僅改動一個變量) 同時測試多個變量的所有組合
目的 確定單一改動是否有效 找出多個變量的最佳組合
複雜度 低,適合初學者 高,需要統計分析能力
所需流量 較低(每組約 1,000-5,000 人即可) 極高(每月 UV 需 > 10,000)
測試時長 1-2 週 4-8 週
結果解讀 直接比較 A 與 B 的表現 需分析各變量的交互作用
適用情境 測試單一假設(如「橘色按鈕比藍色好」) 重新設計整個頁面佈局
實施難度 低,多數工具內建支援 高,需要進階工具與技術

判斷標準: 如果你的網站每月獨立訪客(UV)低於 10,000,建議先從 A/B 測試開始。流量不足的情況下做多變量測試,會因為樣本量不夠而無法得到統計顯著的結果——你可能測了一個月,卻什麼都沒學到。

Email 行銷中的 A/B 測試是什麼?

電子郵件行銷活動中,A/B 測試的邏輯相同,但有幾個特殊之處:

主要測試指標不同: 網頁 A/B 測試通常看轉化率,但 Email A/B 測試的核心指標是開信率(Open Rate)和點擊率(Click-Through Rate)。這兩個指標決定了你的郵件是否被看到、內容是否有效。

常見測試元素:

  • 主旨行(Subject Line):影響開信率最大的因素,通常是第一個值得測試的變量
  • 發送時間:星期二上午 vs 星期四下午,不同受眾的最佳時段不同
  • 寄件者名稱:「品牌名稱」vs「個人名字 from 品牌」
  • CTA 按鈕文案與位置:影響點擊率的關鍵
  • 郵件內容長度:簡短摘要 vs 完整內容

執行方式: 大多數 Email 行銷工具(如 Mailchimp、GetResponse)都內建 A/B 測試功能。你可以先將郵件名單的 20%-30% 隨機分為兩組,分別發送 A 和 B 版本,等待 2-4 小時後,系統自動將表現較好的版本發送給剩餘的 70%-80% 收件人。

Email 行銷 A/B 測試流程:兩個版本郵件分別發送給部分收件人後,勝出版本發送給剩餘名單
來源:Email Marketing | Software & Solutions

為什麼要做 A/B Testing?5 大核心價值

A/B Testing 的重要性與核心價值示意圖
來源:Landing page A/B testing tool | Experimentation made easy

對台灣中小企業來說,行銷預算有限是常態。A/B 測試的價值在於:它讓你用最小的成本驗證假設,避免把整筆預算押在一個未經驗證的方案上。以下是 5 大核心價值:

1. 數據驅動決策,降低主觀判斷風險

「老闆覺得藍色比較好」和「數據顯示藍色按鈕的轉化率高出 18%」是完全不同的決策品質。A/B 測試讓團隊從「我覺得」轉向「數據顯示」,這在行銷預算有限時尤其重要——每一分錢都應該花在有數據支撐的方案上。

2. 持續優化轉化率,累積複利效應

單次 A/B 測試可能只提升 5% 的轉化率,但如果你每月執行 2-3 次測試,一年下來的累積效果是驚人的。例如,電商平台測試 CTA 按鈕文案從「立即購買」改為「限時優惠,立即搶購」,點擊率提升了 21%——這個改動的開發成本幾乎為零。

3. 降低大規模改版的風險

在全面改版Landing Page 之前,先用 A/B 測試驗證關鍵改動是否有效。這比「改完才發現轉化率下降」要好得多。

4. 深入理解目標受眾

A/B 測試的結果不只是「A 好還是 B 好」,更重要的是「為什麼」。當你發現具體折扣數字(「-30%」)比模糊描述(「大促銷」)的開信率高出 8.4 個百分點,你就更理解了受眾的心理偏好——這些洞察可以應用到所有行銷通道。建立Persona 時,A/B 測試的結果是最真實的行為數據來源。

5. 建立團隊的實驗文化

當團隊養成「先測試再決策」的習慣,行銷策略的品質會持續提升。每次測試都是一次學習——即使「失敗」的測試(B 版本沒有比 A 好)也有價值,因為你排除了一個無效假設。

A/B 測試 5 大核心價值:數據驅動決策、持續優化轉化率、降低改版風險、深入理解受眾、建立實驗文化
▲ A/B 測試 5 大核心價值:數據驅動決策、持續優化轉化率、降低改版風險、深入理解受眾、建立實驗文化

A/B 測試適合用在哪裡?6 大應用場景

A/B 測試應用場景示意圖
來源:All features for email marketing | Ecomail.app

幾乎所有涉及用戶互動的行銷元素都可以進行 A/B 測試。以下是 6 個最常見且投資報酬率最高的應用場景:

場景 1:Landing Page 優化

  • 測試元素:標題文案、主視覺圖片、表單欄位數量、頁面長度
  • 衡量指標:轉化率(填表、註冊、購買)
  • 預期效益:優化後的 Landing Page 轉化率通常可提升 10%-30%
  • 實例:將表單欄位從 7 個縮減為 3 個(姓名、Email、公司),轉化率從 2.1% 提升至 3.8%

場景 2:Email 主旨行

  • 測試元素:主旨行文案、長度、是否包含 emoji、個人化(加入收件人名字)
  • 衡量指標:開信率(Open Rate)
  • 預期效益:好的主旨行可將開信率提升 5%-15%
  • 實例:「您的專屬優惠」vs「王小明,這是你的 NT$500 折扣碼」——後者開信率高出 12%

場景 3:CTA 按鈕

  • 測試元素:按鈕文案、顏色、大小、位置
  • 衡量指標:點擊率(CTR)
  • 預期效益:CTA 是轉化漏斗的最後一步,微小改動可能帶來顯著提升
  • 實例:「免費試用」vs「開始你的 14 天免費試用」——後者點擊率高出 9%

場景 4:定價策略

  • 測試元素:價格呈現方式(月付 vs 年付折扣)、方案命名、價格錨定
  • 衡量指標:付費轉化率、平均客單價
  • 預期效益:定價頁面的 A/B 測試直接影響營收
  • 實例:將年付方案標示為「每月省 NT$200」vs「年省 NT$2,400」——前者的年付選擇率高出 15%

場景 5:廣告文案

  • 測試元素:廣告標題、描述文字、圖片/影片素材
  • 衡量指標:點擊率(CTR)、每次點擊成本(CPC)、ROAS
  • 預期效益:優化廣告文案可降低 CPC 並提升廣告投放效率
  • 實例:Facebook 廣告測試「痛點導向」vs「利益導向」標題,後者 CTR 高出 23%

場景 6:App 介面與用戶流程

  • 測試元素:註冊流程步驟數、引導頁設計、功能入口位置
  • 衡量指標:註冊完成率、功能使用率、留存率
  • 預期效益:簡化流程可顯著降低用戶流失
  • 實例:將 App 註冊從 5 步縮減為 3 步,註冊完成率從 34% 提升至 52%

行銷團隊的實務建議: 當你有多個測試想法時,用「高影響力 × 低開發成本」的矩陣來排序。CTA 文案和 Email 主旨行通常是最值得優先測試的——改動成本幾乎為零,但對轉化率的影響最直接。我們行銷團隊在 monday.com 的看板上維護一份「A/B 測試待辦清單」,每個測試卡片標註預期影響力和開發成本,這樣團隊每週都能快速決定下一個要執行的測試。

A/B 測試工具推薦:Landing Page 與 Email 行銷工具比較

A/B 測試工具選擇示意圖
來源:Landing page A/B testing tool | Experimentation made easy

選擇 A/B 測試工具時,需要考量五個核心標準:

  1. 內建 A/B 測試功能的完整度——是否支援自動流量分配、統計顯著性計算
  2. 與現有工具的整合性——能否串接 GA4、CRM 等系統
  3. 操作門檻——團隊是否需要額外的技術能力
  4. 價格與免費方案——台灣中小企業的預算考量
  5. 數據分析報告品質——能否清楚呈現測試結果與ROI

重要提醒: Google Optimize 已於 2023 年 9 月正式停止服務。如果你過去使用 Google Optimize 進行網頁 A/B 測試,現在需要遷移到其他工具。以下是目前最主流的替代方案。

Landing Page A/B 測試工具比較

工具 適合對象 核心功能 免費方案 價格(NT$/月)
Unbounce 需要快速建立高轉化 Landing Page 的行銷團隊 拖放編輯器、Smart Traffic AI 自動優化、A/B 測試 14 天免費試用 約 NT$2,900 起
Instapage 注重個人化體驗與企業級轉化優化 熱力圖分析、1:1 廣告對應頁面、A/B 測試 14 天免費試用 約 NT$6,000 起
Leadpages 預算有限的小型企業與個人品牌 模板豐富、彈出視窗、整合支付功能 14 天免費試用 約 NT$1,200 起
Landingi 需要大量建立 Landing Page 的代理商 400+ 模板、Smart Sections、A/B 測試 14 天免費試用 約 NT$900 起

Email 行銷 A/B 測試工具比較

工具 適合對象 核心功能 免費方案 價格(NT$/月)
Mailchimp 入門到中階的 Email 行銷團隊 A/B 測試主旨行/內容/發送時間、自動化流程 免費(500 封/月,250 聯絡人) 約 NT$640 起(Standard)
Omnisend 電商品牌(Email + SMS 整合) 多通道自動化、產品推薦、A/B 測試 免費(250 封/月) 約 NT$500 起
Moosend 追求高 CP 值的中小企業 拖放編輯器、行為觸發自動化、A/B 測試 30 天免費試用 約 NT$300 起
GetResponse 需要全方位行銷平台的團隊 Email 行銷、Landing Page、網路研討會、A/B 測試 30 天免費試用 約 NT$600 起

Mailchimp 免費方案可發 500 封信,但 A/B 測試功能需升級 Standard 方案才能解鎖進階分析功能(如多變量測試、發送時間優化)。如果你的 Email 名單超過 500 人且定期發送電子報,Standard 方案的 A/B 測試功能通常能在 2-3 次測試內回本。

⭐ 全球 #1 AI 電子報行銷平台 ⭐ 4.5 / 5

Mailchimp|Spotify、Canva、Subway 行銷團隊在用

免費方案永久使用——250 聯絡人、每月 500 封 Email,適合個人品牌、早期電商、部落格上手 Email 行銷
  • ✉️ 拖拉式電子報設計——100+ 模板,不用寫 HTML
  • 🔄 自動化序列——歡迎信、棄購提醒、生日優惠自動寄送
  • 🧪 A/B 測試——標題、寄件時間、內容版本自動優選
  • 📊 開信率、點擊率追蹤——整合 Shopify、WooCommerce

不需信用卡 · 全球數百萬店家在用 · 永不到期

你的行銷團隊適合哪個工具?

  • 1-3 人、個人品牌或自由接案 → Mailchimp 免費方案(Email 行銷)+ Leadpages(Landing Page)
  • 3-10 人行銷團隊、多通道活動monday.com 管理測試排程與結果追蹤(免費方案不需要信用卡)+ Unbounce 或 Mailchimp Standard
  • 10 人以上、需要 CRM + 行銷自動化 → HubSpot Marketing Hub(免費 CRM 不需信用卡,升級 Marketing Hub Pro 解鎖 A/B 測試與自動化完整功能)
  • 電商品牌、需要 Email + SMS 整合 → Omnisend

【AB Test 教學】5 步驟執行 A/B 測試

這是本文的核心章節。無論你是第一次做 A/B 測試,還是想建立更系統化的測試流程,以下 5 個步驟都適用。

第 1 步:設定測試目標與假設

很多人跳過這一步直接開始改東西,結果測完了不知道自己在測什麼。一個好的 A/B 測試始於一個清晰的假設。

測試假設撰寫公式:

如果我將 [元素][現狀] 改為 [變更],預期 [指標] 提升 [幅度],因為 [理由]

範例:

  • 「如果將 CTA 按鈕文案從『立即購買』改為『限時優惠,立即搶購』,預期點擊率提升 15%,因為限時感會觸發 FOMO(錯失恐懼)心理。」
  • 「如果將 Email 主旨行從『本月新品上架』改為『3 款新品限量 100 組,搶先看』,預期開信率提升 10%,因為具體數字和稀缺性能提高緊迫感。」

目標設定的 SMART 原則:

  • Specific(具體):不是「提升轉化率」,而是「提升 Landing Page 的表單提交率」
  • Measurable(可衡量):設定具體數字,如「從 2.1% 提升至 2.8%」
  • Achievable(可達成):首次測試預期提升 5%-20% 是合理的,預期提升 200% 通常不切實際
  • Relevant(相關):測試目標要與業務 KPI 直接相關
  • Time-bound(有時限):設定測試的起止日期
A/B 測試假設撰寫流程:選擇元素→定義現狀→設計變更→預期指標提升幅度→寫出理由
▲ A/B 測試假設撰寫流程:選擇元素→定義現狀→設計變更→預期指標提升幅度→寫出理由

第 2 步:選擇測試變量並建立版本

確定假設後,接下來是選擇要測試的變量並建立兩個版本。

單一變量原則(最重要的規則): 每次測試只改動一個元素。如果你同時改了標題和圖片,即使 B 版本表現更好,你也無法確定是標題還是圖片造成的差異。

哪些變量最值得優先測試?

用「影響力 × 開發成本」矩陣來排序:

A/B 測試變量優先順序矩陣——橫軸:開發成本(低→高),縱軸:對轉化率影響力(低→高)。左上象限(高影響低成本):CTA 文案、Email 主旨行、按鈕顏色;右上象限(高影響高成本):頁面佈局、註冊流程、定價策略;左下象限(低影響低成本):字體大小
▲ A/B 測試變量優先順序矩陣——橫軸:開發成本(低→高),縱軸:對轉化率影響力(低→高)。左上象限(高影響低成本):CTA 文案、Email 主旨行、按鈕顏色;右上象限(高影響高成本):頁面佈局、註冊流程、定價策略;左下象限(低影響低成本):字體大小、圖片替換;右下象限(低影響高成本):後端邏輯改動

優先測試左上象限——高影響力、低開發成本的變量,例如 CTA 文案、Email 主旨行、按鈕顏色。這些改動通常只需要幾分鐘,但對轉化率的影響最直接。

建立版本時,確保:

  • A 版本(控制組)= 目前正在使用的版本
  • B 版本(實驗組)= 僅改動一個變量的新版本
  • 兩個版本在其他所有方面完全相同(包括頁面載入速度、圖片大小等)
A/B 測試建立兩個版本的示意圖:控制組 A 與實驗組 B 僅有一個變量不同
來源:A/B Testing – Omnisend

第 3 步:計算樣本量與測試時長

這是初學者最常卡關的步驟,也是很多 A/B 測試失敗的原因——樣本量不夠或測試時間太短,導致結果不可靠。

樣本量計算邏輯:

樣本量取決於三個因素: 1. 基準轉化率:你目前的轉化率是多少? 2. 最小可偵測效果(MDE):你希望偵測到多小的提升? 3. 統計功效(Power):通常設定為 80%

實際範例:

  • 基準轉化率 = 2%
  • 預期提升至 2.4%(即 MDE = 20% 相對提升)
  • 統計功效 = 80%,顯著水準 = 95%
  • 所需樣本量 ≈ 每組 4,700 人,共 9,400 人

如果你的網站每天有 500 位訪客,這個測試大約需要 19 天才能收集到足夠的樣本量。

推薦免費計算工具:

  • Evan Miller Sample Size Calculator(搜尋「Evan Miller A/B test sample size」即可找到)——輸入基準轉化率和預期提升幅度,自動計算所需樣本量
  • VWO 樣本量計算器——提供更直觀的介面

測試時長建議:

  • 最少 7 天——即使樣本量在第 3 天就夠了,也要跑滿一週,以消除「星期效應」(例如週末和工作日的用戶行為可能不同)
  • 最長不超過 4 週——測試時間太長會增加外部因素干擾的風險(如季節變化、競品活動等)
  • 避開特殊時段——不要在雙 11、農曆新年等促銷期間啟動測試,這些時段的用戶行為不具代表性
A/B 測試設定實驗參數的介面示意圖:樣本大小、測試時長、受眾分配方式
來源:All features for email marketing | Ecomail.app

第 4 步:執行測試並監控數據

測試啟動後,最重要的原則是:不要動它。

執行期間的注意事項:

  • 不要中途修改任何版本——即使你覺得 B 版本的某個地方可以再改進,也要等這輪測試結束後再做
  • 不要提前偷看結果就下結論——前 2-3 天的數據波動很大,不具統計意義。很多人在第 2 天看到 B 版本領先就急著宣布勝利,結果第 5 天 A 版本反超
  • 避免外部干擾事件——如果測試期間剛好遇到突發事件(如品牌被媒體報導、競品大促銷),這些外部因素會污染測試結果,可能需要重新測試
  • 確保流量分配均勻——使用工具的自動隨機分配功能,不要手動分配

監控重點:

  • 確認兩組的流量分配比例是否接近 50:50
  • 確認追蹤代碼正常運作(GA4 有收到數據)
  • 記錄測試期間的任何異常事件(伺服器當機、廣告預算變動等)
A/B 測試執行階段的監控介面示意圖
來源:What is A/B Testing? The Complete Guide

第 5 步:解讀結果並採取行動

測試結束後,不要只看「哪個版本的數字比較大」——你需要確認結果是否具有統計顯著性。

p 值白話解釋:

p 值(p-value)是統計學中衡量「結果是否為隨機巧合」的指標。

  • p < 0.05 = 95% 的信心水準,表示觀察到的差異有 95% 的機率不是隨機造成的 → 結果可信
  • p > 0.05 = 差異可能只是隨機波動 → 結果不可信,不應據此做決策

舉例:如果 A 版本轉化率 2.1%、B 版本轉化率 2.5%,看起來 B 比較好。但如果 p 值 = 0.12,代表有 12% 的機率這個差異只是隨機波動——你不應該因此就全面部署 B 版本。

推薦免費統計顯著性計算工具:

  • AB Testguide Significance Calculator
  • VWO A/B Test Significance Calculator

三種結果情境的處理方式:

情境 判斷標準 行動
B 版本顯著勝出 p < 0.05 且 B 版本指標明顯優於 A 全面部署 B 版本,記錄學習,設計下一個測試假設
結果不顯著 p > 0.05 延長測試時間(如果樣本量不足)或重新設計假設(如果樣本量已足夠)
A 版本反而更好 p < 0.05 且 A 版本指標優於 B 保留 A 版本,分析 B 版本失敗的原因,記錄學習並測試新假設
A/B 測試結果分析介面:顯示兩個版本的轉化率與統計顯著性
我們團隊使用 GetResponse 進行eDM的A/B測試。

實務建議: 每次測試結束後,在 monday.com 的行銷活動看板上建立一張「測試結果卡片」,記錄假設、結果、p 值和學習重點。當你累積了 10-20 次測試結果,就能看出受眾的行為模式——這些洞察比任何單次測試都有價值。

A/B 測試結果怎麼看?4 個關鍵數據指標

A/B 測試數據分析指標示意圖
來源:Instapage

除了上一節提到的統計顯著性,以下是解讀 A/B 測試結果時必須關注的 4 個關鍵指標:

指標 1:轉化率(Conversion Rate)

計算公式: 轉化率 = (達成目標行為的用戶數 ÷ 總訪問用戶數)× 100%

判讀標準:

  • 比較兩組的轉化率差異,而非絕對數字
  • 例如 A 版本 2.1% vs B 版本 2.5%,相對提升幅度 = (2.5-2.1)/2.1 = 19%

常見誤判: 只看轉化率的絕對差異(0.4 個百分點看起來很小),忽略了相對提升幅度(19% 其實很顯著)。對電商來說,轉化率從 2.1% 提升到 2.5%,如果月流量 10 萬人,等於每月多 400 筆訂單。

指標 2:樣本大小(Sample Size)

判讀標準:

  • 樣本量是否達到測試前計算的最低門檻
  • 兩組的樣本量是否大致相等(偏差不超過 5%)

常見誤判: 樣本量不足就下結論。如果你計算出需要每組 4,700 人,但只收集了 1,000 人就停止測試,結果的可信度極低。

指標 3:測試時長(Duration of Test)

判讀標準:

  • 是否涵蓋至少一個完整的業務週期(通常是 7 天)
  • 是否避開了異常事件(促銷活動、系統故障等)

常見誤判: 週一到週三的數據顯示 B 版本大幅領先,就提前結束測試。但週末的用戶行為可能完全不同——B 版本的優勢可能在週末消失。

指標 4:分段分析(Segmented Analysis)

判讀標準:

  • 按裝置類型(桌機 vs 手機)分段查看結果——手機用戶和桌機用戶的行為模式可能截然不同
  • 按流量來源(自然搜尋 vs 付費廣告 vs 社群)分段——不同來源的用戶意圖不同
  • 按地理位置分段——台北和高雄的用戶偏好可能不同

常見誤判: 只看整體結果,忽略了分段差異。例如,整體結果顯示 A 和 B 沒有顯著差異,但分段後發現 B 版本在手機用戶中轉化率高出 30%,而在桌機用戶中反而低了 10%。這種情況下,你可以對手機用戶部署 B 版本,桌機用戶保留 A 版本。

統計顯著性計算工具推薦:

  • AB Testguide(abtestguide.com)——輸入兩組的訪客數和轉化數,自動計算 p 值和信賴區間
  • VWO 顯著性計算器——提供視覺化的結果呈現,適合向非技術背景的團隊成員報告

進行市場分析時,A/B 測試的分段數據是最有價值的第一手資料——它告訴你不同用戶群體的真實行為偏好,而非問卷調查中的「自稱偏好」。

A/B 測試實戰案例:電郵主旨行優化

Email A/B 測試實戰案例示意圖:兩個版本的電郵主旨行對比
來源:The all-in-one guide to email A/B testing

以下是一個完整的 Email A/B 測試案例,從設計到結果分析,展示如何將上述 5 步驟付諸實踐。

測試背景與假設

某電商公司希望提高電郵行銷活動的開信率。根據過去的數據,他們的平均開信率約 20%。行銷團隊提出假設:

如果將主旨行從模糊的促銷描述改為具體的折扣數字,預期開信率提升 5-10 個百分點,因為具體數字比模糊描述更能吸引注意力。

測試設計

  • 變量:電郵主旨行
  • A 版本(控制組):「大促銷已開始!」
  • B 版本(實驗組):「所有商品 -30% 折扣!」
  • 衡量指標:電郵開信率
  • 執行時間:星期二上午 9:30
  • 對象分配:訂閱者隨機分為 4 組,前兩組各 25% 分別接收 A 和 B 版本

測試結果

版本 主旨行 開信率
A 版本(控制組) 大促銷已開始! 19.4%
B 版本(實驗組) 所有商品 -30% 折扣! 27.8%

B 版本的開信率高出 8.4 個百分點,相對提升幅度達 43%。

結果分析:為什麼 B 版本勝出?

這個結果背後有一個認知心理學原理——具體性原則(Concreteness Principle)

人類大腦對具體的數字和資訊的處理速度遠快於抽象描述。「-30%」是一個具體的、可立即理解的數字,收件人在掃描信箱時能瞬間判斷「這對我有多少價值」。而「大促銷」是模糊的——促銷可能是 5% 也可能是 50%,收件人需要額外的認知努力才能判斷是否值得打開。

在信箱中,你的主旨行只有 1-2 秒的注意力窗口。具體數字能在這個極短的時間內傳遞明確的價值主張。

後續行動與延伸測試

根據這次測試結果,公司在星期三上午 9:30 將 B 版本發送給剩餘 50% 的訂閱者,最大化這波活動的開信率。

延伸測試假設: 既然具體數字有效,下一步可以測試「加入緊迫感」是否能進一步提升:

  • C 版本:「限時 24 小時:所有商品 -30% 折扣!」
  • 預期:緊迫感(限時 24 小時)+ 具體數字(-30%)的組合可能進一步提升開信率 3-5 個百分點

GA4 串接追蹤: 開信率只是第一步。更重要的是追蹤這些開信的用戶後續在網站上的行為。在 Email 中的連結加入 UTM 參數(如 utm_campaign=email_ab_test_subject&utm_content=version_b),就能在 GA4 中追蹤:

  • 從 Email 進站的用戶轉化率
  • 平均瀏覽頁數和停留時間
  • 最終購買轉化率

這樣你不只知道「哪個主旨行開信率高」,還知道「哪個主旨行帶來的用戶品質更好」。

行銷團隊在規劃這類測試時,建議將每次測試的假設、結果和學習重點記錄在統一的地方。我們團隊用 monday.com 的行銷看板追蹤所有 A/B 測試的進度和結果,每張卡片包含測試假設、執行日期、結果數據和下一步行動——這樣團隊成員都能看到過去的測試學習,避免重複測試已經驗證過的假設。

⭐ Fortune 500 有 60% 是客戶 ⭐ 4.8 / 5

monday.com for Marketing|Coca-Cola、Canva 行銷團隊在用

免費版永久使用 + 14 天 Pro 試用——內建行銷活動範本,套用就能產出完整的季度行銷計畫(從 Brief 到上線)
  • 📅 行銷活動看板——從 Brief、素材審核、KPI 追蹤,每階段有人有時程
  • 📊 跨通道內容日曆——FB、IG、EDM、Blog 排程一次同步,不漏發
  • 🤖 視覺化自動化——截止提醒、審核流程、跨部門任務自動指派
  • 🔗 整合 HubSpot、Mailchimp、GA4——廣告 ROI、流量數據一次看完

免費版永久使用 · Fortune 500 有 60% 在用 · 不需信用卡

結論

A/B 測試是行銷人最實用的數據驅動決策工具。回顧本文重點:

  • A/B 測試的核心是單一變量原則——每次只改一個元素,才能確定是什麼造成了差異
  • 5 步驟執行流程:設定假設 → 選擇變量 → 計算樣本量 → 執行測試 → 解讀結果
  • 統計顯著性是關鍵:p < 0.05 才能確認結果不是隨機巧合,推薦使用 AB Testguide 或 VWO 計算器
  • 優先測試高影響低成本的變量:CTA 文案、Email 主旨行、按鈕顏色是最佳起點
  • 每次測試都是學習:即使 B 版本沒有勝出,你也排除了一個無效假設,這本身就有價值

下一步行動建議: 從你的行銷企劃中挑出一個正在進行的活動,用本文的假設撰寫公式寫出你的第一個測試假設。然後在 monday.com 用「行銷活動模板」建立一個 A/B 測試追蹤看板,填入測試假設、預期指標和時程——10 分鐘就能建好你的第一個測試框架,免費方案不需要信用卡。

⭐ Fortune 500 有 60% 是客戶 ⭐ 4.8 / 5

monday.com for Marketing|Coca-Cola、Canva 行銷團隊在用

免費版永久使用 + 14 天 Pro 試用——內建行銷活動範本,套用就能產出完整的季度行銷計畫(從 Brief 到上線)
  • 📅 行銷活動看板——從 Brief、素材審核、KPI 追蹤,每階段有人有時程
  • 📊 跨通道內容日曆——FB、IG、EDM、Blog 排程一次同步,不漏發
  • 🤖 視覺化自動化——截止提醒、審核流程、跨部門任務自動指派
  • 🔗 整合 HubSpot、Mailchimp、GA4——廣告 ROI、流量數據一次看完

免費版永久使用 · Fortune 500 有 60% 在用 · 不需信用卡

A/B 測試常見問題(FAQ)

A/B 測試會影響 SEO 嗎?

正確執行的 A/B 測試不會影響 SEO。關鍵是使用 rel="canonical" 標籤指向原始頁面(A 版本),告訴搜尋引擎哪個是「正式版本」。大多數 A/B 測試工具(如 Unbounce、VWO)會自動處理這個設定。需要避免的是:為 A/B 測試建立完全不同 URL 的頁面卻不設定 canonical——這可能導致重複內容問題。

A/B 測試需要多少樣本量?

樣本量取決於你的基準轉化率和預期提升幅度。以基準轉化率 2%、預期提升至 2.4% 為例,每組需要約 4,700 人。推薦使用 Evan Miller Sample Size Calculator 進行計算——輸入基準轉化率、最小可偵測效果和統計功效(建議 80%),即可得到所需樣本量。

A/B 測試結果不一致怎麼辦?

首先檢查樣本量是否足夠、測試時長是否涵蓋完整週期(至少 7 天)。如果這些都沒問題,嘗試做分段分析——整體結果不顯著,但特定用戶群(如手機用戶)可能有顯著差異。如果分段後仍無顯著結果,代表這個變量對用戶行為的影響不大,記錄學習後轉向測試其他變量。

A/B 測試有哪些道德與隱私問題?

在台灣,A/B 測試需要遵守《個人資料保護法》。主要注意事項:

  • 不要在測試中收集超出必要範圍的個人資料
  • 如果測試涉及定價差異,確保不會對特定用戶群造成不公平的價格歧視
  • 在隱私政策中說明網站可能進行體驗優化測試
  • 如果你的用戶包含歐盟居民,還需要遵守 GDPR 的相關規定

如何選擇 A/B 測試工具?

5 個選擇標準:(1) 是否內建統計顯著性計算;(2) 能否與你現有的 GA4、CRM 系統整合;(3) 操作介面是否直覺(團隊不需要額外培訓);(4) 免費方案或試用期是否足夠評估;(5) 價格是否符合你的行銷預算與預期 ROI。詳細的工具比較請參考本文的「A/B 測試工具推薦」章節。

A/B 測試和 AA 測試有什麼不同?

AA 測試是將兩組用戶同時展示完全相同的版本(A vs A),目的不是比較哪個版本更好,而是驗證你的測試工具和流量分配機制是否準確。如果 AA 測試的兩組結果出現顯著差異,代表你的測試環境有問題(可能是流量分配不均、追蹤代碼有誤等),需要先修復再進行正式的 A/B 測試。建議在首次使用新的測試工具時,先跑一次 AA 測試作為校準。

A/B 測試工具值得付費嗎?

如果你每月只做 1-2 次簡單的 Email 主旨行測試,Mailchimp Standard 方案(約 NT$640/月)的內建 A/B 測試功能就足夠了。但如果你需要測試 Landing Page、需要進階的分段分析和統計報告,專業工具(如 Unbounce、VWO)的投資通常能在 3-5 次測試內回本——一次成功的 A/B 測試帶來的轉化率提升,往往遠超工具的月費成本。

站長推薦文章

相關文章

Table of Contents

monday.com
用 monday.com 管理你的行銷活動
內容日曆 · 行銷看板 · 自動化 · 永久免費方案