Outline
- Summary
- Basic Information
- Objective
- Challenge
- A/B Test Process
- Conclusion
- Suggestions
- Guidelines
研究主要探討網站使用 Video KV 或 Picture KV 對用戶產生的影響。
研究共分為三組，每組分別在不同的 Solution page 上進行，˙實驗主要追蹤 On-page engagement、KV 瀏覽張數量（KV 切換鈕點擊率），以及 KV CTA 轉換率（CTA 的點擊率）三種指標。
以下結果為「將 Picture KV 換成 Video KV」後，數據所產生的變化，可發現無論哪組實驗中，使用 Video KV 時Engagement rate、KV 切換鈕點擊率皆有較優的表現，但 KV 上 CTA 點擊率卻相對大幅下降許多。
第一組
4.62%
On-page engagement
51.56%
KV 切換鈕點擊率
- 92.39%
KV CTA 點擊率
第二組
7.80%
On-page engagement
第三組
12.88%
On-page engagement
100.02%
KV 切換鈕點擊率
Basic Information
- Website: Corporate site
- Page: Solition page
- Period:
- 第一組: May 12,2021 - Nov 24, 2021
- 第二組: May 12,2021 - Oct 01, 2021
- 第三組: May 12,2021 - Oct 25, 2021
- Device Type: Desktop
- Original Page UI: Research Version
Objective
分析使用 Picture KV 與 Video KV 對用戶所造成的影響，透過研究結果搭配頁面設定的目標轉換率，作為未來製作網站時選用 KV 類型的依據。
Challenge
對於網站頁面而言，Engagement rate 是相當重要的轉換目標之一，而以 KV 區塊來說，「能看較多張 KV」且「與KV產生互動」為最主要的目的，因此團隊藉由提出另一種 KV 呈現的樣子，嘗試提升上述提及的各項目標。
A/B Test Process
1 Hypothesis
研究提出 KV 從圖片改為影片的呈現方式，可以提升目標轉換率，因為動態的素材比起靜態較能吸引用戶的注意。
2 Variations
CONTROL：Picture KV
VARIATION：Video KV
3 Track Metrics
藉由追蹤下列指標來判斷實驗之實際影響：
- On-page engagement：頁面整體被點擊或被填寫的總次數，以表示用戶對該頁面的參與程度。
- KV 瀏覽張數量：點擊 KV 切換按鈕的次數。
- KV CTA 轉換率：點擊 KV 上 CTA 的次數。
4 Result
On-page engagement
第一組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 68.96% | Baseline | 1,036/ 1,502 |
| Video KV | 71.25% | 4.62 | 781/ 1,082 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 68.96% | 71.25% |
| Improvement | Baseline | 4.62 |
| Conversions Visitors | 1,036/ 1,502 | 781/ 1,082 |
第二組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 68.85% | Baseline | 476/ 691 |
| Video KV | 74.21% | 7.80% | 361/ 486 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 68.85% | 74.21% |
| Improvement | Baseline | 7.80% |
| Conversions Visitors | 476/ 691 | 361/ 486 |
第三組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 66.62% | Baseline | 310/ 465 |
| Video KV | 75.19% | 12.88% | 259/ 344 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 66.62% | 75.19% |
| Improvement | Baseline | 12.88% |
| Conversions Visitors | 310/ 465 | 259/ 344 |
KV 瀏覽張數量（KV 切換鈕點擊率）
第一組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 4.30% | Baseline | 64/ 1,502 |
| Video KV | 6.52% | 51.56% | 70/ 1,082 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 4.30% | 6.52% |
| Improvement | Baseline | 51.56% |
| Conversions Visitors | 64/ 1,502 | 70/ 1,082 |
第二組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 4.86% | Baseline | 22/ 465 |
| Video KV | 9.75% | 100.02% | 33/ 344 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 4.86% | 9.75% |
| Improvement | Baseline | 100.02% |
| Conversions Visitors | 22/ 465 | 33/ 344 |
KV CTA 轉換率（CTA 的點擊率）
第一組
| Expected Conversion Rate | Improvement | Conversions Visitors | |
|---|---|---|---|
| Picture KV | 3.24% | Baseline | 48/ 1,502 |
| Video KV | 0.25% | -92.39% | 70/ 1,082 |
| Picture KV | Video KV | |
| Expected Conversion Rate | 3.24% | 0.25% |
| Improvement | Baseline | -92.39% |
| Conversions Visitors | 48/ 1,502 | 70/ 1,082 |
Conclusion
從各項指標得出：
- 使用 Video KV ，用戶對頁面的參與度較高，且用戶更有意願切換 KV 去觀看更多張。
- 使用 Picture KV，用戶點擊 KV 上 CTA 的意願較高。
Suggestions
建議在製作網站時，先定義該頁面的目標轉換率，再思考選用何種類型的 KV，以達到最佳成效：
- On-page engagement和 KV 瀏覽張數量為頁面的目標轉換率 → 使用 Video KV
- KV CTA 轉換率為頁面的目標轉換率 → 使用 Picture KV
