創新確保實驗能找出顧客的多變需求!避免A/B測試陷阱

確保實驗能找出顧客的多變需求!避免A/B測試陷阱

Avoid the Pitfalls of A/B Testing

確保實驗能找出顧客的多變需求!避免A/B測試陷阱

進行A / B測試時,會犯下幾個錯誤:把焦點放在平均值、未觀察改變做法如何影響不同顧客群、忽略了顧客互動會影響測試結果、測試時間過於短暫,及沒有注意到顧客反應會隨時間改變。企業可參考LinkedIn與網飛如何避免這些陷阱的做法。
最近幾年,線上A / B測試的使用情況大量增加,這是因為人們愈來愈肯定這種測試的價值,以及執行它的技術成本相對較低。如今,數位公司與愈來愈多傳統公司,每年進行數以萬計的線上實驗,來衡量控制組「A」(通常是目前使用的方法)是否不如「B」(也就是對產品、服務或供應品所建議的改善做法)。實驗可以快速揭露使用者對修改版的反應,以協助公司找到更新數位產品、創造新產品的最佳方式。

在把創新產品發布給所有人之前,這類測試先讓一小群隨機挑選的團體體驗,因此也能降低不良副作用的風險。它們能夠客觀地衡量某項改變做法的影響,而這種獨特的能力,讓公司可以區分哪些營收、參與度或其他關鍵業務指標的成長,是由改善做法促成的,而非無論有無改善做法都會產生成長。這項重要資訊,讓公司能看出機會,並正確評估那些做法的投資報酬率。

對許多公司來說,現在,A / B測試已是產品開發週期一個不可或缺的部分。許多決定都是根據測試結果來制定,例如:何時與是否該推出全新產品或更改既有產品?是否或如何滲透未開發市場或顧客群?以及如何將資金分配給不同的業務領域?可以不誇張的說,成功的A / B測試,對這些公司的未來極為重要。

但公司在進行實驗時