A/B-Experiments-và-Data-Analysis-để-nhân-đôi-customer-lifetime-value

Case Study: Cách mà FEVER sử dụng A/B Experiments và Data Analysis để nhân đôi customer lifetime value

Fever – Một dịch vụ trực tuyến giới thiệu và giúp Users book events

Dịch vụ này tạo ra sức hút ở Madrid, New York, London và các thành phố khác, tạo ra hơn 3 triệu lượt booking năm 2016, và tiếp cận với hơn 30 triệu Users thông qua flatform và media sites.

Khi Công ty đạt mức hòa vốn, tiến vào giai đoạn tăng trưởng nhanh, các thách thức mới xuất hiện: 

Làm thế nào cải thiện nhanh chóng Key Business Metrics mà không làm thiệt hại Users Experience (UX) ?

Làm thế náo để thử nhiều ý tưởng mà không tốn nhiều chi phí ?

Sau khi phân tích ban đầu, Fever bắt đầu thực hiện các thay đổi sau:

  • Phát triển dựa trên data (dữ liệu): KPIs, metrics, dashboard, data deep-dives
  • A/B Experiment
  • Qualitative research (không được đề cập trong bài)

Xem thêm:

CX – customer experience là gì và ứng dụng của nó trong marketing và sale

Sử dụng DATA cho lợi thế cạnh tranh

Dữ liệu là một trong 5 tài sản chính của doanh nghiệp. Khi được sử dụng đúng cách sẽ tạo ra lợi thế cạnh tranh.

Tuy nhiên, có nhiều cạm bẫy khi sử dụng dữ liệu:

  • Tập trung vào metrics phù phiếm, không có nhiều ý nghĩa, không làm rõ vấn đề
  • Xem xét quá nhiều metrics, làm rối tầm nhìn đối với vấn đề, lãng phí tài nguyên phần tích
  • Diễn giải dữ liệu sai
  • Sử dụng số liệu được thống kê sai phương pháp.

Cụ thể các hoạt động Data Analysis được triển khai ở Fever:

Xác định Key metrics:

  • One metric that matters: xác định một metric quan trọng nhất đối với công ty (Fever chọn Customer lifetime value)
  • Supporting metrics: xác định metrics hỗ trợ: retention, conversion, to purchase, repeat purchase rate.

Dùng Dashboard:

Data Team của Fever tạo ra một Dashboard với Metrics đã giới thiệu. Các dữ liệu được nhóm theo hàng tuần, hằng tháng. Cần thường xuyên kiểm tra Dashboard và tự hỏi:

  • Xu hướng hiện tại: lên / xuống/ thẳng đều ?
  • Sự thay đổi xu hướng: thay đổi như thế nào? Lý do gì?
  • Có sự bất thường nào không (ví dụ một tuần doanh thu đột nhiên tăng mạnh, sau đó trở về như cũ) ? Lý do là gì ?
  • Làm thế nào để so sánh các vùng địa lý?
  • ,…

Data deep-dives:

Khi phân tích Dashboard, các câu hỏi mới thường xuất hiện:

  • Users book trước bao lâu so với ngày tổ chức event?
  • Event nào thu hút User tốt hơn?
  • Các event được xếp hạng và phản hồi tốt có khiến Users quay lại nhiều hơn không?

Data team có trách nhiệm tìm câu trả lời, và trình bày bằng Metrics, Dashboard

=> Từ đó, lại có câu hỏi mới, và những hiểu biết mới được khai phá.

Learning:

Dashboard Analysis + Deep-dives thúc đẩy Learning => Tạo ra hiểu biết sâu hơn về Thói quen tiêu dùng và lý do đằng sau.

Kết quả của Data Analysis là tạo ra các idea về cải thiện: có nên phát triển Product caterogy mới, có nên thay đổi kênh quảng cáo, có nên thay đổi giá,…?

Bước tiếp theo là thử nghiệm các idea đó.

Xem thêm:

7 câu trả lời giúp bạn phát triển tối đa giá trị khách hàng trọn đời – Hiểu rõ và áp dụng trên sàn TMĐT

A/B Experiments

A/B Experiment là một công cụ cho phép thử nghiệm idea một cách nhành chóng, rẻ và mức độ tin cậy cao. Một công ty có thể thử nhiều ý tưởng trong khoảng thời gian ngắn, chọn lọc và ra quyết định nhanh hơn, giảm chi phí cho dự án.

Success/Fail ratio:

Hầu hết các idea mới đều cho ra kết quả không như ý, thậm chí tiêu cực.

Google và Netflix cho biết rằng trung bình 1/3 thử nghiệm idea của họ có kết quả khả quan. Nhưng các doanh nghiệp nhỏ hơn thì phải chuẩn bị rằng tỷ lệ này chỉ khoảng 1/10, vì họ có số lượng lĩnh vực và sản phẩm được thử nghiệm ít hơn.

Một số thử nghiệm ví dụ của Fever:

Grid View Experiment

case study fever: A/B Experiments
  • Giả thuyết: hiển thị 6 event trên màn hình trong chế độ Grid view sẽ khiến tăng impressions, click-throughs và purchases. Đi kèm với nhiều event hiển thị hơn bình thường, là hiển thị ít hơn thông tin về event.
  • Kết quả: không thành công
  • Diễn biến: số lượng event TB mà Users nhìn được tăng 11%, nhưng CTR giảm 23%, CR giảm 24%. Tổng Doanh thu/User giảm 23%
  • Kinh nghiệm: cần cung cấp đủ thông tin về event trên giao diện chính, để Users có thể nhanh chóng ra quyết định.

Similar Event Expriment

case study fever: A/B Experiments 1
  • Giả thuyết: đề xuất events tương tự với event đã dự của Users sẽ gia tăng reach và booking.
  • Kết quả: không thành công
  • Diễn biến: Thử nghiệm trên hai event category, một nhóm không mang lại hiệu quả, một nhóm giảm 3.2% Doanh thu/Users.
  • Dự đoán lý do: mất tập trung trong giao diện UI.

Keyword Search Experiment

case study fever: A/B Experiments 2
  • Giả thuyết: thêm Keyword Search sẽ giúp Users thấy events quan tâm nhanh hơn, và CR cao hơn.
  • Kết quả: thành công
  • Diễn biến: cả CTR và CR đều tăng trung bình khoảng 7%, Doanh thu/Users tăng 22%

Showing Star-ratting Experiment

case study fever: A/B Experiments 3
  • Giả thuyết: hiển thị Star-ratting sẽ làm tăng CR (Conversion Rate)
  • Kết quả: thành công
  • CTR tăng 1%, Conversion Rate (CR) tăng 5.1%, Doanh thu/User tăng 4.4%

Thực hiện A/B Experiment:

  • Bước 1: Tạo eng/ux squads xung quanh Key metrics (CTR, CR, retention, repeat,…) Mỗi team có quyền lựa chọn cách để cải thiện metrics của team mình.
  • Bước 2: Tạo Idea Bank và yêu cầu các Team bổ sung, vote cho các idea.
  • Bước 3: Hướng dẫn Team thực hiện A/B theo chu kì cố định lập: 1 tuần để mã hóa thử nghiệm, 2-3 tuần chạy và thu thập kết quả.

Lợi ích của A/B Experiment:

  • Cải thiện tốc độ, tính minh bạch và giảm chi phí.
  • Trong team động viên nhau thực hiện thử nghiệm để thúc đẩy tăng trưởng metrics của team mình.
  • Các thành viên trong team có thể thấy kết quả sau vài ngày,  từ phản ứng của khách hàng.

KẾT QUẢ CHUNG

case study fever: A/B Experiments 4

Với những lợi ích như trên, Fever hiện đang chạy 5 thử nghiệm mỗi tuần.

LTV7 – Doanh thu trung bình trên mỗi khách hàng trong 7 ngày đầu tiên sau khi đăng kí.

Quan sát dashboard, có thể thấy, kể từ khi bắt đầu Growth Project, chỉ số LTV7 của Fever đã tăng gần gấp đôi.

Lời Kết

LTV7 là một chỉ số tốt hàng đầu để dự đoán LTV (customer lifetime value). Đồng thời cần xem xét Xu hướng khi kết hợp: LTV30, LTV60, LTV90, LTV365.

Bằng cách tập trung vào các số liệu chính, phân tích dữ liệu có hệ thống và các thử nghiệm dựa trên giả thuyết, doanh nghiệp có thể đẩy nhanh sự tăng trưởng của công ty và đặt nó trên quỹ đạo để đáp ứng hoặc vượt qua mục tiêu. 

Phải nói rằng, Data và A/B Experiment chỉ là một nửa của câu chuyện tăng trưởng. Việc lùi lại và cố gắng xác định các động lực tăng trưởng chính trong Công ty cũng quan trọng không kém.

Nếu bạn muốn nhận những bản tin về các case study, sale hay marketing qua email, hãy đăng ký nhận các bản tin mới nhất tại A1 qua form đăng ký.

Nguồn: medium 

Bạn có thể quan tâm:

Định giá để tăng trưởng với CAC và LTV

Các công cụ và thuật ngữ growth hacking

Nhận bản tin A1digihub

Nếu dựa vào dữ liệu có được để nhận biết sự thay đổi thì đã quá muộn vì lúc đó sự thay đổi đã diễn ra. Đó là một thách thức lớn, vậy làm cách nào bây giờ? Scott đưa ra ba dấu hiệu sớm ông cho là đáng quan tâm.