Kiểm định giả thuyết trong SEO và ý nghĩa thống kê

Kiểm định giả thuyết

Bốn bước chính của kiểm định giả thuyết

Vì vậy, khi sử dụng phương pháp kiểm định giả thuyết, chúng ta thực hiện bốn bước chính:

+ Đầu tiên, chúng ta xây dựng một giả thuyết.

+ Sau đó, chúng tôi thu thập dữ liệu về giả thuyết đó.

+ Chúng tôi phân tích dữ liệu, và sau đó... 

+ Cuối cùng, chúng ta rút ra một số kết luận từ đó.

Phần quan trọng nhất của thử nghiệm A/B là phải có một giả thuyết vững chắc. Vì vậy, ở trên, tôi đã nói về cách xây dựng một giả thuyết SEO mạnh mẽ.

Hình thành giả thuyết của bạn

Ba cơ chế giúp hình thành giả thuyết

Giờ chúng ta cần nhớ rằng với SEO, chúng ta đang cố gắng tác động đến ba yếu tố để tăng lưu lượng truy cập tự nhiên.

+ Chúng ta đang cố gắng cải thiện tỷ lệ nhấp chuột tự nhiên.  Điều đó có nghĩa là bất kỳ thay đổi nào bạn thực hiện đều giúp cho sự xuất hiện của bạn trên trang kết quả tìm kiếm trở nên hấp dẫn hơn đối với đối thủ cạnh tranh, từ đó thu hút nhiều người nhấp vào quảng cáo của bạn hơn.

+ Hoặc bạn có thể cải thiện thứ hạng tìm kiếm tự nhiên để leo lên vị trí cao hơn.

+ Hoặc chúng ta cũng có thể tăng thứ hạng cho nhiều từ khóa hơn.

Bạn cũng có thể đang tác động đến sự kết hợp của cả ba yếu tố này. Nhưng điều quan trọng là bạn cần đảm bảo rằng một trong số đó đang được nhắm mục tiêu rõ ràng, nếu không thì đó không thực sự là một bài kiểm tra SEO.

Thu thập dữ liệu

Tiếp theo, chúng ta thu thập dữ liệu. Tại Distilled, chúng tôi sử dụng nền tảng ODN để thực hiện việc này. Với nền tảng ODN, chúng tôi tiến hành thử nghiệm A/B và chia các trang thành các nhóm có đặc điểm thống kê tương đồng. 

Thử nghiệm A/B với phiên bản kiểm soát và phiên bản biến thể của bạn.

Vì vậy, sau khi làm điều đó, chúng ta sẽ lấy nhóm biến thể và sử dụng phân tích toán học để quyết định xem nhóm biến thể đó sẽ làm gì nếu chúng ta không thực hiện thay đổi đó.

Như bạn thấy ở trên, đường màu đen thể hiện chức năng của nó. Nó dự đoán những gì mô hình cho rằng nhóm biến thể sẽ làm nếu chúng ta không thực hiện bất kỳ thay đổi nào. Đường chấm chấm này là thời điểm bắt đầu thử nghiệm. Như vậy, bạn có thể thấy sau thử nghiệm đã có sự phân tách. Đường màu xanh lam thể hiện chính xác những gì đã xảy ra. 

Giờ, vì có sự khác biệt giữa hai đường này, chúng ta có thể thấy sự thay đổi. Nếu di chuyển xuống đây, chúng ta vừa vẽ biểu đồ sự khác biệt giữa hai đường đó.

Vì đường màu xanh nằm trên đường màu đen, chúng ta gọi đây là kết quả kiểm định dương tính. Phần màu xanh lá cây ở đây là khoảng tin cậy của chúng ta, và đây, theo tiêu chuẩn, là khoảng tin cậy 95%. Chúng ta sử dụng điều này vì chúng ta sử dụng kiểm định thống kê. Vì vậy, khi tất cả các đường màu xanh lá cây nằm trên đường số 0, hoặc tất cả nằm dưới đường số 0 đối với kết quả kiểm định âm tính, chúng ta có thể gọi đây là một kiểm định có ý nghĩa thống kê.

Với trường hợp này, ước tính tốt nhất của chúng tôi là điều này sẽ làm tăng số lượt truy cập lên 12%, và con số đó tương đương với khoảng 7.000 lượt truy cập tự nhiên mỗi tháng. Bây giờ, ở cả hai phía, bạn có thể thấy tôi đã viết 2,5%. Đó là để tổng cộng bằng 100%, và lý do là bạn không bao giờ có được kết quả chính xác 100%. Luôn có khả năng xảy ra lỗi ngẫu nhiên và bạn nhận được kết quả âm tính hoặc dương tính giả. Đó là lý do tại sao chúng tôi nói rằng chúng tôi tự tin 97,5% rằng kết quả này là tích cực. Bởi vì chúng ta có 95 cộng với 2,5.

Các thử nghiệm không có ý nghĩa thống kê

Hiện tại, tại Distilled, chúng tôi nhận thấy có rất nhiều trường hợp các thử nghiệm không cho kết quả có ý nghĩa thống kê, nhưng lại có bằng chứng khá mạnh mẽ cho thấy sự gia tăng hiệu quả. Nếu nhìn xuống đây, tôi có một ví dụ về điều đó. Đây là một ví dụ về trường hợp kết quả không có ý nghĩa thống kê, nhưng chúng tôi lại thấy sự gia tăng đáng kể.

Giờ bạn có thể thấy đường màu xanh lá cây của chúng ta vẫn còn một vùng âm, điều đó có nghĩa là vẫn còn khả năng, ở khoảng tin cậy 95%, đây là kết quả xét nghiệm âm tính. Bây giờ nếu chúng ta nhìn xuống phía dưới một lần nữa, tôi đã vẽ lại đường màu hồng. Vì vậy, chúng ta có 5% ở cả hai phía, và ở đây chúng ta có thể nói rằng chúng ta tin tưởng 95% rằng đó là kết quả dương tính. Đó là bởi vì 5% này luôn nằm ở phía trên.

Phân tích dữ liệu để kiểm định giả thuyết

Lý do chúng ta làm điều này là để cố gắng thực hiện những thay đổi mà chúng ta có giả thuyết vững chắc và thu được lợi ích từ đó thay vì bác bỏ hoàn toàn. Một phần lý do khác là vì chúng ta nói rằng chúng ta đang làm kinh doanh chứ không phải làm khoa học.

Ở đây, tôi đã tạo một biểu đồ về thời điểm chúng ta có thể triển khai một thử nghiệm không có ý nghĩa thống kê, dựa trên độ mạnh hay yếu của giả thuyết và chi phí của sự thay đổi.

Giả thuyết mạnh mẽ / thay đổi rẻ tiền

Giờ thì ở góc trên bên phải này, khi chúng ta có một giả thuyết mạnh mẽ và một thay đổi nhỏ, chúng ta có thể sẽ triển khai nó. Ví dụ, gần đây chúng tôi đã thực hiện một thử nghiệm như vậy với một trong những khách hàng của chúng tôi tại Distilled, nơi họ đã thêm từ khóa chính của mình vào tiêu đề H1.

Kết quả cuối cùng trông giống như biểu đồ này. Đó là một giả thuyết mạnh mẽ. Việc thực hiện thay đổi này không tốn kém, và chúng tôi quyết định triển khai thử nghiệm đó vì chúng tôi khá tự tin rằng nó vẫn sẽ mang lại kết quả tích cực.

Giả thuyết yếu / thay đổi rẻ tiền

Ngược lại, nếu bạn có một giả thuyết yếu nhưng chi phí vẫn thấp, thì bằng chứng về sự cải thiện vẫn là lý do để triển khai nó. Bạn cần trao đổi thêm với khách hàng của mình.

Giả thuyết mạnh mẽ / thay đổi tốn kém

Về điểm thay đổi tốn kém với giả thuyết mạnh mẽ, bạn sẽ phải cân nhắc lợi ích mà bạn có thể nhận được từ lợi tức đầu tư nếu bạn tính toán doanh thu dự kiến ​​dựa trên tỷ lệ phần trăm thay đổi đó.

Giả thuyết yếu / thay đổi rẻ tiền

Khi đó là một giả thuyết yếu và một thay đổi tốn kém, chúng ta chỉ muốn triển khai nó nếu nó có ý nghĩa thống kê.

Rút ra kết luận

Bây giờ chúng ta cần nhớ rằng khi thực hiện kiểm định giả thuyết, tất cả những gì chúng ta đang làm là kiểm tra giả thuyết không. Điều đó không có nghĩa là kết quả không có nghĩa là hoàn toàn không có tác động nào. Điều đó chỉ có nghĩa là chúng ta không thể chấp nhận hoặc bác bỏ giả thuyết. Chúng ta đang nói rằng kết quả này quá ngẫu nhiên để chúng ta có thể khẳng định liệu nó có đúng hay không.

Khoảng tin cậy 95% cho phép chúng ta chấp nhận hoặc bác bỏ giả thuyết, và điều đó có nghĩa là dữ liệu của chúng ta không phải là nhiễu. Khi độ tin cậy nhỏ hơn 95%, như trường hợp này, chúng ta không thể khẳng định rằng mình đã học được điều gì đó theo cách mà chúng ta thường làm với một thử nghiệm khoa học, nhưng chúng ta vẫn có thể nói rằng chúng ta có một số bằng chứng khá mạnh mẽ cho thấy điều này sẽ tạo ra tác động tích cực lên các trang này.

Những lợi ích của việc thử nghiệm

Khi chúng tôi thảo luận về điều này với khách hàng, mục tiêu chính của chúng tôi là mang lại lợi thế cạnh tranh so với các đối thủ trong cùng lĩnh vực.  Lợi ích chính của việc thử nghiệm là giúp tránh những thay đổi tiêu cực.

Chúng tôi chỉ muốn đảm bảo rằng những thay đổi mà chúng tôi đang thực hiện không làm giảm mạnh lượng truy cập, và chúng tôi thấy điều đó khá thường xuyên. Tại Distilled, chúng tôi gọi đó là một " vòng xoáy nguy hiểm được tránh khỏi".

Tôi hy vọng bạn có thể áp dụng điều này vào công việc của mình và sử dụng nó với khách hàng hoặc cho trang web của riêng bạn. Hy vọng bạn có thể bắt đầu hình thành các giả thuyết, và ngay cả khi bạn không thể triển khai một thứ gì đó như ODN, bạn vẫn có thể sử dụng dữ liệu GA của mình để cố gắng hiểu rõ hơn liệu những thay đổi bạn đang thực hiện có giúp ích hay gây hại cho lưu lượng truy cập của bạn. Đó là tất cả những gì tôi muốn chia sẻ với bạn hôm nay. Cảm ơn.