Đừng để dữ liệu đánh lừa bạn: 4 cạm bẫy trong phân tích dữ liệu và cách tránh chúng

Vội vàng kết luận

Đầu năm nay, tôi đã thực hiện một nghiên cứu về các yếu tố xếp hạng liên quan đến nhận diện thương hiệu, và tôi đã đăng kèm lời cảnh báo này:

"...việc chỉ số Domain Authority (hoặc khối lượng tìm kiếm theo thương hiệu, hoặc bất cứ chỉ số nào khác) có mối tương quan tích cực với thứ hạng tìm kiếm có thể cho thấy rằng bất kỳ hoặc tất cả những điều sau đây đều có khả năng xảy ra:

• Các liên kết giúp trang web có thứ hạng tốt.
• Xếp hạng cao giúp các trang web nhận được liên kết.
• Một yếu tố thứ ba nào đó (ví dụ: danh tiếng hoặc tuổi đời của trang web) khiến các trang web vừa có liên kết vừa có thứ hạng cao"
  ~ Tôi

Tuy nhiên, tôi muốn đi sâu hơn vào vấn đề này và cung cấp cho bạn một khuôn khổ để tự phân tích chúng, bởi vì nó vẫn thường xuyên được đề cập. Ví dụ, hãy xem nghiên cứu gần đây của Stone Temple , mà bạn có thể đã thấy trong danh sách Top 10 của Moz hoặc trên Twitter của Rand, hoặc bài viết xuất sắc này thảo luận về những phát hiện gần đây của SEMRush về lưu lượng truy cập trực tiếp. Để hoàn toàn rõ ràng, tôi không chỉ trích bất kỳ nghiên cứu nào, nhưng tôi muốn lưu ý đến cách chúng ta có thể diễn giải chúng.

Thứ nhất, chúng ta thường có xu hướng mắc phải một chút thiên kiến ​​xác nhận — chúng ta quá vội vàng chỉ ra sự khác biệt quen thuộc giữa "tương quan và nhân quả" khi thấy các trang web thành công nhờ nhồi nhét từ khóa, nhưng lại quá tán thành khi thấy các nghiên cứu làm điều tương tự với thứ mà chúng ta cho là hiệu quả, chẳng hạn như liên kết.

Thứ hai, chúng ta không phân tích kỹ lưỡng các cơ chế tiềm tàng. Các khả năng không chỉ là nguyên nhân hay sự trùng hợp ngẫu nhiên.

Trước khi vội vàng đưa ra kết luận dựa trên mối tương quan, bạn cần phải xem xét nhiều khả năng khác nhau:

• Hoàn toàn trùng hợp
• Nguyên nhân ngược chiều
• Nguyên nhân chung
• Tính tuyến tính
• Khả năng ứng dụng rộng rãi

Trước khi cảnh báo bạn không nên ăn pho mát vì có thể chết trên giường, tôi buộc phải kiểm tra xem nó có phải là một trong những thứ sau đây hay không:

• Hoàn toàn là sự trùng hợp ngẫu nhiên - Liệu có khả năng khi so sánh quá nhiều bộ dữ liệu đến mức chắc chắn sẽ có một số dữ liệu tương tự nhau? Vâng, đó chính xác là những gì Tyler Vigen đã làm! Điều này hoàn toàn có thể xảy ra.
• Nguyên nhân ngược chiều - Liệu có khả năng chúng ta hiểu sai vấn đề này không? Ví dụ, có lẽ người thân của bạn, trong lúc đau buồn vì cái chết liên quan đến tấm ga trải giường của bạn, đã ăn rất nhiều pho mát để an ủi bản thân? Điều này nghe có vẻ khá khó xảy ra, nên hãy bỏ qua giả thuyết này. Không, điều này rất khó xảy ra.
• Nguyên nhân kép - Liệu có khả năng có yếu tố thứ ba nào đó đứng sau cả hai điều này? Có lẽ sự giàu có ngày càng tăng khiến bạn khỏe mạnh hơn (nên bạn không chết vì những bệnh như suy dinh dưỡng), và cũng khiến bạn ăn nhiều pho mát hơn? Điều này nghe có vẻ rất hợp lý. Vâng, điều này hoàn toàn có thể xảy ra.
• Tính tuyến tính - Chúng ta đang so sánh hai xu hướng tuyến tính phải không? Xu hướng tuyến tính là tốc độ tăng trưởng hoặc suy giảm ổn định. Bất kỳ hai số liệu thống kê nào đều có xu hướng tuyến tính theo thời gian sẽ có mối tương quan rất tốt. Trong biểu đồ trên, cả hai số liệu thống kê của chúng ta đều đang có xu hướng tăng tuyến tính. Nếu biểu đồ được vẽ với các tỷ lệ khác nhau, chúng có thể trông hoàn toàn không liên quan, như thế này , nhưng vì cả hai đều có tốc độ ổn định, chúng vẫn sẽ có mối tương quan rất tốt. Vâng, điều này có vẻ hợp lý.
• Tính ứng dụng rộng rãi - Liệu mối quan hệ này chỉ tồn tại trong một số trường hợp đặc thù, hoặc ít nhất là không tồn tại trong trường hợp của tôi? Ví dụ, có lẽ pho mát gây ra hiện tượng này ở một số người, và điều đó đủ để tạo ra mối tương quan này, bởi vì nếu không thì rất ít trường hợp tử vong do ga trải giường bị rối? Vâng, điều này có vẻ khả thi.

Như vậy, từ 5 lần kiểm tra đó, chúng ta có 4 câu trả lời " Có " và một câu trả lời " Không ".

Nếu ví dụ của bạn không nhận được 5 câu trả lời " Không " từ 5 lần kiểm tra đó, thì đó là một thất bại, và bạn không được phép nói rằng nghiên cứu đã xác định được yếu tố xếp hạng hoặc tác dụng phụ gây tử vong của việc tiêu thụ pho mát.

Một quy trình tương tự cũng nên được áp dụng cho các nghiên cứu trường hợp, một hình thức khác của sự tương quan — sự tương quan giữa việc bạn thực hiện thay đổi và điều gì đó tốt (hoặc xấu!) xảy ra. Ví dụ, hãy hỏi:

• Tôi đã loại trừ các yếu tố khác (ví dụ: nhu cầu bên ngoài, tính mùa vụ, sai lầm của đối thủ cạnh tranh) chưa?
• Liệu việc tôi định làm có làm tăng lưu lượng truy cập hay tôi đã vô tình cải thiện được một yếu tố nào khác cùng lúc?
• Liệu điều này có hiệu quả là do hoàn cảnh đặc thù của khách hàng/dự án cụ thể đó?

Điều này đặc biệt khó khăn đối với những người làm SEO, bởi vì chúng ta hiếm khi có được dữ liệu chất lượng như vậy, nhưng tôi xin đề xuất thêm một vài câu hỏi để giúp bạn vượt qua "bãi mìn" này:

• Nếu tôi là Google, liệu tôi có làm điều này không?
• Nếu tôi là Google, liệu tôi có thể làm điều này không?

Lưu lượng truy cập trực tiếp được sử dụng làm yếu tố xếp hạng có thể vượt qua bài kiểm tra "có thể", nhưng chỉ ở mức tối thiểu — Google có thể sử dụng dữ liệu từ Chrome, Android hoặc các nhà cung cấp dịch vụ Internet, nhưng điều đó sẽ không đáng tin cậy. Tuy nhiên, nó không thực sự vượt qua bài kiểm tra "sẽ" — sẽ dễ dàng hơn nhiều nếu Google sử dụng lưu lượng truy cập tìm kiếm theo thương hiệu, điều này sẽ trả lời cùng những câu hỏi mà bạn có thể cố gắng trả lời bằng cách so sánh mức độ phổ biến của lưu lượng truy cập trực tiếp (ví dụ: trang web này phổ biến đến mức nào?).

Thiếu ngữ cảnh

Nếu hôm nay tôi nói với bạn rằng lượng truy cập của tôi đã tăng 20% ​​so với tuần trước, bạn sẽ nói gì? Chúc mừng à?

Thật buồn cười là chỉ một chút ngữ cảnh thôi cũng có thể thay đổi hoàn toàn mọi thứ. Đây lại là một vấn đề khác của các nghiên cứu trường hợp và "người anh em song sinh" độc ác của chúng, các phân tích sụt giảm lưu lượng truy cập.

Nếu chúng ta thực sự muốn hiểu liệu nên ngạc nhiên về một điều gì đó, theo hướng tích cực hay tiêu cực, chúng ta cần so sánh nó với kỳ vọng của mình, và sau đó tìm ra mức độ sai lệch so với kỳ vọng nào được coi là “bình thường”. Nếu điều này bắt đầu nghe giống như thống kê, đó là bởi vì nó chính là thống kê — thực tế, tôi đã viết về một phương pháp thống kê để đo lường sự thay đổi từ năm 2015 .

Tuy nhiên, nếu bạn muốn lười biếng, một nguyên tắc tốt là thu nhỏ biểu đồ lại và thêm dữ liệu của những năm trước đó. Và nếu ai đó cho bạn xem dữ liệu được phóng to một cách đáng ngờ, bạn nên xem xét nó một cách thận trọng.

Tin tưởng vào các công cụ của chúng ta

Bạn có đưa ra quyết định kinh doanh trị giá hàng triệu đô la dựa trên một con số mà đối thủ cạnh tranh có thể thao túng tùy ý không? Chắc chắn là có, và con số đó có thể được tìm thấy trong Google Analytics. Tôi đã đề cập đến vấn đề này rất nhiều ở những nơi khác , nhưng hầu hết các nền tảng phân tích hiện nay đều có một số vấn đề lớn:

• Chúng dễ bị thao túng từ bên ngoài như thế nào?
• Họ nhóm các lượt truy cập vào các phiên một cách tùy tiện như thế nào?
• Mức độ dễ bị tổn thương của chúng trước các trình chặn quảng cáo
• Hiệu suất của chúng khi được lấy mẫu như thế nào, và chúng thể hiện điều này rõ ràng đến mức nào.

Ví dụ, bạn có biết rằng API Google Analytics v3 có thể lấy mẫu dữ liệu rất nhiều trong khi vẫn thông báo rằng dữ liệu đó không được lấy mẫu, khi lưu lượng truy cập vượt quá một mức nhất định (~500.000 lượt trong một khoảng thời gian nhất định)? Tôi cũng không biết điều đó cho đến khi chúng tôi gặp phải vấn đề này trong quá trình xây dựng Distilled ODN.

Những vấn đề tương tự cũng tồn tại với nhiều công cụ "Phân tích Tìm kiếm". Đồng nghiệp của tôi, Sam Nemzer, đã viết rất nhiều về vấn đề này — bạn có biết rằng hầu hết các nền tảng theo dõi thứ hạng đều báo cáo thứ hạng hoàn toàn khác nhau không? Hoặc thực tế là các từ khóa được Google (và do đó cả các công cụ như SEMRush và STAT) nhóm lại không tương đương nhau , và không nhất thiết có cùng khối lượng tìm kiếm như đã nêu?

Điều quan trọng là phải hiểu điểm mạnh và điểm yếu của các công cụ mà chúng ta sử dụng, để ít nhất chúng ta có thể biết khi nào chúng chính xác về mặt định hướng (nghĩa là, những phân tích của chúng hướng dẫn bạn đi đúng hướng), ngay cả khi không hoàn toàn chính xác. Điều tôi thực sự có thể khuyên ở đây là việc nâng cao kỹ năng SEO (hoặc bất kỳ kênh kỹ thuật số nào khác) nhất thiết phải bao gồm việc hiểu cơ chế hoạt động đằng sau các nền tảng đo lường của bạn — đó là lý do tại sao tất cả những người mới bắt đầu tại Distilled đều học cách thực hiện kiểm toán phân tích.

Một trong những giải pháp phổ biến nhất cho vấn đề cốt lõi là kết hợp nhiều nguồn dữ liệu, nhưng…

Kết hợp các nguồn dữ liệu

Có rất nhiều nền tảng ngoài kia sẽ “đánh bại (không được cung cấp)” bằng cách kết hợp dữ liệu từ hai hoặc nhiều nguồn sau:

• Phân tích
• Bảng điều khiển tìm kiếm
• AdWords
• Theo dõi thứ hạng

Vấn đề ở đây là, thứ nhất, các nền tảng này không có định nghĩa tương đương, và thứ hai, trớ trêu thay, (không được cung cấp) lại có xu hướng làm hỏng chúng.

Trước tiên, hãy cùng tìm hiểu định nghĩa và lấy một ví dụ — hãy xem xét trang đích có kênh:

• Trong Search Console, những lượt nhấp chuột này được báo cáo và có thể dễ bị ảnh hưởng bởi việc lấy mẫu dữ liệu ẩn và phức tạp khi kết hợp nhiều chiều dữ liệu (ví dụ: từ khóa và trang) hoặc bộ lọc.
• Trong Google Analytics, những dữ liệu này được báo cáo bằng cách sử dụng lượt nhấp chuột không trực tiếp cuối cùng , có nghĩa là lưu lượng truy cập tự nhiên của bạn bao gồm nhiều phiên trực tiếp, các phiên bị gián đoạn nhưng đã tiếp tục giữa chừng, v.v. Đó là chưa kể đến lưu lượng truy cập ẩn, trình chặn quảng cáo, v.v.
• Trong AdWords, hầu hết các báo cáo đều sử dụng lượt nhấp chuột AdWords cuối cùng , và định nghĩa về chuyển đổi có thể khác nhau. Ngoài ra, khối lượng từ khóa được gộp lại, như đã đề cập ở trên.
• Việc theo dõi thứ hạng phụ thuộc vào vị trí và không nhất quán, như đã đề cập ở trên.

Cũng được thôi — có thể nó không chính xác lắm, nhưng ít nhất bạn cũng có thể thu thập được một số dữ liệu hữu ích về mặt định hướng trong điều kiện hạn chế này. Tuy nhiên, về phần “(không được cung cấp)”…

Hầu hết các trang đích của bạn nhận được lưu lượng truy cập từ nhiều hơn một từ khóa. Rất có thể một số từ khóa này chuyển đổi tốt hơn những từ khóa khác, đặc biệt nếu chúng là từ khóa thương hiệu, có nghĩa là ngay cả mô hình tỷ lệ nhấp chuột (CTR) kỹ lưỡng nhất cũng không thể giúp bạn. Vậy làm thế nào để bạn biết từ khóa nào có giá trị?

Câu trả lời tốt nhất là khái quát hóa từ dữ liệu AdWords cho các từ khóa đó, nhưng rất khó có khả năng bạn có dữ liệu phân tích cho tất cả các tổ hợp từ khóa và trang đích đó. Về cơ bản, các công cụ báo cáo về vấn đề này đưa ra giả định khá táo bạo rằng một trang nhất định có tỷ lệ chuyển đổi giống hệt nhau đối với tất cả các từ khóa. Một số công cụ minh bạch hơn về điều này so với những công cụ khác.

Một lần nữa, điều này không có nghĩa là những công cụ đó không có giá trị — chúng chỉ cần được hiểu một cách cẩn thận. Cách duy nhất để bạn có thể lấp đầy những khoảng trống do cụm từ “không được cung cấp” tạo ra một cách đáng tin cậy là chi rất nhiều tiền cho quảng cáo tìm kiếm trả phí để có được ước tính về khối lượng tìm kiếm, tỷ lệ chuyển đổi và tỷ lệ thoát trang tốt cho tất cả các từ khóa của bạn, và ngay cả khi đó, bạn vẫn chưa khắc phục được vấn đề định nghĩa không nhất quán.

Điều khó chịu thêm: Thứ hạng trung bình

Tôi vẫn thấy điều này xảy ra quá thường xuyên. Ba câu hỏi:

+ Bạn quan tâm hơn đến việc mất thứ hạng tìm kiếm đối với mười truy vấn có lượng tìm kiếm rất thấp (10 lượt tìm kiếm mỗi tháng hoặc ít hơn) so với một truy vấn có lượng tìm kiếm cao (hàng triệu lượt trở lên)? Nếu câu trả lời không phải là “có, tôi hoàn toàn quan tâm hơn đến mười truy vấn có lượng tìm kiếm thấp đó”, thì chỉ số này không phù hợp với bạn, và bạn nên xem xét một chỉ số về khả năng hiển thị dựa trên ước tính tỷ lệ nhấp chuột.

+ Khi bạn bắt đầu xếp hạng ở vị trí 100 cho một từ khóa mà trước đây bạn chưa từng xếp hạng, điều này có làm bạn khó chịu không? Nếu câu trả lời không phải là “có, tôi ghét việc xếp hạng cho các từ khóa mới”, thì chỉ số này không dành cho bạn — vì điều đó sẽ làm giảm thứ hạng trung bình của bạn. Tất nhiên, bạn có thể coi tất cả các từ khóa không được xếp hạng là vị trí 100, như một số công cụ cho phép, nhưng liệu việc giảm 2 vị trí xếp hạng trung bình có phải là cách tốt nhất để thể hiện rằng 1/50 trang đích của bạn đã bị loại khỏi chỉ mục tìm kiếm? Một lần nữa, hãy sử dụng chỉ số về khả năng hiển thị.

+ Bạn có thích so sánh hiệu suất của mình với đối thủ cạnh tranh không? Nếu câu trả lời không phải là “không, tất nhiên là không”, thì chỉ số này không dành cho bạn — đối thủ cạnh tranh của bạn có thể có nhiều hoặc ít từ khóa thương hiệu hoặc thứ hạng tìm kiếm dài hạn hơn, và điều này sẽ làm sai lệch sự so sánh. Một lần nữa, hãy sử dụng chỉ số về khả năng hiển thị.

Phần kết luận

Hi vọng bạn thấy thông tin này hữu ích. Tóm lại, những điểm chính cần ghi nhớ là:

• Phân tích kỹ lưỡng các mối tương quan và nghiên cứu trường hợp bằng cách xem liệu bạn có thể giải thích chúng là sự trùng hợp ngẫu nhiên, là nguyên nhân ngược chiều, là nguyên nhân chung, thông qua việc tham chiếu đến một yếu tố thứ ba có liên quan lẫn nhau, hoặc thông qua tính ứng dụng chuyên biệt.
• Đừng chỉ nhìn vào sự thay đổi lưu lượng truy cập mà không xem xét bối cảnh — bạn sẽ dự đoán điều gì cho giai đoạn này, và với mức độ sai số là bao nhiêu?
• Hãy nhớ rằng các công cụ chúng ta sử dụng đều có những hạn chế, và hãy nghiên cứu xem điều đó ảnh hưởng đến các con số mà chúng hiển thị như thế nào. “ Con số này được tạo ra như thế nào?” là một phần quan trọng trong câu hỏi “Con số này có ý nghĩa gì?”
• Nếu bạn kết hợp dữ liệu từ nhiều công cụ khác nhau, hãy nhớ tìm ra mối quan hệ giữa chúng — hãy xem thông tin này như là định hướng chứ không phải là chính xác tuyệt đối.