Cách lập chỉ mục ưu tiên thiết bị di động làm thay đổi biểu đồ liên kết

Mặc dù gây khó chịu, nhưng việc đơn giản hóa và thu gọn trang web trên màn hình di động mà không cần phải loại bỏ các tính năng hoặc nội dung gây rối mắt trên màn hình nhỏ luôn là một thách thức đối với các nhà phát triển và thiết kế web. Trường hợp xấu nhất là một số tính năng sẽ chỉ dành cho môi trường máy tính để bàn, hoặc người dùng có thể chọn không hiển thị trên thiết bị di động. Dưới đây là ví dụ về cách blog cá nhân của tôi hiển thị phiên bản di động bằng cách sử dụng một plugin phổ biến của ElegantThemes có tên là HandHeld. Như bạn thấy, trang web rộng lớn đã được thu gọn đáng kể và dễ đọc hơn nhiều... nhưng cái giá phải trả là gì? Và ảnh hưởng đến biểu đồ liên kết như thế nào?

Blog cá nhân của tôi loại bỏ 75 trong số 87 liên kết, và tất cả các liên kết ngoài, khi truy cập phiên bản di động. Vậy điều gì sẽ xảy ra khi phiên bản di động của các trang web trở thành phương thức truy cập web chính, trên quy mô lớn, bởi các bot cung cấp năng lượng cho các công cụ tìm kiếm lớn?

Việc Google tuyên bố sẽ tiếp tục triển khai chỉ mục ưu tiên thiết bị di động đặt ra những câu hỏi mới về cách cấu trúc liên kết của toàn bộ web có thể bị ảnh hưởng khi những trải nghiệm web bị thu gọn này trở thành phiên bản đầu tiên (và đôi khi là duy nhất) mà Googlebot gặp phải.

Vậy thì có gì to tát đâu?

Mối lo ngại, mà chắc chắn các kỹ sư của Google đã nghiên cứu nội bộ, là các trang web dành cho thiết bị di động thường lược bỏ nội dung và liên kết để cải thiện trải nghiệm người dùng trên màn hình nhỏ hơn. Nội dung bị rút gọn này về cơ bản làm thay đổi cấu trúc liên kết, vốn là một trong những yếu tố quan trọng nhất trong xếp hạng của Google. Mục tiêu của chúng tôi là cố gắng hiểu tác động mà điều này có thể gây ra.

Trước khi bắt đầu, một biến số lớn chưa được biết đến mà tôi muốn nhanh chóng chỉ ra là chúng ta không biết Google sẽ thu thập thông tin trên bao nhiêu phần trăm trang web bằng cả bot dành cho máy tính để bàn và thiết bị di động . Có lẽ Google sẽ chỉ chọn "ưu tiên thiết bị di động" đối với những trang web có mã nguồn giống hệt nhau trên cả phiên bản di động và máy tính để bàn của Googlebot. Tuy nhiên, vì mục đích của nghiên cứu này, tôi muốn trình bày kịch bản xấu nhất, như thể Google không chỉ chọn "ưu tiên thiết bị di động", mà thực tế là chỉ "hoạt động trên thiết bị di động".

Phương pháp luận: So sánh thiết bị di động với máy tính để bàn trên quy mô lớn

Để thực hiện nghiên cứu ngắn này, tôi quyết định chọn ngẫu nhiên 20.000 trang web từ danh sách Top Million của Quantcast. Sau đó, tôi sẽ thu thập dữ liệu ở hai cấp độ, giả mạo cả phiên bản Googlebot trên thiết bị di động và máy tính để bàn của Google. Với dữ liệu này, chúng ta có thể bắt đầu so sánh cấu trúc liên kết của web có thể khác nhau như thế nào.

Số liệu trang chủ

Chúng ta hãy bắt đầu với một số thống kê mô tả về trang chủ của 20.000 trang web được chọn ngẫu nhiên này. Trong số các trang web được phân tích, 87,42% có cùng số lượng liên kết trên trang chủ bất kể bot đó được thiết kế cho thiết bị di động hay máy tính để bàn. Trong số 12,58% còn lại, 9% có ít liên kết hơn và 3,58% có nhiều liên kết hơn. Thoạt nhìn, sự khác biệt này có vẻ không quá lớn.

Có lẽ quan trọng hơn, chỉ có 79,87% trang chủ có liên kết giống hệt nhau khi được truy cập bởi bot trên máy tính và thiết bị di động. Việc tìm thấy cùng một số lượng liên kết không có nghĩa là chúng thực sự là cùng một liên kết. Điều này rất quan trọng cần xem xét vì liên kết là con đường mà bot sử dụng để tìm nội dung trên web. Các con đường khác nhau có nghĩa là chỉ mục khác nhau.
Trong số các liên kết trên trang chủ, chúng tôi nhận thấy sự sụt giảm 7,4% các liên kết bên ngoài. Điều này có thể báo hiệu một sự thay đổi mạnh mẽ trong một số liên kết quan trọng nhất trên web, vì các liên kết trên trang chủ thường mang lại giá trị liên kết rất lớn. Điều thú vị là, những "kẻ thua cuộc" lớn nhất xét về tỷ lệ phần trăm có xu hướng là các trang mạng xã hội. Nhìn lại, có vẻ hợp lý khi một trong những loại liên kết phổ biến mà một trang web có thể loại bỏ khỏi phiên bản di động của họ là các nút chia sẻ mạng xã hội vì chúng thường được tích hợp vào "giao diện" của trang chứ không phải nội dung, và "giao diện" thường thay đổi để phù hợp với phiên bản di động. Những "
kẻ thua cuộc" lớn nhất xét về tỷ lệ phần trăm theo thứ tự là:

+ linkedin.com

+ instagram.com

+ twitter.com

+ facebook.com

Vậy thì sự khác biệt 5-15% về liên kết khi thu thập dữ liệu trên web có gì đáng bàn? Thực ra, những con số này thường bị ảnh hưởng bởi các trang web có nhiều liên kết nhưng không có phiên bản dành cho thiết bị di động. Tuy nhiên, hầu hết các liên kết đó đều là liên kết điều hướng chính. Khi thu thập dữ liệu sâu hơn, bạn chỉ tìm thấy các liên kết tương tự. Nhưng những liên kết khác biệt lại có các liên kết cấp hai hoàn toàn khác nhau.

Số liệu cấp hai

Giờ đây, dữ liệu trở nên thú vị hơn. Khi chúng ta tiếp tục thu thập dữ liệu trên web bằng các bộ thu thập dữ liệu bị ảnh hưởng bởi các liên kết được phát hiện bởi bot trên thiết bị di động so với bot trên máy tính để bàn, chúng ta sẽ tiếp tục nhận được ngày càng nhiều kết quả khác biệt. Nhưng chúng sẽ khác biệt đến mức nào? Hãy bắt đầu với kích thước. Mặc dù chúng ta đã thu thập dữ liệu từ cùng một số lượng trang chủ, nhưng kết quả ở cấp độ thứ hai lại khác nhau dựa trên số lượng liên kết được tìm thấy trên các trang chủ ban đầu đó. Do đó, bộ thu thập dữ liệu trên thiết bị di động có 977.840 URL duy nhất, trong khi bộ thu thập dữ liệu trên máy tính để bàn có 1.053.785 URL. Ngay lập tức, chúng ta có thể thấy một chỉ mục khác đang hình thành — chỉ mục trên máy tính để bàn sẽ lớn hơn nhiều. Hãy cùng tìm hiểu sâu hơn.

Tôi muốn bạn dành chút thời gian và tập trung thật kỹ vào biểu đồ này. Hãy chú ý rằng có ba hạng mục:

• Tính năng độc đáo trên thiết bị di động: Các thanh màu xanh lam biểu thị các vật phẩm độc đáo được tìm thấy bởi bot trên thiết bị di động.
• Vật phẩm độc đáo trên máy tính để bàn: Các thanh màu cam biểu thị các vật phẩm độc đáo được tìm thấy bởi bot trên máy tính để bàn.
• Được chia sẻ: Các thanh màu xám biểu thị các mục được cả hai bên tìm thấy.

Cũng cần lưu ý rằng có bốn bài kiểm tra:

• Số lượng URL được phát hiện
• Số lượng tên miền được phát hiện
• Số lượng liên kết được phát hiện
• Số lượng tên miền liên kết gốc được phát hiện

Đây là điểm mấu chốt, và nó thực sự rất quan trọng. Có nhiều URL, tên miền, liên kết và tên miền liên kết gốc duy nhất trong kết quả thu thập dữ liệu trên máy tính hơn là những URL, tên miền, liên kết và liên kết gốc được chia sẻ giữa trình thu thập dữ liệu trên máy tính và thiết bị di động. Thanh màu cam luôn cao hơn thanh màu xám. Điều này có nghĩa là chỉ ở cấp độ thứ hai của quá trình thu thập dữ liệu, phần lớn các mối quan hệ liên kết, trang và tên miền đã khác nhau trong các chỉ mục. Điều này rất lớn. Đây là một sự thay đổi cơ bản trong biểu đồ liên kết như chúng ta đã biết.

Và bây giờ là câu hỏi quan trọng nhất, điều mà tất cả chúng ta đều quan tâm nhất — các liên kết ngoài.

Có đến 63% liên kết ngoài chỉ xuất hiện trên trình thu thập dữ liệu của máy tính để bàn. Trong môi trường chỉ thu thập dữ liệu trên thiết bị di động, tổng số liên kết ngoài đã giảm đi một nửa.

Điều gì đang xảy ra ở cấp độ vi mô?

Vậy điều gì thực sự gây ra sự chênh lệch lớn này trong quá trình thu thập dữ liệu? Chúng ta biết rằng nó có liên quan đến một vài thủ thuật phổ biến để làm cho một trang web "thân thiện với thiết bị di động", bao gồm:

+ Các phiên bản tên miền phụ của nội dung có ít liên kết hoặc tính năng hơn.

+ Việc loại bỏ các liên kết và tính năng bởi các plugin phát hiện tác nhân người dùng

Tất nhiên, những thay đổi này có thể cải thiện trải nghiệm cho người dùng, nhưng lại tạo ra trải nghiệm khác biệt cho các bot. Hãy cùng xem xét kỹ hơn một trang web để thấy điều này diễn ra như thế nào.

Theo Google, trang web này có khoảng 10.000 trang, điểm uy tín tên miền (Domain Authority) là 72 và 22.670 tên miền liên kết theo Moz Link Explorer . Tuy nhiên, trang web này sử dụng một plugin WordPress phổ biến giúp rút gọn nội dung chỉ còn các bài viết và trang trên trang, loại bỏ các liên kết trong phần mô tả bài viết trên các trang danh mục và loại bỏ hầu hết, nếu không phải tất cả, các liên kết không cần thiết khỏi thanh bên và chân trang. Plugin này được sử dụng trên hơn 200.000 trang web. Vậy điều gì sẽ xảy ra khi chúng ta thực hiện thu thập dữ liệu sáu cấp độ bằng Screaming Frog ? (Nó rất tuyệt vời cho loại phân tích này vì chúng ta có thể dễ dàng thay đổi user-agent và giới hạn cài đặt chỉ thu thập nội dung HTML.)

Sự khác biệt thật đáng kinh ngạc. Đầu tiên, hãy chú ý rằng trong kết quả thu thập dữ liệu trên thiết bị di động ở bên trái, rõ ràng là có rất ít liên kết trên mỗi trang và số lượng liên kết này rất ổn định khi bạn thu thập dữ liệu sâu hơn vào trang web. Đây chính là điều tạo ra đường cong tăng trưởng theo cấp số nhân ổn định như vậy. Thứ hai, hãy chú ý rằng quá trình thu thập dữ liệu đã kết thúc đột ngột ở cấp độ bốn. Trang web đơn giản là không còn trang nào để cung cấp cho trình thu thập dữ liệu trên thiết bị di động nữa! Chỉ có khoảng 3.000 trong số khoảng 10.000 trang mà Google báo cáo được tìm thấy.

Giờ hãy so sánh điều này với trình thu thập dữ liệu trên máy tính để bàn. Nó thu thập số lượng trang nhiều gấp đôi ở cấp độ hai, chỉ riêng ở cấp độ này đã thu thập được gần gấp đôi tổng số trang so với trình thu thập dữ liệu trên thiết bị di động. Hãy nhớ lại biểu đồ trước đó cho thấy rằng có nhiều trang độc nhất trên máy tính để bàn hơn là các trang được chia sẻ khi chúng ta thu thập dữ liệu từ 20.000 trang web. Đây là bằng chứng xác nhận chính xác cách thức điều đó xảy ra. Cuối cùng, lượng nội dung được cung cấp cho trình thu thập dữ liệu trên máy tính để bàn nhiều gấp 6 lần ở cùng độ sâu thu thập dữ liệu.

Nhưng điều này đã tác động như thế nào đến các liên kết bên ngoài?

Thật kinh ngạc. 75% các liên kết ngoài đã bị loại bỏ trên phiên bản di động. Có 4.905 liên kết ngoài được tìm thấy trên phiên bản máy tính để bàn, trong khi chỉ có 1.162 liên kết được tìm thấy trên phiên bản di động. Hãy nhớ rằng, đây là một trang web có chỉ số DA 72 với hơn hai mươi nghìn tên miền liên kết đến. Hãy tưởng tượng việc mất đi liên kết đó chỉ vì chỉ mục trên thiết bị di động không còn tìm thấy backlink nữa. Chúng ta phải làm gì đây? Có phải là tận thế rồi sao?

Hít một hơi thật sâu

"Ưu tiên thiết bị di động" không có nghĩa là chỉ dành riêng cho thiết bị di động.

Điều cần lưu ý quan trọng đầu tiên đối với tất cả các nghiên cứu này là Google không từ bỏ máy tính để bàn — họ chỉ đơn giản là ưu tiên thu thập dữ liệu trên thiết bị di động. Điều này hợp lý, vì phần lớn lưu lượng tìm kiếm hiện nay đến từ thiết bị di động. Nếu Google muốn đảm bảo nội dung chất lượng cho thiết bị di động được cung cấp, họ cần phải thay đổi thứ tự ưu tiên thu thập dữ liệu. Nhưng họ cũng có một mong muốn cạnh tranh là tìm kiếm nội dung, và việc này đòi hỏi phải sử dụng trình thu thập dữ liệu trên máy tính để bàn chừng nào các quản trị viên web vẫn tiếp tục rút gọn phiên bản di động của trang web của họ.

Google hiểu rõ thực tế này. Trong thông báo chính thức ban đầu về chiến lược "Ưu tiên thiết bị di động" của Google , họ viết...

Nếu bạn đang xây dựng phiên bản di động cho trang web của mình, hãy nhớ rằng một trang web hoạt động tốt trên máy tính để bàn vẫn tốt hơn một phiên bản di động bị lỗi hoặc chưa hoàn thiện.

Google đã dành thời gian để khẳng định rằng phiên bản dành cho máy tính để bàn có thể tốt hơn một "phiên bản di động chưa hoàn thiện". Tôi không có ý định diễn giải quá nhiều về tuyên bố này, ngoài việc muốn nói rằng Google muốn có một phiên bản di động hoàn chỉnh, chứ không chỉ là một bản sơ lược.

Việc đặt liên kết tốt sẽ mang lại hiệu quả.

Một kết quả nghiên cứu mang tính giai thoại của tôi là các liên kết ngoài thường tồn tại sau khi phiên bản di động bị loại bỏ thường được đặt trực tiếp trong nội dung. Các liên kết ngoài trong thanh bên như danh sách blog về cơ bản đã bị xóa khỏi chỉ mục, nhưng các liên kết trong nội dung thì vẫn còn. Đây có thể là một tín hiệu mà Google nhận ra. Các liên kết ngoài xuất hiện cả trên thiết bị di động và máy tính để bàn thường là loại liên kết mà mọi người có thể nhấp vào.
Vì vậy, mặc dù có thể có ít liên kết hơn cung cấp năng lượng cho biểu đồ liên kết (hoặc ít nhất có thể có một tập hợp con được xác định đặc biệt), nếu các liên kết của bạn là các liên kết tốt, dựa trên nội dung, thì bạn có cơ hội thấy hiệu suất được cải thiện.

Tôi đã có thể xác nhận điều này bằng cách xem xét một tập hợp con các liên kết tốt đã biết. Sử dụng Fresh Web Explorer , tôi đã tìm kiếm các liên kết mới đến toysrus.com , trang web hiện đang thu hút rất nhiều sự chú ý do các cửa hàng đóng cửa. Chúng ta có thể tự tin rằng hầu hết các liên kết này sẽ nằm trong nội dung vì bản thân các bài viết đều đề cập đến những tin tức nóng hổi, ​​có liên quan đến Toys R Us. Quả thật, sau khi kiểm tra hơn 300 lượt đề cập, chúng tôi thấy các liên kết hoàn toàn giống nhau trong quá trình thu thập dữ liệu trên thiết bị di động và máy tính để bàn. Đây là những liên kết tốt, nằm trong nội dung và do đó, chúng xuất hiện trong cả hai phiên bản của quá trình thu thập dữ liệu.

thiên lệch chọn lọc và sự hội tụ

Có lẽ các trang web phổ biến thường có phiên bản dành cho thiết bị di động hơn các trang web ít phổ biến hơn. Những trang web này có thể có giao diện đáp ứng (responsive) – trong trường hợp đó, chúng sẽ không tạo ra sự khác biệt đáng kể nào trong quá trình thu thập dữ liệu – nhưng ít nhất một phần trăm trong số đó có thể là các tên miền có đuôi .m.* hoặc sử dụng các plugin như đã đề cập ở trên, giúp cắt bớt nội dung. Ở các cấp độ thấp hơn của web, nội dung cũ hơn, kém chuyên nghiệp hơn thường chỉ có một phiên bản duy nhất được hiển thị trên cả thiết bị di động và máy tính để bàn. Nếu đúng như vậy, chúng ta có thể kỳ vọng rằng theo thời gian, sự khác biệt trong chỉ mục sẽ bắt đầu hội tụ chứ không phải phân kỳ, vì nghiên cứu của tôi chỉ xem xét các trang web nằm trong top một triệu và chỉ thu thập dữ liệu ở hai cấp độ sâu.

Hơn nữa (điều này hơi mang tính suy đoán), nhưng tôi nghĩ theo thời gian sẽ có sự hội tụ giữa chỉ mục dành cho thiết bị di động và máy tính để bàn. Tôi không nghĩ rằng đồ thị liên kết sẽ phát triển khác biệt theo cấp số nhân vì mạng lưới liên kết chỉ có một kích thước nhất định. Thay vào đó, các đường dẫn dẫn đến các trang nhất định và tần suất truy cập chúng sẽ thay đổi khá nhiều. Vì vậy, mặc dù đồ thị liên kết sẽ khác nhau, nhưng tập hợp các URL tạo nên đồ thị liên kết phần lớn sẽ giống nhau. Tất nhiên, một tỷ lệ nhất định của mạng di động sẽ vẫn hoàn toàn khác biệt. Số lượng lớn các trang web sử dụng tên miền phụ dành riêng cho thiết bị di động hoặc các plugin loại bỏ các phần nội dung đáng kể sẽ vẫn giống như những hòn đảo di động trong mạng lưới liên kết.

Tác động đến kết quả tìm kiếm (SERPs)

Ở thời điểm này, rất khó để nói tác động của việc này đến kết quả tìm kiếm sẽ như thế nào. Chắc chắn nó sẽ không giữ nguyên thứ hạng tìm kiếm (SERP). Google sẽ làm gì khi thay đổi phương pháp lập chỉ mục mà lại không cải thiện được thứ hạng tìm kiếm?
Tuy nhiên, nghiên cứu này sẽ không hoàn chỉnh nếu thiếu phần đánh giá tác động. Xin cảm ơn JR Oakes đã đưa ra nhận xét này, nếu không tôi đã quên mất việc xem xét vấn đề này.

Thứ nhất, có một vài yếu tố có thể làm giảm bớt những thay đổi mạnh mẽ trong kết quả tìm kiếm, bất kể tính xác thực của nghiên cứu này:

• Việc triển khai chậm rãi có nghĩa là những thay đổi trong kết quả tìm kiếm sẽ bị lu mờ bởi những biến động xếp hạng tự nhiên mà chúng ta vẫn thường thấy.
• Google có thể đưa các URL được tìm thấy trên thiết bị di động hoặc máy tính để bàn vào trình thu thập thông tin tương ứng của họ, nhờ đó hạn chế sự khác biệt trong chỉ mục. (Đây là một điều rất quan trọng!)
• Google có thể lựa chọn xem xét tổng hợp lượt thu thập dữ liệu từ cả thiết bị di động và máy tính để bàn, không tính riêng lẻ từng loại, cho mục đích liên kết.

Thứ hai, mối quan hệ giữa các tên miền có thể ít bị ảnh hưởng hơn so với các chỉ số khác. Xác suất mối quan hệ giữa Tên miền X và Tên miền Y (nhiều hay ít liên kết) là như nhau đối với cả chỉ mục trên thiết bị di động và máy tính để bàn là bao nhiêu? Nếu mối quan hệ có xu hướng giữ nguyên, thì tác động đến kết quả tìm kiếm sẽ bị hạn chế. Chúng ta sẽ gọi mối quan hệ này là "nhất quán theo hướng".
Để thực hiện phần nghiên cứu này, tôi đã lấy một mẫu các cặp tên miền từ chỉ mục trên thiết bị di động và so sánh mối quan hệ của chúng (nhiều hay ít liên kết) với hiệu suất của chúng trong chỉ mục trên máy tính để bàn. Tên miền đầu tiên có nhiều liên kết hơn tên miền thứ hai ở cả thiết bị di động và máy tính để bàn không? Hay chúng có hiệu suất khác nhau?

Hóa ra các chỉ mục khá gần nhau về tính nhất quán hướng. Điều đó có nghĩa là, mặc dù các biểu đồ liên kết nói chung khá khác nhau, nhưng khi so sánh ngẫu nhiên một miền với một miền khác, chúng có xu hướng nhất quán về hướng trong cả hai tập dữ liệu. Khoảng 88% các miền được so sánh duy trì tính nhất quán hướng thông qua các chỉ mục. Thử nghiệm này chỉ được thực hiện bằng cách so sánh các miền chỉ mục trên thiết bị di động với các miền chỉ mục trên máy tính để bàn. Nghiên cứu trong tương lai có thể khám phá mối quan hệ ngược lại.