Vì sao việc được Google lập chỉ mục lại khó khăn đến vậy

Tuy nhiên, điều đó không phải lúc nào cũng đúng. Nhiều trang web không bao giờ được Google lập chỉ mục .

Nếu bạn làm việc với một trang web, đặc biệt là một trang web lớn, có lẽ bạn đã nhận thấy rằng không phải mọi trang trên trang web của bạn đều được lập chỉ mục, và nhiều trang phải chờ đợi hàng tuần trước khi Google đưa chúng vào kết quả tìm kiếm.

Nhiều yếu tố góp phần vào vấn đề này, và nhiều trong số đó cũng là những yếu tố được đề cập liên quan đến thứ hạng tìm kiếm — chất lượng nội dung và liên kết là hai ví dụ. Đôi khi, những yếu tố này cũng rất phức tạp và mang tính kỹ thuật. Các trang web hiện đại dựa nhiều vào công nghệ web mới đã từng gặp phải các vấn đề về lập chỉ mục trong quá khứ , và một số vẫn còn gặp phải.

Nhiều chuyên gia SEO vẫn tin rằng chính những vấn đề kỹ thuật mới là nguyên nhân khiến Google không thể lập chỉ mục nội dung, nhưng đây là một quan niệm sai lầm. Mặc dù đúng là Google có thể không lập chỉ mục các trang của bạn nếu bạn không gửi tín hiệu kỹ thuật nhất quán về những trang nào bạn muốn được lập chỉ mục hoặc nếu bạn có ngân sách thu thập dữ liệu không đủ, nhưng việc duy trì chất lượng nội dung nhất quán cũng quan trọng không kém.

Hầu hết các trang web, dù lớn hay nhỏ, đều có rất nhiều nội dung cần được lập chỉ mục — nhưng lại không được. Và mặc dù những thứ như JavaScript làm cho việc lập chỉ mục trở nên phức tạp hơn, trang web của bạn vẫn có thể gặp phải các vấn đề nghiêm trọng về lập chỉ mục ngay cả khi nó được viết bằng HTML thuần túy. Trong bài viết này, chúng ta hãy cùng giải quyết một số vấn đề phổ biến nhất và cách khắc phục chúng.

Lý do Google không lập chỉ mục các trang của bạn

Sử dụng công cụ kiểm tra chỉ mục tùy chỉnh , tôi đã kiểm tra một mẫu lớn các cửa hàng thương mại điện tử phổ biến nhất ở Mỹ để tìm các vấn đề về chỉ mục. Tôi phát hiện ra rằng, trung bình, 15% số trang sản phẩm có thể lập chỉ mục của họ không thể được tìm thấy trên Google.

Kết quả đó thực sự đáng ngạc nhiên. Điều tôi cần biết tiếp theo là "tại sao": những lý do phổ biến nhất khiến Google quyết định không lập chỉ mục một nội dung đáng lẽ phải được lập chỉ mục là gì?

Google Search Console hiển thị một số trạng thái cho các trang chưa được lập chỉ mục, chẳng hạn như “Đã thu thập thông tin - hiện chưa được lập chỉ mục” hoặc “Đã phát hiện - hiện chưa được lập chỉ mục”. Mặc dù thông tin này không giúp giải quyết vấn đề một cách trực tiếp, nhưng đây là điểm khởi đầu tốt để chẩn đoán.

Các vấn đề lập chỉ mục hàng đầu

Dựa trên một mẫu lớn các trang web mà tôi đã thu thập , các vấn đề lập chỉ mục phổ biến nhất được Google Search Console báo cáo là:

- “Đã thu thập dữ liệu - hiện chưa được lập chỉ mục”

Trong trường hợp này, Google đã truy cập một trang nhưng không lập chỉ mục trang đó.

Theo kinh nghiệm của tôi, đây thường là vấn đề về chất lượng nội dung. Với sự bùng nổ của thương mại điện tử hiện nay , chúng ta có thể dự đoán Google sẽ ngày càng khắt khe hơn về chất lượng. Vì vậy, nếu bạn nhận thấy các trang của mình hiển thị "Đã được thu thập thông tin - hiện chưa được lập chỉ mục", hãy đảm bảo nội dung trên các trang đó có giá trị độc đáo:

• Hãy sử dụng tiêu đề, mô tả và nội dung độc đáo cho tất cả các trang có thể lập chỉ mục.

• Tránh sao chép mô tả sản phẩm từ các nguồn bên ngoài.

• Sử dụng thẻ canonical để hợp nhất nội dung trùng lặp.

• Ngăn Google thu thập thông tin hoặc lập chỉ mục các phần có chất lượng thấp trên trang web của bạn bằng cách sử dụng tệp robots.txt hoặc thẻ noindex.

Nếu bạn quan tâm đến chủ đề này, tôi khuyên bạn nên đọc bài viết "Crawled — Currently Not Indexed: A Coverage Status Guide" của Chris Long .

- “Đã được phát hiện - hiện chưa được lập chỉ mục”

Đây là vấn đề tôi thích làm việc nhất, bởi vì nó bao gồm mọi thứ từ các vấn đề về thu thập dữ liệu đến chất lượng nội dung không đủ. Đó là một vấn đề lớn, đặc biệt là đối với các cửa hàng thương mại điện tử lớn, và tôi đã thấy điều này xảy ra với hàng chục triệu URL trên một trang web duy nhất.

Google có thể báo cáo rằng các trang sản phẩm thương mại điện tử ở trạng thái “Đã được phát hiện - hiện chưa được lập chỉ mục” vì các lý do sau:

• Vấn đề về ngân sách thu thập dữ liệu : có thể có quá nhiều URL trong hàng đợi thu thập dữ liệu và chúng có thể được thu thập và lập chỉ mục sau này.

• Vấn đề về chất lượng : Google có thể cho rằng một số trang trên tên miền đó không đáng để thu thập thông tin và quyết định không truy cập chúng bằng cách tìm kiếm một mẫu nhất định trong URL của chúng.

Giải quyết vấn đề này đòi hỏi một số chuyên môn. Nếu bạn phát hiện các trang của mình ở trạng thái “Đã được tìm thấy - hiện chưa được lập chỉ mục”, hãy làm theo các bước sau:

+ Hãy xác định xem có sự lặp lại nào của các trang thuộc loại này hay không. Có thể vấn đề liên quan đến một danh mục sản phẩm cụ thể và toàn bộ danh mục đó không được liên kết nội bộ? Hoặc có thể một phần lớn các trang sản phẩm đang chờ được lập chỉ mục?

+ Tối ưu hóa ngân sách thu thập dữ liệu của bạn. Tập trung vào việc phát hiện các trang chất lượng thấp mà Google dành nhiều thời gian để thu thập dữ liệu. Những đối tượng thường gặp bao gồm các trang danh mục được lọc và các trang tìm kiếm nội bộ — những trang này có thể dễ dàng lên đến hàng chục triệu trang trên một trang thương mại điện tử điển hình. Nếu Googlebot có thể tự do thu thập dữ liệu chúng, nó có thể không có đủ tài nguyên để tiếp cận những nội dung có giá trị trên trang web của bạn đã được Google lập chỉ mục.

Trong buổi hội thảo trực tuyến "Tối ưu hóa SEO" , Martin Splitt của Google đã chia sẻ một vài gợi ý về cách khắc phục sự cố "Đã phát hiện nhưng chưa được lập chỉ mục". Hãy xem nếu bạn muốn tìm hiểu thêm.

- “Nội dung trùng lặp”

Vấn đề này đã được Trung tâm Học tập SEO của Moz đề cập rất chi tiết. Tôi chỉ muốn lưu ý ở đây rằng nội dung trùng lặp có thể do nhiều nguyên nhân khác nhau, chẳng hạn như:

• Các biến thể ngôn ngữ (ví dụ: tiếng Anh ở Anh, Mỹ hoặc Canada). Nếu bạn có nhiều phiên bản của cùng một trang web nhắm đến các quốc gia khác nhau, một số trang này có thể không được lập chỉ mục.

• Nội dung trùng lặp được đối thủ cạnh tranh sử dụng. Điều này thường xảy ra trong ngành thương mại điện tử khi nhiều trang web sử dụng cùng một mô tả sản phẩm do nhà sản xuất cung cấp.

Ngoài việc sử dụng rel=canonical, chuyển hướng 301 hoặc tạo nội dung độc đáo, tôi sẽ tập trung vào việc cung cấp giá trị độc đáo cho người dùng. Fast-growing-trees.com là một ví dụ. Thay vì những mô tả và lời khuyên nhàm chán về việc trồng và tưới cây, trang web này cho phép bạn xem phần Hỏi đáp chi tiết về nhiều sản phẩm.

Ngoài ra, bạn cũng có thể dễ dàng so sánh giữa các sản phẩm tương tự.

Đối với nhiều sản phẩm, trang web này cung cấp phần Hỏi đáp thường gặp (FAQ). Ngoài ra, mỗi khách hàng đều có thể đặt câu hỏi chi tiết về một loại cây trồng và nhận được câu trả lời từ cộng đồng.

Cách kiểm tra độ phủ chỉ mục của trang web của bạn

Bạn có thể dễ dàng kiểm tra xem có bao nhiêu trang trên trang web của mình chưa được lập chỉ mục bằng cách mở báo cáo Độ phủ lập chỉ mục trong Google Search Console.

Điều đầu tiên bạn nên xem xét ở đây là số lượng trang bị loại trừ. Sau đó, hãy cố gắng tìm ra một quy luật — những loại trang nào không được lập chỉ mục?

Nếu bạn sở hữu một cửa hàng thương mại điện tử, rất có thể bạn sẽ thấy các trang sản phẩm chưa được lập chỉ mục. Mặc dù đây luôn là một dấu hiệu cảnh báo, nhưng bạn không thể mong đợi tất cả các trang sản phẩm của mình đều được lập chỉ mục, đặc biệt là với một trang web lớn. Ví dụ, một cửa hàng thương mại điện tử lớn chắc chắn sẽ có các trang trùng lặp và các sản phẩm hết hạn hoặc hết hàng. Những trang này có thể thiếu chất lượng để được ưu tiên xếp hạng trong hàng đợi lập chỉ mục của Google (và đó là nếu Google quyết định thu thập dữ liệu các trang này ngay từ đầu).

Ngoài ra, các trang web thương mại điện tử lớn thường gặp vấn đề về ngân sách thu thập dữ liệu . Tôi đã từng thấy trường hợp các cửa hàng thương mại điện tử có hơn một triệu sản phẩm nhưng 90% trong số đó được phân loại là “Đã được phát hiện - hiện chưa được lập chỉ mục”. Nhưng nếu bạn thấy các trang quan trọng bị loại khỏi chỉ mục của Google, bạn nên hết sức lo ngại.

Làm thế nào để tăng khả năng Google lập chỉ mục các trang của bạn?

Mỗi trang web đều khác nhau và có thể gặp phải các vấn đề lập chỉ mục khác nhau. Tuy nhiên, dưới đây là một số phương pháp tốt nhất có thể giúp các trang của bạn được lập chỉ mục:

1. Tránh các tín hiệu “Lỗi 404 mềm”

Hãy đảm bảo các trang của bạn không chứa bất kỳ nội dung nào có thể gây hiểu nhầm về trạng thái lỗi 404. Điều này bao gồm việc sử dụng cụm từ “Không tìm thấy” hoặc “Không khả dụng” trong nội dung văn bản hoặc có số “404” trong URL.

2. Sử dụng liên kết nội bộ:
Liên kết nội bộ là một trong những tín hiệu quan trọng cho Google biết rằng một trang cụ thể là một phần quan trọng của trang web và xứng đáng được lập chỉ mục. Đừng để bất kỳ trang nào bị cô lập trong cấu trúc trang web của bạn và hãy nhớ đưa tất cả các trang có thể được lập chỉ mục vào sơ đồ trang web của bạn.

3. Triển khai chiến lược thu thập dữ liệu hiệu quả:
Đừng để Google thu thập những nội dung không cần thiết trên trang web của bạn. Nếu quá nhiều tài nguyên được dành để thu thập dữ liệu từ những phần ít giá trị của tên miền, Google có thể mất quá nhiều thời gian để tìm thấy những nội dung quan trọng. Phân tích nhật ký máy chủ có thể cung cấp cho bạn bức tranh toàn diện về những gì Googlebot thu thập và cách tối ưu hóa nó.

4. Loại bỏ nội dung chất lượng thấp và trùng lặp:
Mọi trang web lớn cuối cùng đều có một số trang không nên được lập chỉ mục. Hãy đảm bảo rằng những trang này không xuất hiện trong sơ đồ trang web của bạn, và sử dụng thẻ noindex và tệp robots.txt khi thích hợp. Nếu bạn để Google dành quá nhiều thời gian cho những phần kém chất lượng nhất của trang web, nó có thể đánh giá thấp chất lượng tổng thể của tên miền của bạn.

5. Gửi tín hiệu SEO nhất quán.
Một ví dụ phổ biến về việc gửi tín hiệu SEO không nhất quán đến Google là thay đổi thẻ canonical bằng JavaScript. Như Martin Splitt của Google đã đề cập trong buổi JavaScript SEO Office Hours, bạn không bao giờ có thể chắc chắn Google sẽ làm gì nếu bạn có một thẻ canonical trong mã HTML nguồn và một thẻ khác sau khi JavaScript được xử lý.

Mạng Internet đang trở nên quá lớn.

Trong vài năm trở lại đây, Google đã có những bước tiến vượt bậc trong việc xử lý JavaScript, giúp công việc của các chuyên gia SEO trở nên dễ dàng hơn. Ngày nay, hiếm khi thấy các trang web sử dụng JavaScript mà không được lập chỉ mục do công nghệ cụ thể mà chúng đang sử dụng.

Nhưng liệu chúng ta có thể mong đợi điều tương tự xảy ra với các vấn đề lập chỉ mục không liên quan đến JavaScript không? Tôi nghĩ là không.

Internet đang không ngừng phát triển. Mỗi ngày đều có những trang web mới xuất hiện, và các trang web hiện có cũng phát triển theo.

Liệu Google có thể vượt qua thử thách này?

Câu hỏi này thỉnh thoảng lại xuất hiện. Tôi thích trích dẫn Google ở ​​đây:

“Google có nguồn tài nguyên hữu hạn, vì vậy khi đối mặt với lượng nội dung trực tuyến gần như vô hạn, Googlebot chỉ có thể tìm và thu thập dữ liệu một phần trăm nội dung đó. Sau đó, trong số nội dung đã thu thập được, chúng tôi chỉ có thể lập chỉ mục một phần.”

Nói cách khác, Google chỉ có thể truy cập một phần nhỏ trong tổng số các trang web và lập chỉ mục một phần thậm chí còn nhỏ hơn. Và ngay cả khi trang web của bạn tuyệt vời đến đâu, bạn cũng nên ghi nhớ điều đó.

Google có thể sẽ không truy cập mọi trang trên trang web của bạn, ngay cả khi trang web đó tương đối nhỏ. Nhiệm vụ của bạn là đảm bảo Google có thể tìm thấy và lập chỉ mục những trang quan trọng đối với doanh nghiệp của bạn.