Ai nên chặn bot AI?

Có lẽ vậy. OpenAI đã sử dụng nhiều nguồn dữ liệu khác nhau trong quá khứ, và gần đây mới phát hành (tiết lộ?) trình thu thập dữ liệu của riêng họ. Ví dụ, Common Crawl chiếm một phần lớn dữ liệu huấn luyện cho GPT-3, và điều này không giống với GPTBot. Rất ít trang web chặn Common Crawl CCbot, mà (trong số ít người đã từng nghe nói đến) được coi là một bước tiến khá nhẹ nhàng về nhu cầu máy chủ với những lợi ích tiềm năng rộng lớn, vượt xa việc huấn luyện các mô hình AI. Ngoài ra, nếu bạn chặn các bot AI mới hơn ngay bây giờ, bạn sẽ không xóa bất kỳ nội dung nào mà chúng đã thu thập từ trang web của bạn trước đây.

Như vậy, trong trường hợp xấu nhất, bạn chỉ làm chậm khả năng truy cập của họ vào nội dung mới mà bạn đăng tải. Tuy nhiên, bạn vẫn có thể tin rằng nội dung mới này có một giá trị độc đáo nào đó, đặc biệt là khi nó còn mới mẻ. (Không phải ngẫu nhiên mà các trang tin tức hiện đang có xu hướng chặn nội dung.)

Tuy nhiên, nó rất có thể được sao chép trên các trang web scraper khác. Tôi nghi ngờ rằng các mô hình phức tạp hơn có tích hợp một số loại tín hiệu uy tín (có thể là liên kết!), vì vậy trang web scraper có thể không đáng tin cậy như trang web của bạn hoặc được thu thập lại dữ liệu một cách tự do hoặc thường xuyên. Tuy nhiên, tôi không thể xác nhận điều này.

Bạn có thể tin rằng ngay cả khi bạn hoạt động như một phần của một phong trào lớn hơn trong ngành, các bot AI cuối cùng cũng có thể tạo ra nội dung về các chủ đề mà trang web của bạn đề cập tốt như bạn, ngay cả khi không có dữ liệu đầu vào từ các trang mới xuất bản hoặc cập nhật gần đây của bạn.

Nếu vậy, trước hết tôi xin đề xuất rằng đây có thể là một lời cáo buộc khá nghiêm trọng đối với giá trị đề xuất của bất kỳ trang web tập trung vào nội dung nào, có thể gây ra những tác động nghiêm trọng đến khả năng tồn tại lâu dài của chúng trong SEO, bất kể có bất kỳ sự phát triển AI nào trong tương lai hay không.

Tuy nhiên, điều này có thể đúng — một số ngành nghề gặp khó khăn vì có quá nhiều trang web đăng tải nội dung gần như giống hệt nhau. Một số ngành nghề khác cũng rất khó có khả năng bị chặn rộng rãi. Đây là những yếu tố bạn cần cân nhắc khi đưa ra quyết định.

Tôi sẽ đưa ra ba lý do để bạn không chặn hoàn toàn trang web của mình đối với bot AI:

Thu thập lưu lượng truy cập hiện tại

Tiếp xúc thương hiệu ngày nay

Những phát triển trong tương lai của các công cụ được hỗ trợ bởi LLM

Thu thập lưu lượng truy cập hiện tại

Gần đây tôi có xem Wil Reynolds phát biểu tại SMX Munich, và trong bài phát biểu của mình, ông đã đưa ra lập luận mạnh mẽ cho việc ChatGPT (hoặc các công cụ tương tự) là một kênh thu hút khách hàng quan trọng hiện tại hoặc trong tương lai gần. Ông cũng đã trình bày một lập luận tương tự trong bài đăng trên blog này , cùng với phương pháp luận để đánh giá mức độ ảnh hưởng của doanh nghiệp bạn. Tôi khuyên bạn nên xem qua. (Ông cũng sẽ phát biểu tại MozCon vào tháng 6.)

Điều này chắc chắn sẽ khác nhau tùy từng doanh nghiệp. Tuy nhiên, kinh nghiệm hiện tại của tôi là:

• ChatGPT không được sử dụng chủ yếu như một công cụ tìm kiếm mà thay vào đó là một trợ lý, đặc biệt là để tạo nội dung, dịch thuật và lập trình

• Việc sử dụng ChatGPT ổn định hoặc đang giảm và chỉ chiếm một phần nhỏ trong việc sử dụng của Google

• Thị phần của Bing tăng chưa đến 1% kể từ khi tích hợp ChatGPT, vì vậy có vẻ như người dùng không thấy chức năng tương tự của Bing là một yếu tố thay đổi cuộc chơi

Tôi đã nêu quan điểm ở một nơi khác rằng tôi không nghĩ AI tạo sinh là một sự thay thế tương đương cho tìm kiếm. Nó là một công cụ khác với những mục đích sử dụng khác nhau. Nhưng bạn nên đánh giá điều này cho doanh nghiệp của mình.

Trong trường hợp "Google-Extended", chúng ta cũng phải cân nhắc liệu điều này có ảnh hưởng đến Google Tìm kiếm như một kênh thu hút người dùng hay không. Hiện tại, Google cho biết không , một tuyên bố mà một số người tỏ ra nghi ngờ là điều dễ hiểu. Dù thế nào đi nữa, điều này có thể thay đổi nhanh chóng nếu và khi Google giới thiệu các tính năng tìm kiếm AI tạo sinh.

Tiếp xúc thương hiệu ngày nay

Ngoài ra, tại SMX Munich, tôi đã thấy Rand Fishkin (cũng phát biểu tại MozCon vào tháng 6) lập luận rằng các nhà tiếp thị kỹ thuật số quá chú trọng vào việc phân bổ nguồn lực cho phần cuối phễu bán hàng, điều này ngày càng khó khăn, và thay vào đó, họ nên học hỏi từ những nhà tiếp thị thời tiền web, những người coi trọng lượt hiển thị, lượt truy cập và những "chỉ số phù phiếm" tương tự. Tôi đồng ý! Thực tế, tôi đã viết về điều này vào năm 2019. Bài viết đó sau đó đã trở thành nạn nhân của một cuộc di chuyển trang web hơi đáng ngờ, nhưng tôi đã đăng lại ở đây .

Tương tự như vậy, có lẽ tôi không chỉ nên quan tâm đến việc ChatGPT (hay các kết quả đầu ra khác từ các mô hình LLM, chẳng hạn như nội dung do AI viết) có mang lại lưu lượng truy cập cho tôi hay không mà còn phải quan tâm đến việc liệu họ có đề cập đến thương hiệu và sản phẩm của tôi hay không. Tốt nhất là đề cập đến nó theo cách tôi vẫn làm.

Nếu tôi ngăn không cho các mô hình này truy cập vào các trang mà tôi nói về sản phẩm của mình và nếu tôi cũng đồng ý với lập luận trên rằng việc ngăn không cho truy cập thực sự ảnh hưởng đến nội dung mà các mô hình có thể tiếp nhận, thì tôi sẽ khiến khả năng chúng được đề cập một cách chính xác trở nên ít hơn, hoặc thậm chí là không được đề cập đến.

Điều này có thể đặc biệt có tác động trong trường hợp tôi ra mắt sản phẩm mới hoặc đổi thương hiệu — bất kỳ thông tin mới nào cũng sẽ chỉ được tiếp nhận thông qua các nguồn bên ngoài, có thể không tích cực hoặc không chính xác.

Những phát triển trong tương lai của các công cụ được hỗ trợ bởi LLM

Điều gì sẽ xảy ra nếu chúng ta chấp nhận rằng các công cụ hiện tại được xây dựng trên AI tạo sinh không phải là các kênh thu hút khách hàng chính? Liệu điều đó có luôn đúng không? Điều gì sẽ xảy ra nếu tôi chặn GPTBot ngay bây giờ, và sau một hoặc hai năm, OpenAI sẽ ra mắt một công cụ tìm kiếm được xây dựng trên chỉ mục mà nó đã xây dựng?

Có lẽ tại thời điểm đó, người ta có thể quay ngoắt 180 độ. Liệu nó có đủ nhanh không? Thông thường, các mô hình này không hoàn toàn ở cấp độ của Google khi nói đến việc nhanh chóng tiếp nhận nội dung mới. Tuy nhiên, có lẽ để trở thành một công cụ tìm kiếm cạnh tranh, chúng sẽ phải như vậy? Hay chúng sẽ sử dụng chỉ mục và trình thu thập thông tin của Bing? Người ta cũng có thể lập luận rằng các mô hình này có thể sử dụng chính (tính nguyên bản của?) nội dung làm tín hiệu thẩm quyền, trái ngược với (ví dụ) các liên kết, tín hiệu người dùng hoặc khối lượng tìm kiếm có thương hiệu . Cá nhân tôi thấy điều đó không thực tế và do đó, không có khả năng xảy ra, nhưng tất cả đều là một ẩn số lớn, và đó là điểm mấu chốt của tất cả những điều này — bản thân sự không chắc chắn không phải là một đề xuất hấp dẫn.

Ngoài ra, công cụ tìm kiếm chỉ là một khả năng (có nhiều khả năng xảy ra hơn) — vài năm trước, chúng tôi không thể tưởng tượng ChatGPT lại có sức ảnh hưởng lớn như vậy.

Vậy thì điều gì có thể thúc đẩy bạn chặn những bot AI này? Tương tự như trường hợp bỏ chặn, tôi nghĩ có những lập luận ở đây liên quan đến chủ nghĩa thực dụng hiện tại và những phát triển có thể xảy ra trong tương lai.

• Hào nội dung hiện tại

• Trì hoãn thời gian

• Những phát triển trong tương lai

Hào nội dung hiện tại

Mối đe dọa lớn nhất mà các mô hình của OpenAI gây ra cho Google và SEO hiện nay không phải là với tư cách là đối thủ cạnh tranh của Google mà là với tư cách là một công cụ tạo nội dung có khả năng mở rộng. Điều này gây gián đoạn nghiêm trọng cho tìm kiếm, vừa khiến công việc của Google trở nên khó khăn hơn, vừa làm giảm lưu lượng truy cập vốn có thể dành cho nội dung hiện có.

Nếu bạn đang viết nội dung độc đáo chứa đựng thông tin mới mẻ và thú vị, bạn có thể làm giảm giá trị nội dung đó bằng cách cho phép nó đóng góp vào các bài viết, video và công cụ do AI viết ở nơi khác. Bạn có muốn tạo ra đối thủ cạnh tranh mới (một phần) dựa trên nội dung mới và tương lai của mình không?

Tuy nhiên, như đã đề cập ở trên — nội dung vẫn có thể bị lấy cắp ở nơi khác, đăng lại, rồi sau đó bị bot AI tiếp nhận. Tuy nhiên, vì nhiều lý do, hệ thống AI có thể không tin tưởng các trang web lấy cắp thông tin này như trang web của bạn.

Vậy, bạn đang đạt được điều gì? Có thể là sự suy giảm nhẹ về chất lượng và độ mới mẻ của nội dung được tạo ra về các chủ đề liên quan đến trang web của bạn. Có thể là khả năng trang web của bạn được trích dẫn trực tiếp sẽ giảm đi, điều mà bạn có thể coi là một điều không tốt (nếu các công cụ này là kênh thu hút khách hàng tiềm năng) và/hoặc là một điều tốt (nếu bạn lo ngại về việc trình bày sai sự thật).

Bạn cũng có thể đánh giá cao tiền lệ đạo đức hoặc thậm chí pháp lý được thiết lập bằng cách không cho phép nội dung của bạn được tái sử dụng theo cách này. Điều này có vẻ là một hợp đồng ngầm khá khác biệt so với hợp đồng mà các công cụ tìm kiếm đưa ra, vốn gửi nhiều lưu lượng truy cập hơn đến các trang web mà chúng thu thập dữ liệu và hầu như không viết lại nội dung mà không ghi rõ nguồn. "Nó cũng là một hợp đồng khác biệt so với hợp đồng do các công cụ như Moz và bot của chúng tôi đặt ra - một lần nữa, chúng tôi sẽ không tái sử dụng nội dung của bạn."

Trong nhiều trường hợp, việc tác động có ý nghĩa đến chất lượng phản hồi mà các công cụ này mang lại sẽ đòi hỏi hành động tập thể — không chỉ chặn một trang web, mà là chặn nhiều trang web, hoặc thậm chí là phần lớn các trang web. Tuy nhiên, điều này dường như đang xảy ra ở một số ngành dọc.