8 Cách khắc phục lỗi được lập chỉ mục, mặc dù bị chặn bởi robots.txt
Trong bài viết này, chúng tôi sẽ chỉ cho bạn cách khắc phục lỗi được lập chỉ mục và sửa nó.
Nếu bạn nhận được thông báo qua email hoặc tình cờ nhận thấy cảnh báo đã được lập chỉ mục, mặc dù bị chặn bởi robots.txt’ trong Google Search Console của bạn.
Lỗi được lập chỉ mục, mặc dù bị chặn bởi Robots.txt’ có nghĩa là gì?
Lỗi đơn giản có nghĩa là:
Google đã tìm thấy trang của bạn và lập chỉ mục trang đó trong kết quả tìm kiếm.
Nhưng sau đó, nó cũng đã tìm thấy một quy tắc trong robots.txt hướng dẫn bỏ qua việc thu thập dữ liệu trang.
Bây giờ Google đang bối rối về việc có nên lập chỉ mục trang hay không, nó chỉ đưa ra cảnh báo trong Google Search Console để bạn có thể xem xét điều này và chọn một kế hoạch hành động khắc phục lỗi được lập chỉ mục.
Khi bạn chặn trang với ý định ngăn trang được lập chỉ mục, bạn cần lưu ý rằng — mặc dù Google tôn trọng robots.txt trong hầu hết các trường hợp, nhưng chỉ điều đó thôi thì không thể ngăn trang được lập chỉ mục.
Có thể có vô số lý do, chẳng hạn như một trang web bên ngoài liên kết đến trang bị chặn của bạn và cuối cùng khiến Google lập chỉ mục trang có ít thông tin có sẵn.
Mặt khác, nếu trang đáng lẽ phải được lập chỉ mục nhưng vô tình bị chặn bởi robots.txt thì bạn nên bỏ chặn trang đó khỏi robots.txt để đảm bảo trình thu thập thông tin của Google có thể truy cập trang đó và khắc phục lỗi được lập chỉ mục.
Bây giờ bạn đã hiểu được hệ tư tưởng cơ bản đằng sau cảnh báo này, có thể có rất nhiều nguyên nhân thực tế đằng sau điều này nếu xét đến CMS và việc triển khai kỹ thuật.
Do đó, chúng ta sẽ tìm hiểu một cách toàn diện để gỡ lỗi và khắc phục lỗi được lập chỉ mục trong bài viết này.
Xuất Báo cáo từ Google Search Console
Đối với các trang web nhỏ, bạn có thể chỉ có một số URL nằm trong cảnh báo này. Tuy nhiên, hầu hết các trang web và trang thương mại điện tử phức tạp đều có hàng trăm hoặc thậm chí hàng nghìn URL.
Mặc dù không thể sử dụng GSC để xem qua tất cả các liên kết nhưng bạn có thể xuất báo cáo từ Google Search Console và mở báo cáo bằng trình chỉnh sửa bảng tính.
Để xuất, chỉ cần nhấp vào cảnh báo có sẵn trong phần Trang tổng quan Google Search Console → Trang → Tại sao các trang không được lập chỉ mục.
Trên trang tiếp theo, bạn sẽ có thể xuất tất cả các URL liên quan đến cảnh báo này bằng cách nhấp vào tùy chọn Xuất có sẵn ở góc trên bên phải.
Từ danh sách tùy chọn xuất, bạn có thể chọn tải xuống và mở tệp bằng trình chỉnh sửa bảng tính mà bạn chọn.
Bây giờ bạn đã xuất các URL, điều đầu tiên bạn nên tìm hiểu khi xem xét chúng là liệu trang có nên được lập chỉ mục hay không. Quá trình hành động khắc phục lỗi được lập chỉ mục sẽ chỉ phụ thuộc vào câu trả lời của bạn.
Các trang được lập chỉ mục
Nếu bạn xác định rằng trang đáng lẽ phải được lập chỉ mục, bạn nên kiểm tra robots.txt của mình và xác định bất kỳ quy tắc nào ngăn Googlebot thu thập dữ liệu trang đó.
Để gỡ lỗi tệp robots.txt và khắc phục lỗi được lập chỉ mục, bạn có thể làm theo các bước chính xác được thảo luận bên dưới.
Mở Trình kiểm tra robots.txt – khắc phục lỗi được lập chỉ mục
Đầu tiên, hãy truy cập vào Trình kiểm tra robots.txt.
Nhập URL trang web của bạn
Sau đó, bạn sẽ tìm thấy tùy chọn nhập URL từ trang web của mình để kiểm tra. Tại đây, bạn sẽ thêm URL từ bảng tính mà chúng tôi đã tải xuống trước đó.
Chọn tác nhân người dùng
Tiếp theo, bạn sẽ thấy mũi tên thả xuống. Nhấp vào nó và chọn tác nhân người dùng mà bạn muốn mô phỏng (trong trường hợp của chúng tôi là Googlebot).
Xác thực Robots.txt
Cuối cùng, nhấp vào nút KIỂM TRA.
Trình thu thập thông tin sẽ xác thực ngay lập tức nếu nó có quyền truy cập vào URL dựa trên cấu hình robots.txt và xử lý quá trình kiểm tra theo đó, hiển thị thông báo thành công sau khi quá trình kiểm tra hoàn tất.
Trình chỉnh sửa mã có sẵn ở giữa màn hình cũng sẽ đánh dấu quy tắc trong robots.txt của bạn đang chặn quyền truy cập.
Chỉnh sửa & Gỡ lỗi
Nếu Trình kiểm tra robots.txt tìm thấy bất kỳ quy tắc nào ngăn cản quyền truy cập, bạn có thể thử chỉnh sửa quy tắc đó ngay bên trong trình chỉnh sửa mã rồi chạy lại quy trình kiểm tra một lần nữa.
Bạn cũng có thể tham khảo bài viết cơ sở kiến thức chuyên dụng của chúng tôi về robots.txt để tìm hiểu thêm về các quy tắc được chấp nhận. Điều này sẽ hữu ích trong việc chỉnh sửa các quy tắc tại đây.
Nếu bạn tình cờ sửa được quy tắc thì thật tuyệt. Nhưng xin lưu ý rằng đây là công cụ gỡ lỗi và mọi thay đổi bạn thực hiện ở đây sẽ không được phản ánh trên robots.txt của trang web trừ khi bạn sao chép và dán nội dung vào robots.txt của trang web.
Nếu bạn gặp bất kỳ khó khăn nào khi chỉnh sửa robots.txt, vui lòng liên hệ với bộ phận hỗ trợ.
Xuất Robots.txt
Vì vậy, để thêm các quy tắc đã sửa đổi trong robots.txt của bạn, hãy đi tới Xếp hạng SEO → Cài đặt chung → Chỉnh sửa robots.txt bên trong khu vực quản trị WordPress của bạn.
Nếu tùy chọn này không có sẵn cho bạn, hãy đảm bảo bạn đang sử dụng Chế độ nâng cao trong Xếp hạng Toán học.
Trong trình chỉnh sửa mã có sẵn ở giữa màn hình, hãy dán mã bạn đã sao chép từ robots.txt. Kiểm tra và sau đó nhấp vào nút Lưu Thay đổi để phản ánh các thay đổi.
Các trang không được lập chỉ mục
Chà, nếu bạn xác định trang đáng lẽ không được lập chỉ mục nhưng Google đã lập chỉ mục trang đó thì đó có thể là một trong những lý do chúng ta đã thảo luận bên dưới.
Các trang Noindex bị chặn thông qua Robots.txt
Khi một trang không được lập chỉ mục trong kết quả tìm kiếm, trang đó phải được biểu thị bằng chỉ thị Robots Meta chứ không phải thông qua quy tắc robots.txt.
Tệp robots.txt chỉ chứa hướng dẫn thu thập thông tin. Hãy nhớ rằng thu thập thông tin và lập chỉ mục là hai quá trình riêng biệt.
Ngăn chặn việc thu thập dữ liệu một trang ≠ Ngăn chặn lập chỉ mục một trang
Vì vậy, để ngăn một trang được lập chỉ mục, bạn có thể thêm Meta Robots không có chỉ mục bằng cách sử dụng Rank Math.
Nhưng sau đó, nếu bạn thêm Meta Robots không có chỉ mục và đồng thời chặn công cụ tìm kiếm thu thập dữ liệu các URL này, về mặt kỹ thuật, bạn không cho phép Googlebot thu thập dữ liệu và biết trang có Meta Robots không có chỉ mục.
Tốt nhất, bạn nên cho phép Googlebot thu thập thông tin qua các trang này và dựa trên Meta Robots không có chỉ mục, Google sẽ loại bỏ trang khỏi chỉ mục.
Lưu ý: Chỉ sử dụng robots.txt để chặn các tệp (như hình ảnh, PDF , nguồn cấp dữ liệu, v.v.) khi không thể thêm Meta Robots không có chỉ mục.
Liên kết bên ngoài đến các trang bị chặn
Các trang mà bạn không cho phép thông qua robots.txt có thể có liên kết từ các trang bên ngoài. Sau đó, Googlebot cuối cùng sẽ cố gắng lập chỉ mục trang.
Vì bạn đã không cho phép bot thu thập dữ liệu trang nên Google sẽ lập chỉ mục trang đó bằng cách sử dụng thông tin hạn chế có sẵn từ trang được liên kết.
Để giải quyết vấn đề này, bạn có thể cân nhắc việc liên hệ với trang web bên ngoài và yêu cầu thay đổi liên kết thành URL phù hợp hơn trên trang web của mình.
Kết luận – Xác thực bản sửa lỗi trong Google Search Console
Khi bạn đã khắc phục lỗi được lập chỉ mục với URL, hãy quay lại cảnh báo của Google Search Console và sau đó nhấp vào nút Xác thực bản sửa lỗi.
Bây giờ Google sẽ thu thập lại thông tin các URL này và khắc phục sự cố nếu lỗi được giải quyết.
Và thế là xong! Chúng tôi hy vọng bài viết đã giúp bạn khắc phục lỗi được lập chỉ mục và nếu bạn vẫn có bất kỳ câu hỏi nào, vui lòng liên hệ trực tiếp với nhóm hỗ trợ của chúng tôi từ đây và chúng tôi luôn sẵn sàng trợ giúp.
Xem Thêm: 2 Cách đặt fs-method không đổi – đơn giản và hiệu quả có thể bạn chưa biết tới