4 Cách khắc phục lỗi bị chặn bởi Robots-Txt trong Google Search Console
Nếu bạn đã từng thấy lỗi “Bị chặn bởi robots.txt” trong Google Search Console và trong báo cáo Trạng thái chỉ mục trong phân tích của Rank Math, thì bạn biết điều đó có thể khá khó chịu.
Rốt cuộc, bạn đã tuân thủ tất cả các quy tắc và đảm bảo trang web của bạn được tối ưu hóa cho các công cụ tìm kiếm như Google hoặc Bing. Vậy tại sao điều này xảy ra?
Bị chặn bởi robots-txt: Lỗi trong Google Search Console
Trong bài viết cơ sở kiến thức này, chúng tôi sẽ hướng dẫn bạn cách khắc phục lỗi “Bị chặn bởi robots-txt”, cũng như giải thích ý nghĩa của lỗi này và cách ngăn lỗi này xảy ra lần nữa trong tương lai.
Lỗi “Bị chặn bởi Robots-txt” có nghĩa là gì?
Lỗi “Bị chặn bởi robots.txt” có nghĩa là tệp robots.txt trên trang web của bạn đang chặn Googlebot thu thập dữ liệu trang. Nói cách khác, Google đang cố gắng truy cập trang nhưng đang bị tệp robots.txt ngăn cản.
Điều này có thể xảy ra vì một số lý do nhưng lý do phổ biến nhất là do tệp robots.txt không được định cấu hình đúng.
Ví dụ: bạn có thể đã vô tình chặn Googlebot truy cập trang hoặc bạn có thể đã đưa lệnh “Disallow: /” vào tệp robots.txt của mình để ngăn Googlebot thu thập dữ liệu trang.
Cách tìm lỗi “Bị chặn bởi Robots-txt”
May mắn thay, lỗi ‘Bị chặn bởi robots-txt’ khá dễ tìm thấy. Bạn có thể sử dụng bảng điều khiển tìm kiếm của Google hoặc báo cáo Trạng thái chỉ mục trong Analytics của Rank Math để tìm lỗi này.
Sử dụng Google Search Console để tìm lỗi Bị chặn bởi Robots-txt
Để kiểm tra xem bạn có gặp lỗi Bị chặn bởi Robots-Txt trong Google Search Console hay không, chỉ cần truy cập Trang và nhấp vào phần Không được lập chỉ mục.
Điều hướng đến phần Trang
Sau đó nhấp vào lỗi Bị chặn bởi Robots-Txt như hình dưới:
Nếu nhấp vào lỗi, bạn sẽ thấy danh sách các trang đang bị tệp robots.txt của bạn chặn.
Sử dụng phân tích của Rank Math để xác định các trang có vấn đề
Bạn cũng có thể sử dụng báo cáo Trạng thái chỉ mục trong Phân tích của Rank Math để xác định các trang có vấn đề.
Để làm như vậy, hãy điều hướng đến Xếp hạng SEO Toán học → Phân tích trong bảng điều khiển WordPress.
Tiếp theo, nhấp vào tab Trạng thái chỉ mục. Trong tab này, bạn sẽ nhận được dữ liệu/trạng thái thực của các trang cũng như sự hiện diện của chúng trên Google.
Hơn nữa, bạn có thể lọc trạng thái chỉ mục của bài đăng bằng menu thả xuống.
Khi bạn chọn một trạng thái cụ thể, chẳng hạn như “Bị chặn bởi robots-txt”, bạn sẽ có thể xem tất cả các bài đăng có cùng trạng thái chỉ mục.
Sau khi có danh sách các trang trả về trạng thái Bị chặn bởi robots-txt, bạn có thể bắt đầu khắc phục sự cố.
Cách khắc phục lỗi “Bị chặn bởi Robots-txt”
Để khắc phục điều này, bạn cần đảm bảo rằng tệp robots.txt trên trang web của bạn được định cấu hình chính xác.
Bạn có thể sử dụng công cụ kiểm tra robots.txt để kiểm tra tệp của mình và đảm bảo rằng không có lệnh nào chặn Googlebot truy cập vào trang web của bạn.
Nếu bạn tìm thấy các lệnh trong tệp robots.txt đang chặn Googlebot truy cập vào trang web của mình, bạn sẽ cần phải xóa chúng hoặc thay thế chúng bằng các lệnh dễ dàng hơn.
Hãy xem cách bạn có thể kiểm tra tệp robots.txt của mình và đảm bảo rằng không có lệnh nào chặn Googlebot truy cập trang web của bạn.
Mở Trình kiểm tra Robots.txt
Đầu tiên, hãy truy cập công cụ kiểm tra robots.txt. Đây là những gì nó sẽ trông như thế nào.
Nhập URL trang web của bạn
Đầu tiên, bạn sẽ tìm thấy tùy chọn nhập URL từ trang web của mình để kiểm tra.
Chọn tác nhân người dùng
Tiếp theo, bạn sẽ thấy mũi tên thả xuống. Nhấp vào nó và chọn tác nhân người dùng mà bạn muốn mô phỏng (trong trường hợp của chúng tôi là Googlebot).
Xác thực Robots.txt
Cuối cùng, nhấp vào nút KIỂM TRA.
Trình thu thập thông tin sẽ xác thực ngay lập tức nếu nó có quyền truy cập vào URL dựa trên cấu hình robots.txt và xử lý quá trình kiểm tra theo đó, hiển thị thông báo thành công sau khi quá trình kiểm tra hoàn tất.
Trình chỉnh sửa mã có sẵn ở giữa màn hình cũng sẽ đánh dấu bất kỳ quy tắc nào trong robots.txt của bạn chặn quyền truy cập, như hiển thị bên dưới.
Chỉnh sửa & Gỡ lỗi
Nếu Trình kiểm tra robots.txt tìm thấy bất kỳ quy tắc nào ngăn cản quyền truy cập, bạn có thể thử chỉnh sửa quy tắc đó ngay bên trong trình chỉnh sửa mã rồi chạy lại quy trình kiểm tra một lần nữa.
Bạn cũng có thể tham khảo bài viết cơ sở kiến thức chuyên dụng của chúng tôi về robots.txt để tìm hiểu thêm về các quy tắc được chấp nhận. Điều này sẽ hữu ích trong việc chỉnh sửa các quy tắc tại đây.
Nếu bạn tình cờ sửa được quy tắc thì thật tuyệt. Nhưng xin lưu ý rằng đây là công cụ gỡ lỗi và mọi thay đổi bạn thực hiện ở đây sẽ không được phản ánh trên robots.txt của trang web trừ khi bạn sao chép và dán nội dung vào robots.txt của trang web.
Chỉnh sửa toán học xếp hạng Eith trong Robots.txt của bạn
Để thực hiện việc này, hãy điều hướng đến tệp robots.txt của bạn trong Rank Math, nằm trong Bảng điều khiển WordPress → Xếp hạng SEO → Cài đặt chung → Chỉnh sửa robots.txt như hiển thị bên dưới:
Lưu ý: Nếu tùy chọn này không có sẵn cho bạn, hãy đảm bảo bạn đang sử dụng Chế độ nâng cao trong Xếp hạng Toán học.
Trong trình chỉnh sửa mã có sẵn ở giữa màn hình, hãy dán mã bạn đã sao chép từ robots.txt. Kiểm tra và sau đó nhấp vào nút Lưu Thay đổi để phản ánh các thay đổi.
Thận trọng: Hãy cẩn thận khi thực hiện bất kỳ thay đổi lớn hoặc nhỏ nào đối với trang web của bạn thông qua robots.txt.
Mặc dù những thay đổi này có thể cải thiện lưu lượng tìm kiếm của bạn nhưng chúng cũng có thể gây hại nhiều hơn là có lợi nếu bạn không cẩn thận.
Để biết thêm khó khăn, hãy xem ảnh chụp màn hình bên dưới:
Đó là nó! Sau khi bạn thực hiện những thay đổi này, Google sẽ có thể truy cập trang web của bạn và lỗi “Bị chặn bởi robots-txt” sẽ được khắc phục.
Làm thế nào để ngăn chặn lỗi Bị chặn bởi Robots-Txt xảy ra lần nữa
Để ngăn lỗi “Bị chặn bởi robots-txt” xảy ra lần nữa trong tương lai, chúng tôi khuyên bạn nên thường xuyên xem lại tệp robots.txt trên trang web của mình.
Điều này sẽ giúp đảm bảo rằng tất cả các chỉ thị đều chính xác và không có trang nào bị Googlebot vô tình chặn thu thập dữ liệu.
Chúng tôi cũng khuyên bạn nên sử dụng công cụ như Công cụ quản trị trang web của Google để giúp bạn quản lý tệp robots.txt trên trang web của mình.
Công cụ quản trị trang web sẽ cho phép bạn chỉnh sửa và cập nhật tệp robots.txt của mình một cách dễ dàng cũng như gửi các trang để lập chỉ mục, xem lỗi thu thập dữ liệu, v.v.
Phần kết luận
Cuối cùng, chúng tôi hy vọng rằng bài viết này đã giúp bạn tìm hiểu cách khắc phục lỗi “Bị chặn bởi robots-txt” trong Google Search Console và trong báo cáo Trạng thái chỉ mục của phân tích của Rank Math.
Nếu bạn có bất kỳ nghi ngờ hoặc câu hỏi nào liên quan đến vấn đề này, vui lòng liên hệ với nhóm hỗ trợ của chúng tôi.
Chúng tôi luôn sẵn sàng 24×7, 365 ngày một năm và sẵn lòng trợ giúp bạn về bất kỳ vấn đề nào bạn có thể gặp phải.
Xem Thêm: 2 Cách tìm và sửa bài kiểm tra đoạn văn dài trong rank math