1 số sự cố thường gặp về Robots-Txt và cách khắc phục
Việc khắc phục mọi sự cố thường gặp về robots-txt ngay lập tức luôn là một ý tưởng tuyệt vời.
Tệp robots.txt của bạn là điểm dừng đầu tiên cho trình thu thập dữ liệu của công cụ tìm kiếm truy cập trang web của bạn.
Khi tệp có vấn đề, nó có thể gây ra các sự cố thường gặp về robots-txt nghiêm trọng, ảnh hưởng đến thứ hạng của bạn hoặc tệ hơn.
Xin lưu ý rằng Rank Math tạo tệp robots.txt ảo và cho phép bạn xử lý tệp đó thông qua bảng điều khiển WordPress. Và điều này có nghĩa là bạn không yêu cầu tệp robots.txt vật lý trong thư mục gốc của trang web.
Trong bài viết cơ sở kiến thức này, chúng tôi sẽ giới thiệu cho bạn một số sự cố thường gặp về robots-txt khi sử dụng Rank Math và cách bạn có thể khắc phục chúng.
Tệp Robots.Txt không thể ghi được
Trong cài đặt Chỉnh sửa robots.txt, bạn có thể gặp phải thông báo lỗi không thể ghi tệp robots.txt , như hiển thị bên dưới.
Lỗi không thể ghi tệp robots.txt
Lỗi này hiển thị khi Rank Math không thể sửa đổi tệp robots.txt của bạn. Để giải quyết sự cố thường gặp về robots-txt này, hãy thêm mã dưới đây vào trang web của bạn.
Nó sẽ cho phép Rank Math chỉnh sửa tệp robots.txt của bạn. Bạn có thể tham khảo hướng dẫn này để thêm bộ lọc vào trang web của mình.
/**
* Allow editing the robots.txt & htaccess data.
*
* @param bool Can edit the robots & htacess data.
*/
add_filter( ‘rank_math/can_edit_file’, ‘__return_true’ );
Tùy chọn điều hướng đến tệp wp-config.php của bạn và tìm kiếm mã bên dưới.
Lưu ý: Bạn sẽ tìm thấy tệp wp-config trong thư mục gốc của bản cài đặt WordPress. Bạn có thể truy cập thư mục gốc của mình bằng ứng dụng FTP hoặc trực tiếp trong cPanel.
Nếu bạn không thể truy cập tệp wp-config.php, bạn nên liên hệ với máy chủ của mình để được hỗ trợ.
define (‘DISALLOW_FILE_EDIT’, true);
Nếu mã tồn tại, bạn nên thay thế nó bằng mã bên dưới. Nếu nó không tồn tại, hãy thêm đoạn mã dưới đây vào tệp wp-config.php.
define (‘DISALLOW_FILE_EDIT’, false);
URL Robots.Txt trả về lỗi 404 hoặc trang trống
Rank Math tự động tạo tệp robots.txt ở định dạng https://yourdomain.com/robots.txt.
Khi URL trả về một trang trống hoặc lỗi 404, điều đó có thể cho biết sự hiện diện của tệp robots.txt thứ hai trong thư mục gốc trang web của bạn.
Tệp khác này xung đột với tệp robots.txt của Rank Math, khiến URL robots.txt trả về lỗi. Đây cũng là một trong những sự cố thường gặp về robots-txt.
Để xác nhận xem trang web của bạn có chứa tệp robots.txt khác hay không, hãy đăng nhập vào thư mục gốc WordPress bằng cPanel hoặc ứng dụng FTP.
Nếu bạn sử dụng cPanel, hãy đi tới FILES → File Manager , như hiển thị bên dưới.
Điều hướng đến Trình quản lý tệp trong cPanel
Bạn sẽ được cung cấp thư mục gốc của trang WordPress của bạn. Bước tiếp theo là kiểm tra xem nó có chứa tệp có tên robots.txt.
Nếu có tệp robots.txt, hãy chọn tệp đó và nhấp vào Xóa , như hiển thị bên dưới.
Xóa robots.txt trong thư mục gốc WordPress của bạn
Sau khi hoàn tất, hãy xóa bộ nhớ đệm cấp độ máy chủ và trang web của bạn rồi kiểm tra lại URL robots.txt của bạn.
Nếu thư mục gốc của bạn không chứa tệp robots.txt thì bạn có thể đang gặp phải sự cố chuyển hướng.
Để giải quyết sự cố thường gặp về robots-txt này, hãy thêm quy tắc viết lại hiện hành vào tệp .htaccess trên trang web của bạn. Bạn có thể tham khảo hướng dẫn này về cách chỉnh sửa tệp .htaccess của mình.
Nếu trang web của bạn chạy trên máy chủ Nginx, hãy thêm quy tắc viết lại bên dưới.
# START Nginx Rewrites for Rank Math Robots.txt File
rewrite ^/robots.txt$ /?robots=1 last;
rewrite ^/([^/]+?)-robots([0-9]+)?.txt$ /?robots=$1&robots_n=$2 last;
# END Nginx Rewrites for Rank Math Robots.txt File
Nếu trang web của bạn chạy trên máy chủ Apache, hãy thêm quy tắc viết lại bên dưới.
# START of Rank Math Robots.txt Rewrite Rules
RewriteEngine On
RewriteBase /
RewriteRule ^robots.txt$ /index.php?robots=1 [L]
# END of Rank Math Robots.txt Rewrite Rules
Sự cố thường gặp về Robots-Txt – Cài đặt chỉnh sửa Robots – Txt bị thiếu
Tùy chọn chỉnh sửa tệp robots.txt của bạn nằm ở Xếp hạng SEO → Cài đặt chung → Chỉnh sửa robots.txt , như hiển thị bên dưới.
Điều hướng đến Chỉnh sửa robots.txt để chỉnh sửa tệp robots.txt của bạn
Nếu tùy chọn Chỉnh sửa robots.txt không hiển thị thì bạn đang sử dụng Xếp hạng Toán ở Chế độ Dễ.
Để thay đổi điều này, hãy điều hướng đến Bảng điều khiển WordPress → Xếp hạng SEO toán học và bật Chế độ nâng cao , như hiển thị bên dưới.
Chuyển sang chế độ nâng cao
Tùy chọn Chỉnh sửa robots.txt bây giờ sẽ được hiển thị.
Robots.Txt đang chặn Google thu thập dữ liệu trang Web của tôi
Nếu bạn cho rằng tệp robots.txt đang chặn Google thu thập dữ liệu trang web của bạn, hãy điều hướng tới Công cụ kiểm tra rô-bốt này.
Nhập URL của bạn, chọn tùy chọn “Tất cả (robots.txt)” làm Tác nhân người dùng từ danh sách thả xuống và nhấp vào nút KIỂM TRA .
Tệp robots.txt của bạn sẽ được hiển thị như hiển thị bên dưới.
Ví dụ về tệp robots.txt
Nếu trước đây bạn đã sử dụng Công cụ kiểm tra robot thì phiên bản cũ hơn của tệp robots.txt của bạn có thể được hiển thị.
Phiên bản này có thể khác với tệp robots.txt hiện tại của bạn, đặc biệt nếu bạn đã cập nhật tệp kể từ lần truy cập trước.
Để đảm bảo rằng bạn đang xem phiên bản mới nhất của tệp robots.txt, bạn nên xóa bộ nhớ đệm trang web và kiểm tra lại tệp robots.txt.
Ngoài ra, hãy chọn tùy chọn Trực tiếp trước khi kiểm tra robots.txt, như hiển thị bên dưới.
Đảm bảo bạn chọn tùy chọn Trực tiếp
Sau khi hoàn tất, tệp robots.txt hiện tại của bạn sẽ được hiển thị. Bước tiếp theo là kiểm tra xem tệp có chứa quy tắc bên dưới hay không. Việc chặn Google cũng là một trong những sự cố thường gặp về robots-txt.
Lưu ý: Quy tắc bên dưới chặn trình thu thập thông tin được chỉ định trong trường Tác nhân người dùng phía trên nó thu thập dữ liệu trang web của bạn.
Nếu Tác nhân người dùng được đặt thành Googlebot, tệp robots.txt sẽ ngăn Google thu thập dữ liệu trang web của bạn.
Nếu Tác nhân người dùng được đặt thành *, nó sẽ ngăn mọi bot, kể cả Google, thu thập dữ liệu trang web của bạn.
Nếu quy tắc trên tồn tại thì bạn cần chỉnh sửa tệp robots.txt của mình để xóa quy tắc đó. Bạn có thể tham khảo hướng dẫn chỉnh sửa robots.txt bằng Rank Math.
Nếu không thể chỉnh sửa tệp robots.txt, bạn có thể tham khảo hướng dẫn này để khắc phục sự cố.
Bạn cũng có thể sử dụng Công cụ kiểm tra robot để kiểm tra xem Google có bị chặn thu thập dữ liệu một URL cụ thể trên trang web của bạn hay không.
Để làm điều đó, hãy nhập URL vào trường được cung cấp rồi chọn ‘Googlebot’ làm Tác nhân người dùng từ danh sách thả xuống. Khi bạn đã hoàn thành việc đó, hãy nhấp vào nút KIỂM TRA.
Kiểm tra xem Googlebot có bị chặn khỏi tệp robots.txt hay không
Vì vậy, nếu Google bị chặn thu thập dữ liệu URL, công cụ sẽ trả về kết quả Không được phép và đánh dấu quy tắc chặn, như hiển thị bên dưới.
Kiểm tra URL trong Công cụ kiểm tra robot
Lỗi Robots.Txt trong Thông tin chi tiết về tốc độ trang
Nếu bạn kiểm tra một URL trong PageSpeed Insights, URL đó có thể trả về thông báo robots.txt không hợp lệ – Lighthouse không thể tải xuống thông báo lỗi tệp robots.txt, như hiển thị bên dưới.
Lighthouse không thể tải xuống tệp robots.txt
Điều này có thể xảy ra khi bạn sử dụng mạng phân phối nội dung (CDN) như Cloudflare. Rank Math không tạo tệp robots.txt vật lý trên trang web của bạn.
Thay vào đó, tệp được tạo và hiển thị khi người dùng truy cập URL robots.txt của bạn. Vì vậy, bạn có thể yên tâm bỏ qua lỗi này nếu tệp robots.txt của bạn có sẵn tại https://yourdomain.com/robots.txt.
Theo tùy chọn, bạn có thể thêm quy tắc bên dưới vào tệp robots.txt của mình và kiểm tra lại quy tắc đó trong PageSpeed Insights.
Lỗi robots.txt trong Thông tin chi tiết về tốc độ trang cũng là một sự cố thường gặp về robots-txt.
Và đây là các cách khắc phục các sự cố thường gặp về robots-txt mà bạn có thể gặp phải trên trang web của mình.
Chúng tôi hy vọng bạn có thể giải quyết vấn đề về robots.txt của mình. Nếu bạn có thắc mắc, chúng tôi luôn sẵn lòng liên hệ với nhóm hỗ trợ tận tâm của chúng tôi. Chúng tôi luôn sẵn sàng 24/7, 365 ngày một năm…
Xem Thêm: Xếp hạng trạng thái và công cụ toán học: Tìm hiểu về các tính năng ẩn