Robots-txt trong WordPress: Tuyệt chiêu tối ưu SEO tốt nhất?
Bạn đang tìm cách tối ưu SEO trên website WordPress của mình? Robots-txt chính xác là chìa khoá quyền lực! Nhưng hãy thận trọng, vì công cụ này có thể gây nguy hiểm nếu sử dụng sai cách.
Tệp Robots-txt trong wordpress giúp bạn chặn các công cụ tìm kiếm truy cập tới các tệp và thư mục cụ thể. Nhưng nó có phải là cách hiệu quả nhất để tối ưu hoá website? Liệu có “tuyệt chiêu” nào cho Robots-txt để bạn chiếm lĩnh được vị trí cao trên bảng kết quả tìm kiếm?
Hãy cùng khám phá bí mật của Robots-txt cùng cách sử dụng tốt nhất giúp website WordPress của bạn toả sáng qua!
Từ “bí kíp” đơn giản trở thành “tuyệt chiêu” tối ưu
Các công cụ tìm kiếm ngày nay hiện đại, đã cải tiến cách thức thu thập dữ liệu và lập chỉ mục dữ liệu trên web. Điều này đồng nghĩa với việc những “bí kíp” SEO đã thành công trong quá khứ có thể trở nên lạc hậu, và gây nguy hiểm đối với website của bạn trong Robots-txt trong WordPress
Ngày nay, “tuyệt chiêu” tối ưu SEO là giảm thiểu hoàn toàn việc sử dụng robots.txt. Tệp này chỉ thực sự hữu ích nhằm chặn URL một khi bạn vấp vào những thử thách kĩ thuật lớn (chẳng hạn: website thương mại điện tử khổng lồ với cấu trúc điều hướng phức tạp) hoặc không có chọn lựa nào khác.
Việc chặn URL bởi Robots-txt tương tự như “cắt cổ vịt với lưỡi trâu”, có thể gây ra nhiều rắc rối hơn là giải quyết trong Robots-txt trong wordpress
“Tuyệt chiêu” tối ưu SEO website WordPress:
Đối với một số website WordPress, thì dưới đây là cách tiếp cận tối ưu:
User-Agent: *
Disallow:
Sitemap: https://www.example.com/sitemap_index.xml
Hãy sử dụng code một cách thận trọng.
Chúng tôi thậm chí còn sử dụng cách làm tương tự trên cả tệp Robots-txt của mình!
Giải mã “tuyệt chiêu “:
Lệnh User-agent: * cho thấy toàn bộ các chỉ dẫn sẽ dành cho từng công cụ thu thập dữ liệu.
Lệnh Disallow: không có chỉ dẫn rõ ràng, nhưng” tất cả các công cụ thu thập dữ liệu có thể tự động thu thập dữ liệu trên trang web này mà không bị giới hạn. ”
Trong tệp robots.txt, chúng tôi cũng liên kết với tiêu đề của sơ đồ trang web XML, để Google, Bing và các công cụ tìm kiếm khác có thể nhìn thấy dễ dàng trong Robots-txt trong WordPress
Tại sao nó là” tuyệt chiêu “cho SEO WordPress?
Robots-txt làm mất cấu trúc liên kết: Một trong những nguyên tắc cốt lõi của SEO là liên kết từ các trang khác có thể tác động lên kết quả của bạn. Nếu một URL bị chặn, các công cụ tìm kiếm sẽ không thu thập dữ liệu mà còn có thể không cung cấp bất cứ” giá trị liên kết “nào dẫn đến URL đó hoặc thông qua URL đó đến các trang khác trên trang web.
Google hiển thị toàn bộ website của bạn: Trước kia, mọi trang web đều chặn quyền truy cập của các tệp CSS và JavaScript để cho phép công cụ tìm kiếm truy cập tất cả các trang không quan trọng. Ngày nay, Google tìm thấy toàn bộ giao diện và JavaScript của bạn và hiển thị tất cả các trang của bạn.
Việc tìm hiểu cấu trúc và cách hiển thị trang của bạn là một yếu tố chính quyết định cách Google xếp hạng website. Vì vậy, Google không muốn việc bạn chặn quyền truy cập vào các tệp CSS hoặc JavaScript của mình trong Robots-txt trong WordPress
” Bí kíp “lỗi thời là chặn quyền truy cập vào thư mục wp-includes và thư mục plugin của bạn thông qua Robots-txt không còn hữu ích nữa. Đó là lý do tại sao Google đã thảo luận với WordPress nhằm loại bỏ điều khoản không cho phép mặc định đối với wp-includes sang phiên bản 4.0 trong Robots-txt trong WordPress
Nhiều theme WordPress cũng áp dụng các tiêu chuẩn JavaScript không đồng nhất – được gọi là AJAX – hỗ trợ thêm liên kết tới các trang web. WordPress có thể ngăn Google làm điều tương tự theo mặc định, nhưng chúng tôi đã làm điều tương tự trong WordPress 4.4.
Liên kết đến sơ đồ trang web XML của bạn giúp việc tìm hiểu: Tiêu chuẩn Robots-txt cho phép thêm liên kết đến sơ đồ trang web XML của bạn vào tệp. Điều này giúp các công cụ tìm kiếm xác định cấu trúc và hiệu suất trang web của bạn. Trong trường hợp của Google, không cần liên kết này để xác định trang web của bạn – trừ khi bạn đã thêm liên kết của sơ đồ trang web vào Công cụ quản lý trang web của họ.
Điều này có vẻ dư thừa bởi vì bạn nên thêm sơ đồ trang web của mình với tài khoản Google Search Console và Bing Webmaster Tools của bạn để xem số liệu thống kê và báo cáo. Tuy nhiên, không có liên kết như vậy trong Robots-txt giúp các công cụ thu thập thông tin có khả năng tìm kiếm sơ đồ trang web của bạn rất dễ dàng trong Robots-txt trong WordPress
Yoast SEO không thể thêm liên kết trong sơ đồ trang web XML của bạn nếu bạn không có tệp robots.txt. Nếu bạn đã có tệp robots.txt, bạn có thể thêm liên kết Sitemap: https://www.example.com/sitemap_index.xml vào tệp của mình bằng trình sửa đổi tệp trong mục Công cụ của Yoast SEO. Hãy ghi nhớ rằng bạn nên thêm URL đầy đủ vào sơ đồ trang web XML của mình. Nhiều sơ đồ trang web xuất hiện trên nhiều dòng và toàn bộ trang web cần URL đầy đủ.
Đánh giá tình hình SEO kỹ thuật của bạn
Việc để mắt đến tệp Robots-txt của bạn là một thành phần quan trọng của SEO kỹ thuật. Bạn có biết về sự cần thiết của SEO kỹ thuật đối với trang web của bạn không? Chúng tôi đã thực hiện một cuộc thử nghiệm sự cần thiết của SEO kỹ thuật giúp bạn nhận thấy những thay đổi bạn cần để thực hiện!
Xem thêm: Nâng tầm website WordPress của bạn – 3 cách tối ưu hóa WordPress với phân loại tùy chỉnh