Làm sao tối ưu robots.txt cho wordpress?

[AnhTuanKB]

Chào các bạn, mình đang tìm hiểu về cái này.
Trước giờ mình chưa biết robots.txt sử dụng như thế nào, mới đọc hiểu sơ qua thôi. Các bạn có thể giải đáp cho mình biết làm sao để tối ưu cho file robots.txt.
Nếu cai có thể cho mình sample thì càng tốt
Cảm ơn mọi người.

[sieure]

bạn tạo 1 file robots.txt up lên host ngang hàng với máy chủ có nội dung :


User-agent: *
Allow: /


có nghĩa là cho phép tất cả các spider truy cập vào tất cả các đường dẫn,thường thì các web để như thế này.

[LCVanzZz]

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/

bạn có thể xem file robots.txt của các trang khác để nghiên cứu :D

[AnhTuanKB]

Cảm ơn hai bạn!!!!!!!!!!!

[Tràng lông rân]

Mình thì hay dùng cái này, nhưng tùy từng người và tùy từng loại trang nhé:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Disallow: /page