Lỗi Webmaster tools không đọc được Robots.txt và không tìm nạp được

[netspeed2]

Tình hình là có cái web, cài chạy trên 1 con VPS, chạy 2 năm nay ngon lành chẳng lỗi lầm gì.

Hôm nay bỗng vào check webmaster tools thấy lùm xùm một mớ lỗi như sau:
+ Một thông báo là google không thể truy cập vào robots.txt hôm 24/9/15 (hôm nay là 26 rồi) (có 1 thông báo duy nhất hôm 24)
+ Rồi bão lỗi máy chủ đò ngòm ở phần trạng thái (DNS ok, máy chủ lỗi, robots.txt ok)
http://i.imgur.com/SY7kAFl.png
+ Tại bộ kiểm tra robots.txt thì gặp tình trạng tìm nạp robots.txt bị lỗi
http://i.imgur.com/eqopz0C.png
+ Trong phần tìm nạp cho Google, thỉnh thoảng nạp được 1 cái, còn lại là "Tạm thời không thể kết nối được"


Trong khi mọi thứ vẫn hoạt động bình thường, khách vẫn vào, robots.txt vẫn có.

Em tưởng VPS có vấn đề gì, em cài hẳn một cái VPS mới, rồi chuyển cái web đó sang VPS mới, nhưng lúc vào tìm nạp robots.txt và tìm nạp như Google vẫn không thấy khắc phục được gì...

Anh em nào có giải pháp gì, hoặc có kinh nghiệm trong vụ này xin cho 1 lời khuyên! Liệu có phải Google nó đang ất ơ nên mới vậy không?

[hostingvietvn]

Bác thử kiểm tra lại firewall hoặc stop iptables rồi nạp lại xem có kết nối được không.

[superthin]

Hỏi chán không thể tả, webmaster gì mà cùi bắp thế không biết.

Giải quyết: gõ địa chỉ web + /robots.txt xem nó có hiển thị nội dung file đó lên trình duyệt? Có, thì đã ổn, kiểm tra chỉnh chọc trong Google Webmaster Tools. Không: mở file logs của Apache/ Nginx/ IIS (đừng nói không biết bạn chạy web server nào nhé) để biết tại sao không load được file robots.txt, lỗi permission gì đó, theo đó mà gỡ rối.