Hướng dẫn config CSF chống lại các phần mềm webcrawling

[funvn]

Em vừa thử sử dụng Teleport pro để download site em thì load average của VPS tăng lên gần tới 10. Như vậy chỉ cần hai người dùng phần mềm webcrawling là site em tiêu luôn rồi.

Nhờ các bác hướng dẫn giúp em config CSF để chổng lại các phần mềm như Teleport pro...
Cảm ơn các bác nhiều

[funvn]

Em đã tìm ra giải pháp chống lại các phần mềm download tải toàn bộ website (http://hostingaz.info/681-huong-dan-ngan-chan-cac-phan-mem-webcrawling-download-website.html): http://hostingaz.info/681-huong-dan-ngan-chan-cac-phan-mem-webcrawling-download-website.html

[netspeed2]

Các bác xem file robots.txt để thế này liệu có ảnh hưởng gì không nhỉ?


User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Web Downloader
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: Leech
Disallow: /

User-agent: WebSnake
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: HTTP Weazel
Disallow: /

[funvn]

ko ảnh hưởng gì đến seo vì nó chỉ chặn pm download thôi