Baza wiedzy

Blokowanie robotów sieciowych

Blokadę należy włączyć przez dopisanie odpowiednich reguł w pliku .htaccess umieszczonym w katalogu public_html danej domeny. Składnia wygląda następująco:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]
RewriteCond %{HTTP_USER_AGENT} ^Yahoo
RewriteRule .* - [F]

Nazwy robotów wpisujemy podając wyrażenie regularne (w powyższym przykładnie blokujemy wszystkie roboty, których user-agent zaczyna się od "Twiceler", "Yandex" i "Yahoo"). Powyższe linie powinny znajdować się przed innymi regułami mod_rewrite w pliku .htaccess.

Uwaga! Zablokowanie programu wget uniemożliwi wykonywanie zadań Cron na serwerze!

Odblokowanie robotów zablokowanych na serwerze

Niektóre roboty sieciowe, np. MJ12bot zostały odgórnie zablokowane na wszystkich serwerach. Aby je odblokować, należy umieścić wpis w pliku .htaccess:

SetEnvIfNoCase user-agent "MJ12bot" !bad_bot

Oceń przydatność:


Zobacz także: