infometrics-bot mit robots.txt aussperren

(Jetzt bewerten!)

 Loading ...

In den letzten Tagen habe ich mich lange Zeit gewundert, warum der Server-Load meines virtuellen Servers so hoch (5-10) ist.  Zunächst probierte ich, in den Servereinstellungen u.a. die maxServer-Zahl zu reduzieren, da ziemlich viele httpd2-prefork-Prozesse geöffnet waren. Schließlich schaute ich natürlich auch ins access-log und bemerkte, dass ein gewisser infometrics-bot nicht gerade zaghaft am crawlen war. Also wurde es Zeit, den kürzlich von Google erneut vorgestellten Zweizeiler auszupacken und in die robots.txt zu schreiben.

User-agent: infometrics-bot
Disallow: /

Seitdem habe ich Ruhe und einen Load von 0.5 – 3. Das ist für einen virtuellen Server und den stark steigenden Besucherzahlen meines Twitter-Mashups durchaus ok, wobei der infometrics-bot hoffentlich nicht die alleinige Ursache für den Peak war.

Gefällt Dir?

Ähnliche Erfahrungen

1. Internetsperre umgehen
2. Twitter setzt Applikation-Links auf nofollow
3. Virtuelles Museum von Google
4. FarmVille Cheats und Bots
5. Skischlösser im Test
6. Internet-Tethering: Kein Problem mit O2
7. www.radarvirtuel.com zeigt virtuellen Radar des Flugraums
8. Farmville: Hunde Tricks beibringen
9. GPS-Anwendungen für das iPhone 3G
10. Windows 7 Beta per VirtualPC installieren
11. Neue Twitter-Startseite
12. Herzlich Willkommen
13. Aprilscherze 2010 Sammlung
14. Android programmieren: “Hallo Welt” in 30 Minuten
15. Twitternutzung legt um 34% zu
16. SEO-freundliche URL Shortener
17. schuelerVZ-Buschfunk schlägt Twitter um Faktor 500
18. Piwik – gute Gründe für das offene Analyse-Tool
19. iRobot Roomba 555 – Ein Erfahrungsbericht
20. Saturn MP3 Download