In den letzten Tagen habe ich mich lange Zeit gewundert, warum der Server-Load meines virtuellen Servers so hoch (5-10) ist.  Zunächst probierte ich, in den Servereinstellungen u.a. die maxServer-Zahl zu reduzieren, da ziemlich viele httpd2-prefork-Prozesse geöffnet waren. Schließlich schaute ich natürlich auch ins access-log und bemerkte, dass ein gewisser infometrics-bot nicht gerade zaghaft am crawlen war. Also wurde es Zeit, den kürzlich von Google erneut vorgestellten Zweizeiler auszupacken und in die robots.txt zu schreiben.

User-agent: infometrics-bot
Disallow: /

Seitdem habe ich Ruhe und einen Load von 0.5 – 3. Das ist für einen virtuellen Server und den stark steigenden Besucherzahlen meines Twitter-Mashups durchaus ok, wobei der infometrics-bot hoffentlich nicht die alleinige Ursache für den Peak war.