Wir haben in den letzten Wochen bei 2,3 Neukunden-Terminen entdeckt, dass bei den Webseiten in der robots.txt durch den Eintrag:

User-agent: *
Disallow: /

die gesamte Seite von der Indizierung von Suchmaschinen ausgeschlossen wurde….

Wodurch natürlich überhaupt kein Traffic über Suchmaschinen gekommen ist, was ja heutzutage eher nicht so vorteilhaft sein soll, wenn man eine Webseite erfolgreich machen will

Wir haben uns natürlich gefragt, warum das so war. Da die jeweiligen Gesprächspartner nicht aus der Technik kamen, wussten die auch keine Antwort. Uns viel nur ein, dass evt. nach der Entwicklungs- und Testphase vergessen wurde, das Disallow / wieder zu entfernen. 

Doch ein weitere möglicher Grund, warum das Aussperren von Bots durch die robots.txt vermehrt auftritt, ist ein neues Massenmail mit folgendem Inhalt:

Wenn Sie als das Mail bekommen -> ab damit in den Spamfilter. Sowohl das Anrufen der 0900 Nummer, als auch das Aussperren von Google-Bot und Co kosten viel Geld

 ################# TEXT DES MAILS ####################

Subject: ACHTUNG, gemeiner VIRUS. Dringend diese Datei auf Ihrem Webserver
einbinden
=========================================================================

Sehr geehrte Damen und Herren,

im Moment werden Millionen Webserver von Viren befallen.

Bitte binden Sie unbedingt den Anhang zum Schutz auf Ihrer Webseite
in folgendes Verzeichnis ein:

www.xyz.at/robots.txt

Die Robots-Datei erstellen Sie mir Ihrem Editor:

_____________________________________________

User-agent: *
Disallow: /
______________________________________________

Diese speichern Sie als robots.txt und binden Sie in Ihrem Hauptverzeichnis
ein.

Nur so ist sicher, dass kein Schaden entsteht indem Sie dem Virus
verbieten, Ihre Webseite zu besuchen.
Bitte beeilen Sie sich, da an diesem Wochenende mit einem erheblichen
Angriff zu rechnen ist.

Noch Fragen?

Internet-Security-Team
Meisenweg 11
47441 Moers
0900-856473

 ##################################################