Robots

Gegroet,

waarschijnlijk had u hier een prachtig verhaal over robots verwacht? Helaas. Dit is een pagina waar alle ongewenste robots heengaan via onder andere een .htaccess bestand. Op deze site is wel het een en ander te vinden over zoekmachine robots, begin eens op Website Promotie

Waarom

Er zijn talrijke robots. Nuttige, die zoeken paginas voor een zoekmachine die weer voor bezoekers van mijn site zorgen; en vervelende of zelf schadelijke. Zo heb je robots die email addressen zoeken, of robots die simpel je site copieren.

Er zijn maar een paar Zoekmachines nuttig (google,msn,ilse) voor mijn site. De overige hebben een marginale bijdrage. Toch komen die robots van die zoekmachines langs en verbruiken ze bandbreedte. Ik heb een limiet op de hoeveelheid data die ik per maand mag verbruiken, en het is zonde als die aan robots op gaat.

Daarnaast bevatten mijn pagina”s de nodige meta tags om het gedrag te sturen. Mocht een robot hier niet of niet goed naar kijken komt deze ook hier uit.

Plaats een reactie