De meeste websites willen graag zo goed mogelijk gevonden worden door zoekmachines. En niet alleen gevonden maar ook nog eens goed scoren op geselecteerde trefwoorden. Toch zijn er een aantal redenen te bedenken waarom je bepaalde pagina”s of zelfs complete websites juist niet in google wilt hebben:
Onderstaande een aantal technieken om pagina”s, websites of delen van een van twee juist uit google en andere zoekmachines te houden. Sommige werken ook om andere bots zoals backlink-checkers en scrappers zoals majestic en semrushg buiten de deur te houden.