Robots.txt

Met het bestand robots.txt kunnen webmasters indexeringsrobots (spiders) een richting geven bij het indexeren van pagina’s in een website. Met ‘een’ robots.txt kun je zo bepalen welke pagina's in de zoekresultaten van Google mogen voorkomen en welke niet. Je wilt bijvoorbeeld niet dat afdrukversies van pagina’s of downloadbare bestanden worden gevonden.
Met het uploaden van een robots.txt bestand in je webpagina kun je vooral goed aangeven wat níet geïndexeerd mag worden.