Robots.txt

Het robots.txt bestand is een tekstbestand dat opgeladen wordt in de root van je website. Het bevat een set van instructies voor webcrawlers. Via robots.txt kan je bepaalde secties van je websites afschermen voor de crawlers van zoekmachines.