Robots.txt
Het robots.txt-bestand bevat instructies voor crawlers over welke delen van een website ze wel of niet mogen bezoeken. Het bestand wordt in de hoofdmap van een website geplaatst. Een blokkering via robots.txt voorkomt crawling, maar garandeert niet dat een URL volledig uit de zoekresultaten verdwijnt.
