Robots-metatag
De robots-metatag bevat instructies voor zoekmachines over de indexering en weergave van een afzonderlijke webpagina. Met directives zoals noindex, nofollow, nosnippet en noimageindex kan je aangeven hoe zoekmachines de pagina en haar inhoud mogen verwerken. De crawler moet de pagina kunnen bezoeken om de robots-metatag te kunnen lezen.
<meta name="robots" content="index, follow"/>
‘index, follow’ laat zoekmachines toe om de pagina te indexeren en links op de pagina te gebruiken om andere pagina’s te ontdekken. Dit is het standaardgedrag en hoeft daarom normaal niet expliciet te worden opgegeven.
<meta name="robots" content="noindex, nofollow"/>
‘noindex, nofollow’ vraagt zoekmachines om de pagina niet in de zoekresultaten te tonen en de links op de pagina niet te volgen. Zoekmachines kunnen directives verschillend behandelen; Google beschouwt bepaalde linkattributen en -instructies bovendien als aanwijzingen.
Andere mogelijke waardes voor de robots-metatag zijn:
Noimageindex: vermijd dat je afbeeldingen in de zoekresultaten opgenomen worden.
None: de verkorte schrijfwijze voor ‘noindex, nofollow’.
Nosnippet: vermijd dat er een snippet getoond wordt voor je pagina’s op de resultatenpagina.
Notranslate: vermijd dat zoekmachines vertaalde versies van deze pagina aanbieden op de resultatenpagina.
Unavailable_after: vertel aan zoekmachines dat deze pagina enkel tot en met een bepaalde datum beschikbaar zal zijn.
Je kan zowat alle directives combineren om webcrawlers te sturen zoals jij dat wilt.
