Robots meta tag
De robots meta tag heeft dezelfde functie als het robots.txt bestand. Je gebruikt deze tag om bepaalde webpagina’s af te schermen voor de crawlers van zoekmachines. De robots meta tag geeft je de mogelijkheid om instructies te geven per pagina, terwijl het robots.txt bestand voor de hele website (of bepaalde secties) geldt.
Naast instructies voor indexatie, kan je met de robots meta tag ook aangeven of hyperlinks gevolgd moeten worden. Het standaard directive zegt dat alle hyperlinks gevolgd worden én waarde doorgeven van de ene naar de andere pagina. Als je andere instructies wilt, zal je dat dus moeten aangeven.
<meta name=”robots” value=”index, follow” />“index, follow” is de standaardwaarde voor deze tag en bepaalt dat de pagina opgenomen mag worden in de zoekresultaten (index) en dat alle links op deze pagina gevolgd mogen worden (follow).
<meta name="robots" value="noindex, nofollow" />Door de waarde “noindex, nofollow” aan de robots meta tag te koppelen, kan je aan webcrawlers duidelijk maken dat een webpagina niet in de zoekresultaten vertoond mag worden (noindex) én dat de links op deze pagina niet gevolgd mogen worden (nofollow).
Andere mogelijke waardes voor de meta robots tag zijn:
- NoImageIndex: vermijd dat je afbeeldingen in de zoekresultaten opgenomen worden.
- None: de verkorte schrijfwijze voor ‘noindex, nofollow’.
- NoArchive: zorg dat steeds de meest recente versie van de pagina op de resultatenpagina weergegeven wordt.
- NoCache: het alternatief voor NoArchive voor Microsoft crawlers.
- NoSnippet: vermijd dat er een snippet getoond wordt voor je pagina’s op de resultatenpagina.
- NoTranslate: vermijd dat zoekmachines vertaalde versies van deze pagina aanbieden op de resultatenpagina.
- Unavailable_after: vertel aan zoekmachines dat deze pagina enkel tot en met een bepaalde datum beschikbaar zal zijn.
- NoYDir: vermijd dat zoekmachines de paginabeschrijving van Yahoo overnemen.
- NoODP: vermijd dat zoekmachines de paginabeschrijving van DMOZ overnemen.
Je kan zowat alle directives combineren om webcrawlers te sturen zoals jij dat wilt. NoYDir en NoODP zijn tegenwoordig achterhaald omdat de Yahoo en DMOZ listings opgedoekt zijn.