Optimaliseren gaat verder dan je teksten, ook je website moet onder handen genomen worden
Er zijn een heleboel technische factoren die bepalen of Google je website vertoont op de resultatenpagina. Maar vooraleer we daar wat dieper op ingaan, is het belangrijk om het verschil te begrijpen tussen crawling en indexing.
Crawling vs indexing
Hoewel deze begrippen vaak door elkaar gebruikt worden, is er een duidelijk verschil. Wanneer een webcrawler, zoals Googlebot, je website bezoekt en je pagina’s bekijkt, spreken we van crawling. Crawlers zijn geautomatiseerde computerprogramma’s, ook wel spiders genaamd.
Wanneer we spreken over indexing, bedoelen we het ranken van webpagina’s in de resultatenpagina van zoekmachines. Google kan dus bijvoorbeeld pagina’s crawlen, maar toch beslissen om ze niet te indexeren. De technische SEO-inspanningen hebben daarom vooral als doel om het pad dat Googlebot moet volgen te effenen. Hierdoor kunnen al je pagina’s in één enkel bezoek gecrawld worden, wat de kans om effectief te ranken voor relevante zoektermen vergroot.
Technische SEO-factoren die crawling beïnvloeden
Robots.txt
Robotx.txt is een tekstbestand dat zich in de root van je website bevindt. Het doel van dit bestand is om aan Googlebot duidelijk te maken welke secties van je website gecrawld (en daarom ook geïndexeerd) mogen worden. Typische voorbeelden van pagina’s die je beter uitsluit van crawling zijn bijvoorbeeld het winkelmandje bij webshops, de accountpagina’s van gebruikers of pagina’s met zoekresultaten.
Sitemap.xml
Om ervoor te zorgen dat Googlebot je website zo efficiënt mogelijk kan crawlen, zorg je voor een duidelijke sitemap. Daarom werd het sitemap.xml bestand geïntroduceerd. Sitemap.xml is een tekstbestand dat zich in de root van je website bevindt. Dat document is een compleet overzicht van de pagina’s op je website, waarin ook de onderlinge relatie tussen de verschillende pagina’s duidelijk wordt. Google biedt een gratis tool aan (Google Search Console) waar je de mogelijkheid hebt om de sitemap voor je website aan te melden. Bij een volgend bezoek houdt Googlebot rekening met de sitemap en probeert hij alle pagina’s binnen die sitemap te bezoeken. Belangrijk om weten is dat sommige tools de sitemap voor je aanmaken. Let daarom zeker op dat er geen nutteloze pagina’s in de sitemap staan.
HTTP- statuscode
Wanneer Googlebot een pagina opvraagt op de webserver, wordt er steeds een http-statuscode meegegeven. Belangrijk is dat de server een 200 status teruggeeft. Pagina’s met een 4xx (pagina niet gevonden) of 5xx (interne serverfout) statuscode kunnen uiteraard niet gecrawld worden.
SEO-vriendelijke architectuur
Om het crawlen van je website zo efficiënt mogelijk te laten verlopen, kan je Googlebot een het handje helpen. Zorg voor een logische – op zoektermen gebaseerde – paginastructuur met duidelijke interne links om de relaties tussen de pagina’s onderling aan te tonen. Breadcrumbs zijn een ideale toevoeging om zowel interne linking als de structuur van je pagina’s aan Googlebot duidelijk te maken.
Technische SEO-factoren die indexing beïnvloeden
Robots tag
De robots tag, niet te verwarren met robots.txt, geeft aan of een pagina in de index opgenomen mag worden. Je hebt de mogelijkheid om de pagina te laten indexeren (of niet), maar ook om Googlebot de interne links te laten volgen (of niet).
In het eerste voorbeeld mag de pagina geïndexeerd worden en mogen de interne links gevolgd worden. In het tweede voorbeeld geef je aan dat de pagina niet geïndexeerd mag worden, maar dat de links wel gevolgd mogen worden:
<meta name="robots" content="index, follow"><meta name="robots" content="noindex, follow">Goed om weten is dat de eerste robots tag met content “index, follow”, de standaard instelling is.
Canonical tags
Duplicate content is een welbekend fenomeen in de SEO wereld. Het komt voor wanneer 2 of meerdere pagina’s op je website qua inhoud bijna hetzelfde zijn, of wanneer jouw inhoud zo goed als identiek is aan die van een andere website.
Soms zorg je bewust voor duplicate content op je eigen website, in dat geval geef je duidelijk aan welke pagina de originele versie is door canonical tags te gebruiken.
Door een gebrekkige architectuur kan het zijn dat je onbewust duplicate content genereert op je website. Denk bijvoorbeeld aan pagina’s met URL-parameters of pagina’s die zowel op de www als niet www-versie zichtbaar zijn. In dit geval zijn canonical tags niet voldoende en laat je best je website een keer grondig nakijken door een ervaren SEO specialist.
Laadsnelheid
Time is money. En dat kan je letterlijk nemen, want laadsnelheid is een van de belangrijkste factoren in gebruikerservaring. En gebruikerservaring is dan weer een erg belangrijke factor in de uiteindelijke ranking van je website. Wanneer je pagina’s niet binnen aanvaardbare tijd inladen, zal je merken dat Googlebot je website negeert en weigert je pagina’s weer te geven op de resultatenpagina.
Best practices voor SEO topposities
Nu Googlebot je pagina’s kan crawlen en ze in de resultatenpagina heeft opgenomen, begint het echte werk. Uiteraard ben je niet tevreden met een positie op pagina 6. Je wil net zoals je online concurrentie op de eerste pagina vertoond worden.
Het Google algoritme verandert constant en speelt in op de steeds veranderende noden van surfers. In totaal zijn er een 250-tal factoren die bepalen hoe hoog je website vertoond wordt in de Google resultaten. Deze factoren zijn ruwweg onder te verdelen in wat er ‘op’ je website gebeurt (content, technische optimalisatie, zoekwoorden en UX) én wat er ‘rond’ je website gebeurt (backlinks, social media signalen en brand mentions).
Websites die voor competitieve zoektermen op de eerste pagina vertoond worden, combineren een sterke contentstrategie – gebaseerd op de juiste zoektermen – met een duidelijke structuur en een sterk backlink profiel. Zowel technisch als op vlak van gebruikerservaring staan deze sites op punt.
Recente publicaties
