088 - 120 34 00

Google Crawler bewegingen

Het is erg interessant om te weten in welke volgorde de Googlebot je website crawlt. Als je de volgorde weet, kan je het gebruiken om Google te manipuleren zodat het als eerst je belangrijke pagina’s crawlt. Met name op websites met veel content wil je dat Google als eerst de belangrijke secties van je website eerst crawlt.

Om te testen hoe Google hier mee omgaat, hebben we een domein genomen zonder geschiedenis. Dit wil zeggen, nog niet eerder geregistreerd en geen inkomende links. Vervolgens hebben we een pagina op deze website gemaakt met 250 linkjes op de pagina. De URL’s en link teksten lopen op van 1 t/m 250, in dezelfde volgorde als dat ze in de broncode staan. Deze linkjes verwijzen vervolgens weer naar pagina’s met 250 linkjes er op (enz.). We hebben de URL aangemeld bij Google via “addurl” en wachtten af.

Tijdens het eerste bezoek van Google heeft het alleen de root pagina bezocht (http://example.com). Na enkele uren bezocht het de site opnieuw en bezocht het alle 250 pagina’s die waren gevonden op de root pagina. Op het eerste gezicht leek het erop dat Google alle links op de pagina verdeelde in drie blokken:

  • Blok1: link 1 t/m 9
  • Blok2: link 10 t/m99
  • Blok3: link 100 t/m 250

Als Googlebot een pagina bezoekt is de kans drie keer groter dan het meer links volgt van blok 1 dan van blok 3. De kans dat Googlebot links van blok 1 bezoekt is zelfs 6 keer groter dan links van blok 3. In blok 3 zijn er twee links die een iets grotere kans hebben om bezocht te worden in vergelijking met de rest van het blok. Dit zijn respectievelijk /100/ en /200/.

Met enkel de resultaten van deze test, is het te vroeg om te kunnen concluderen dat Google altijd de pagina’s opverdeeld in deze blokken. Het is mogelijk dat Google de verdeling van de blokken baseert op de lengte van de linktekst, op de lengte van de gehele tekst, op de positie van de andere links, etc. Om al deze mogelijkheden uit te sluiten hebben we enkele extra testen uitgevoerd.

Deze test welke ons uitsluitsel gaf was een test waarbij de lengte van de URL’s in willekeurige volgorde op een pagina stonden. Deze links refereerde op hun beurt weer naar pagina’s met ook links van diverse lengtes in willekeurige volgorde (enz.). Googlebot lijkt links te crawlen in volgorde van de lengte van de URL. Dit is goed om te weten als je wat geavanceerdere sitesculpting wilt bedrijven.

Takeaways

Met deze inzichten, wordt het belangrijker om goed na te denken over de lengtes van je URLs. Google crawlt korte URL’s eerder dan langere URL’s. Het helpt niet om alle URL’s even lang en kort te maken. Als ze allemaal dezelfde lengte hebben, worden ze random gecrawld. Het is dus verstandig om de juiste pagina’s een korte URL te geven. Maak echter altijd een overweging tussen indexatie en crawlen. Een korte URL kan handig zijn om snel gecrawld te worden, maar de URL is ook van invloed bij indexatie en rankings.

Het is dus verstandig om er rekening mee te houden bij het ontwerpen van je sitestructuur. Waarschijnlijk is het nog belangrijker om mee te nemen bij linkbuilding. We hebben het nog niet getest, maar het is waarschijnlijk dat Google op dezelfde manier omgaat met het crawlen van externe links als interne links. Dit zou betekenen als je met een link naar je website tussen honderden andere links staat, je je kansen vergroot om gecrawld te worden door een korte URL te kiezen.

Jouw vraag voor een speeddate van 15 minuten met het team

onze partners