Crawlen is een manier om een deel software een bepaalde website te analyseren. Deze crawlers zijn op zoek naar relevante informatie voor de zoekmachine van Google. Websites moeten dus niet alleen worden begrepen door een bezoeker, maar ook door crawlers.

Hoe werkt crawlen?

Het meerendeel van de Google zoekindex is opgebouwd uit software stukjes die crawlen. Daarnaast zoeken deze crawlers continue naar informatie op openbare websites. Binnen deze websites volgen crawlers alle linkjes die er zijn binnen de website. Dit gebeurt op eenzelfde manier als een bezoeker dat zou doen. Door op iedere pagina binnen de website te komen wordt er informatie verzameld voor de Google zoekindex. De belangrijke factoren van pagina’s worden opgeslagen om zo uiteindelijk te matchen aan gezochte zoektermen.

Dode linkjes

Het is belangrijk dat een crawler snel door een website en pagina kan bewegen. Als dit niet het geval is wordt de relevantie voor de zoekmachine namelijk lager. Door een sterke structuur toe te passen binnen een website voorkom je onduidelijkheid. Pagina’s die verouderd zijn en gebruik maken van oude linkjes ranken uiteindelijk ook lager binnen Google. Daarnaast is het belangrijk om niet werkende linkjes op te sporen. Deze linkjes noemen we ook wel ‘dode linkjes’. Dode linkjes kunnen worden verwijderd door er een 301-redirect te plaatsen naar een werkende pagina.

Pagina sneller laten indexeren

Wanneer er een nieuwe web pagina is geschreven kan deze sneller worden geïndexeerd. Dit indexeren gebruikt door te crawlen. Binnen Google Search Console kan er een versnelde aanvraag voor indexeren worden gedaan. Door snellere indexering kan Google een nieuwe pagina sneller indexeren en ranken voor een bepaald zoekwoord in de zoekmachine. Hoe makkelijker een crawler over je website kan bewegen, hoe hoger de pagina rankt. Een goede link structuur is daarvoor erg belangrijk.

Een linkstructuur maken

Het maken van een goede linkstructuur kan door een aantal onderdelen.

1. TXT
   Er kan worden gekozen bepaalde onderdelen van de website uit te sluiten voor crawlers. Dit wordt gedaan door crawlbeperkingen te zetten binnen het robots.txt bestand van je website.
2. Linkbuilding
   Linkbuilding is het laten verwijzen van andere websites naar jouw website. De linkjes die hiervoor worden gebruikt heten backlinks.
3. Backlinks
   Dit zijn links die verwijzen naar jouw website. Er zijn links die veel waarde kunnen bieden voor jouw Google positie. De waarde van deze backlink is afhankelijk van de relevantie, tekst en DA van de website.