Wat zijn crawlfouten?
Google is continue bezig alle websites te indexeren om ze vervolgens te rangschikken in de zoekmachine. Deze indexatie is puur gericht op websites die nieuw zijn of websites die structureel in beweging blijven. Structurele bewegingen zijn:
- Het bewerken van artikelen
- Het verwijderen van artikelen
- Het plaatsen van nieuwe artikelen of blogs
Crawlen
Crawlen is het doorzoeken van een spider (de robot) van zoekmachines. Zoekmachines moeten jouw website kunnen crawlen om deze te indexeren. Op het moment dat Google jouw website bezoekt gaat de robot (Googlebot) alle interne links van je website volgen. Dit doen ze zodat ze op al jouw pagina’s terecht komen. En dat geeft Google de mogelijkheid de pagina’s te indexeren.
Hoe beter Google jou begrijpt, hoe hoger jouw positie in de zoekmachine. Het is daarom verstandig om een goede linkstructuur op je website te maken.
Verschillende fouten
Wanneer Google een bepaalde URL op je website heeft geprobeerd te bezoeken (of crawlen) dan kan dit tot een crawlfout leiden. Dit betekent dat Google het bezoek niet succesvol heeft weten af te ronden of dat de Googlebot op een http-fout is gestuit. Crawlfouten worden onderverdeeld in twee categorieën:
- Site errors
- URL errors
Site errors komen op de hele website voor. Een URL error pagina is in tegenstelling heel specifiek.
404 error
Crawlfouten worden vaak gekenmerkt door een 404-error en dat houdt in dat de pagina niet (meer) bestaat. Bij websites die niet bestaan is het noodzakelijk een 301 redirect aan te maken. Bij een 301 redirect wordt er een omleiding gemaakt van de ene URL naar de andere. Deze omleiding stuurt jouw bezoekers en de zoekmachines naar een URL die anders is dan het origineel dat is ingegeven.
