Hoe werkt het Google Bot?

Wat is het Google Bot?

In dit artikel leg ik je uit wat het Googlebot is, hoe het werkt en hoe jij er je voordeel mee kan doen. De volgende situatie komt je vast bekend voor. Je typt een alledaags woord in op Google, drukt op enter, en binnen een seconde heb jij de beschikking over ontelbare webpagina’s, afbeeldingen en video’s over dit specifieke onderwerp. “Hoe doet Google dat toch?!”, vraag jij je af.

Waar dient het Googlebot voor?

Wereldwijd zijn er inmiddels miljarden internetpagina’s over elk onderwerp dat je maar kunt bedenken. Om ervoor te zorgen dat de juiste informatie naar voren komt wanneer een bezoeker iets intypt via een zoekmachine zoals Google, is het dus nodig dat al deze webpagina’s worden gecheckt. Het is onmogelijk om al deze pagina’s handmatig te doorzoeken en daarom heeft Google een slimme robot bedacht die dit voor ze doet: het Googlebot.

Crawlen van websites

Deze Googlebot (soms ook wel ‘spider’ genoemd) doorzoekt de inhoud van bestaande en nieuwe websites en beoordeelt deze met het doel de pagina’s toe te voegen aan de index van Google.

De inhoud wordt bekeken: is er iets nieuws bijgekomen? Werkt de website nog wel? Doen de links het? Dit proces wordt ook wel ‘crawlen’ genoemd. Het crawlproces door deze spiders gebeurt door middel van een algoritme.

SEO

Met Googlebot worden sites gevonden door links van pagina naar pagina te volgen. Om er zeker van te zijn dat dit proces goed verloopt en jouw pagina’s dus goed geïndexeerd kunnen worden (en dus ook gevonden kunnen worden door internetgebruikers) kun je het het Googlebot makkelijker maken om jouw website te doorzoeken. Dit doe je door middel van ‘Search Engine Optimization’ (SEO), oftewel: zoekmachine optimalisatie.

Wat is het Google Bot?

Waarom je website optimaliseren?

Door je website actief te optimaliseren, snapt het Googlebot beter waar de site over gaat en kun je zo hoog mogelijk in Google komen te staan. Dit doe je bijvoorbeeld door het verbeteren van de techniek of tekst op je website. Eén manier is door een sitemap aan te maken.

Een sitemap is een bestand waarin je informatie kunt vermelden waardoor het Googlebot jouw site slimmer kan crawlen. Zo kun je metadata leveren die informatie bevat over een webpagina; wanneer de pagina voor het laatst is bijgewerkt, hoe vaak de pagina is gewijzigd, enzovoort.

Een sitemap aanmaken is vooral handig wanneer jouw website nieuw is en er daardoor nog weinig externe links zijn, of juist wanneer hij erg groot is, en/of veel pagina’s bevat die niet aan elkaar gekoppeld zijn.

Schrijven van artikelen

Een andere manier is door het schrijven van artikelen. Want hoe meer artikelen je schrijft, hoe vaker het Googlebot bepaalde termen van jouw site oppakt en je dus ook weer hoger scoort in Google.

Hoe hoger je in Google staat, des te groter de kans dat bezoekers op jouw site klikken en jij dus bekender wordt. Alles bij elkaar zorgt dat ervoor dat jij een succesvolle(re) website zult krijgen! Wanneer je niet optimaliseert laat je hier dus echt een kans liggen.

Noindex of nofollow

Nu kunnen er situaties zijn waarbij je niet wil dat (één van) jouw pagina’s terecht komen in de index van Google. Dat kan, en ook daar zijn verschillende manieren voor om dat te voorkomen. Dit doe je bijvoorbeeld door een noindex- of nofollow-metatag aan de broncode van de pagina toe te voegen. Gevolg hiervan is dat dan alles van die pagina, dus ook uitgaande of inkomende links, niet worden ‘gecrawld’ door het Googlebot.

Wil je dat de hele website niet geïndexeerd kan worden, dan doe je dit door een robots.txt-bestand te maken in de hoofdmap van de server. Op die manier blokkeer je de toegang tot alle bestanden en mappen. Je moet dus wel echt zeker van je zaak zijn én het op de juiste manier uitvoeren, anders gaat dit (ongewild) ten koste van jouw vindbaarheid

Vergelijkbare berichten