Crawlen

Crawlen is het proces waarbij zoekmachines via geautomatiseerde bots (crawlers, zoals Googlebot) webpagina’s bezoeken om inhoud, structuur en links in kaart te brengen. Pas na crawlen en indexeren kan een pagina in de zoekresultaten verschijnen.

Een crawler begint bij bekende URL’s, zoals in je sitemap.xml, en volgt van daaruit links naar nieuwe pagina’s, met inachtneming van je robots.txt. Let op het verschil met noindex: een disallow voorkomt crawlen, maar niet per se indexering via elders geplaatste links; een noindex-tag laat de pagina wél crawlen maar sluit die uit van indexering.

Bij grotere sites speelt crawlbudget een rol: het aantal pagina’s dat een zoekmachine binnen een periode crawlt. Een heldere sitestructuur, actuele sitemap en snelle serverrespons sturen crawlers naar de pagina’s die er echt toe doen.