Wat is robots.txt?

Een robots.txt-bestand is belangrijk voor elke website. Het vertelt zoekmachines welke pagina’s ze mogen bekijken en welke niet. Een goed robots.txt bestand helpt je te bepalen wat er in zoekresultaten verschijnt. Het helpt je ook bij het verbeteren van je SEO door ervoor te zorgen dat zoekmachines alleen de meest relevante inhoud indexeren. Hierdoor wordt je website online beter zichtbaar en kun je het aantal bezoekers naar je site verhogen. En dat willen we natuurlijk graag.

Wat is een robots.txt bestand?

Een txt bestand is een klein tekstbestandje dat in de root directory van jouw website wordt geplaatst. Het is onderdeel van het Robots Exclusion Protocol (REP) en geeft instructies aan user agents en zoekmachine crawlers over welke delen van de website ze mogen crawlen. Door bepaalde bestanden en pagina’s te blokkeren, kun je voorkomen dat informatie of bepaalde pagina’s worden geïndexeerd. Dit helpt niet alleen om je crawl budget beter te gebruiken, maar kan ook de SEO van je site verbeteren. Een juist ingestelde robots.txt is dus sterk aan te raden voor jouw SEO strategie.

Voorbeelden user agents

Een user agent is de zoekmachine robot die je website bezoekt. Elke zoekmachine heeft zijn eigen specifieke user-agent, zoals:

• Googlebot (Google)
• Googlebot-Image (Google Images)
• Applebot (Apple)
• Slurp (Yahoo)
• Bingbot (Microsoft Bing)
• Baiduspider (Baidu)
• DuckDuckBot (DuckDuckGo)

Door specifieke instructies te geven aan een user-agent, kun je bepalen welke delen van je site door welke robots worden gecrawld. Dit helpt bij het beheren van je inhoud en het beschermen van gevoelige informatie. Het is belangrijk om te begrijpen welke user-agent je site bezoekt, zodat je de juiste instructies kunt geven en je website optimaal kunt laten functioneren in de zoekresultaten.

Hoe ziet zo’n bestand eruit?

Een eenvoudig voorbeeld van een robots.txt kan er als volgt uitzien:

User-agent: *

Disallow: /private/

Sitemap: https://www.jouwwebsite.nl/sitemap_index.xml

Dit bestand geeft aan dat specifieke user-agents bepaalde privépagina’s niet mogen crawlen, terwijl de sitemap wordt aangegeven. Hierdoor weten zoekmachines welke delen van de website ze moeten indexeren en welke ze moeten negeren. Een goed robots.txt bestand helpt je om je site op de juiste manier te beheren en te beschermen tegen ongewenste toegang tot gevoelige delen.

Check het bij je eigen website

Wil je checken of jouw website een txt file heeft? Dit kun je makkelijk checken door “/robots.txt” achter de URL van jouw website te typen. Hier zie je dan of je website een robots.txt heeft of wat de huidige instructies voor robots zijn. Bij ons ziet ‘ie er zo uit:

https://www.2manydots.nl/robots.txt

Zorg ervoor dat de belangrijke pagina’s en bestanden toegankelijk zijn en dat gevoelige gegevens worden beschermd. Je kunt jouw robots.txt op fouten controleren in de txt tester van Google Search Console.

Zelf een robots.txt maken?

Het maken van een robots.txt bestand kan op verschillende manieren. Het kan handmatig, met behulp van je SEO-plugin of eventueel met een online generator. We leggen het je graag uit.

1. Handmatig instellen

Je kunt een robots.txt bestand handmatig maken door een tekstbestand te openen en de gewenste regels erin te typen. Vervolgens uploadt je dit bestand naar de root directory van jouw website via een FTP-client. Google Developers heeft hier een fijne handleiding voor. Het handmatig maken van een robots.txt bestand geeft je volledige controle over de instructies die je wilt geven.

2. Met een SEO-plugin

Ook zijn er SEO-plugins beschikbaar die het maken en beheren van een robots.txt bestand makkelijk maken. Plugins zoals Rank Math en Yoast SEO hebben een gebruiksvriendelijke interface waarmee je snel en eenvoudig regels kunt toevoegen of wijzigen.

3. Robots.txt generator

Er zijn online tools beschikbaar, zoals de robots.txt generator van SEOptimer of SERanking, die het proces nog eenvoudiger maken. Je voert simpelweg de gewenste instructies in en de tool genereert een robots.txt bestand dat je kunt downloaden en uploaden naar jouw website. Deze generators zijn handig voor gebruikers die snel een robots.txt bestand willen maken.

Zet ‘m in je sitemap

Het is belangrijk om je robots.txt bestand altijd op te nemen in je xml sitemap. Dit helpt zoekmachines om alle relevante instructies in één keer te vinden en te volgen. Hierdoor wordt de efficiëntie van de robots verbeterd en wordt de kans vergroot dat je belangrijke inhoud correct wordt geïndexeerd. Je kunt ook meerdere sitemaps plaatsen, indien je meer sitemaps hebt. Het is belangrijk dat je de absolute url in je bestand zet.

Belangrijk om te weten

Er zijn een paar belangrijke punten om in gedachten te houden bij het gebruik van een robots.txt bestand:

• Robots.txt is publiekelijk toegankelijk: iedereen kan jouw robots.txt bestand bekijken, dus zorg ervoor dat er geen gevoelige informatie in staat.
• Sluit malware bots uit via een aparte regel: gebruik specifieke regels om bekende malware bots uit te sluiten.
• De volgorde maakt uit: de volgorde van de regels in jouw robots.txt bestand kan invloed hebben op de manier waarop grote zoekmachines de instructies interpreteren.
• Sommige zoekmachines indexeren toch privé bestanden: zelfs met een “Disallow” instructie kunnen sommige zoekmachines toch proberen privé bestanden te indexeren.
• Zoekmachine robots kunnen uitgesloten pagina’s soms toch vinden: gebruik aanvullende methoden zoals een noindex tag om gevoelige inhoud te beschermen.
• Door ‘Disallow: /’ in te voeren zet je de hele site op no-index: dit kan handig zijn tijdens de ontwikkeling van de site, maar zorg ervoor dat je deze regel verwijdert voordat de site live gaat.

Vragen over SEO? Neem contact met ons op!

Heb je vragen over hoe je een robots.txt bestand kunt optimaliseren voor je website? Of wil je meer weten over SEO en hoe het je online zichtbaarheid kan verbeteren? Neem dan contact op met ons op!