Crawlbudget is de hoeveelheid tijd en middelen die Google besteedt aan het crawlen van je website, oftewel hoeveel pagina’s Googlebot in een bepaalde periode kan en wil bezoeken. Het wordt bepaald door twee dingen: de crawlcapaciteit, hoeveel verzoeken je server aankan zonder trager te worden, en de crawlbehoefte, hoe graag Google je pagina’s wil bezoeken. Voor de meeste websites met een paar honderd of een paar duizend pagina’s is crawlbudget geen probleem. Het wordt pas belangrijk bij grote sites, sites die heel snel nieuwe pagina’s krijgen en sites met veel overbodige URL’s (Google Search Central).
In dit artikel lees je hoe crawlbudget werkt, wanneer je er aandacht aan moet besteden en wat je kunt doen om verspilling te voorkomen.
Hoe werkt crawlen?
Een zoekmachine gebruikt een crawler, een programma dat het web afgaat door links te volgen en pagina’s op te halen (Wikipedia). Bij Google heet die crawler Googlebot. Wat de crawler ophaalt, kan Google daarna verwerken en opnemen in de index. Een pagina die niet wordt gecrawld, kan dus ook niet goed worden gevonden in Google.
Google heeft niet onbeperkt tijd en rekenkracht. Daarom kiest het per site hoeveel en welke pagina’s het bezoekt. Dat noemen we het crawlbudget.
De twee onderdelen van crawlbudget
Crawlcapaciteit
Google wil je server niet overbelasten. Reageert je site snel en zonder fouten, dan verhoogt Google het aantal verzoeken. Wordt je site trager of geeft hij serverfouten, dan verlaagt Google het tempo (Google Search Central).
Crawlbehoefte
Google crawlt vaker pagina’s die populair zijn en pagina’s die vaak veranderen. Pagina’s die weinig waarde lijken te hebben of nooit veranderen, krijgen minder aandacht. Ook bij grote wijzigingen, zoals een verhuizing naar een nieuw domein, neemt de crawlbehoefte tijdelijk toe.
Wanneer doet crawlbudget ertoe?
Google zegt zelf dat de meeste websites zich geen zorgen hoeven te maken. Het is vooral relevant voor:
- Grote sites met tienduizenden of honderdduizenden pagina’s, zoals grote webshops en nieuwssites.
- Sites met veel snel veranderende content, zoals vacaturesites en sites met advertenties.
- Sites met veel pagina’s die wel zijn ontdekt, maar niet geïndexeerd. In Search Console zie je die onder de status Gevonden, momenteel niet geïndexeerd.
Heb je een kleine website en worden nieuwe pagina’s binnen een paar dagen geïndexeerd, dan is crawlbudget voor jou geen prioriteit. Richt je dan liever op de kwaliteit van je content.
Wat verspilt crawlbudget?
- Gefacetteerde navigatie. Filters in een webshop kunnen duizenden URL-combinaties maken, zoals kleur, maat en prijs in elke volgorde.
- URL-parameters voor sessies, tracking of sorteren.
- Dubbele content. Dezelfde pagina onder meerdere URL’s, bijvoorbeeld met en zonder www of met en zonder slash.
- Ketens van doorverwijzingen. Elke extra stap kost een verzoek. Gebruik één 301-redirect direct naar de eindbestemming.
- Foutpagina’s en zachte 404’s. Pagina’s die niet bestaan maar toch een normale statuscode geven.
- Oneindige ruimtes, zoals een kalender waarmee je eindeloos naar volgende maanden kunt klikken.
- Pagina’s met weinig waarde, zoals lege tagpagina’s of automatisch gemaakte zoekresultaten.
Zo optimaliseer je je crawlbudget
1. Houd je sitemap schoon
Zet in je XML-sitemap alleen pagina’s die je geïndexeerd wilt hebben en die een statuscode 200 geven. Werk de datum van laatste wijziging alleen bij als de inhoud echt is veranderd.
2. Blokkeer overbodige URL’s in robots.txt
Met robots.txt kun je crawlers vragen bepaalde delen van je site niet te bezoeken, zoals interne zoekresultaten of filtercombinaties (Google Search Central). Let op: robots.txt voorkomt crawlen, niet per se indexeren. Gebruik het niet om pagina’s uit Google te halen.
3. Los dubbele content op
Kies één voorkeurs-URL per pagina en verwijs daar met canonical-tags en redirects naar (Google Search Central).
4. Maak je site sneller
Een snelle server kan meer verzoeken aan, waardoor Google meer pagina’s kan crawlen. Lees onze tips om je website sneller te maken.
5. Geef de juiste statuscodes
Verwijderde pagina’s geven een 404 of 410. Verhuisde pagina’s een 301. Zo weet Google dat het die URL’s niet meer hoeft te bezoeken.
6. Verbeter je interne links
Pagina’s die nergens naartoe gelinkt worden, zogeheten weespagina’s, worden minder vaak gevonden. Zorg dat belangrijke pagina’s vanuit je menu, categorieën en gerelateerde artikelen bereikbaar zijn.
Voorbeeld: crawlbudget bij een webshop
Stel, een webshop heeft 2.000 producten in 50 categorieën. Elke categorie heeft filters voor merk, kleur, maat en prijs, en je kunt sorteren op prijs, populariteit en nieuwste. Als al die combinaties eigen URL’s krijgen die Google kan volgen, ontstaan er al snel honderdduizenden URL’s. Googlebot besteedt dan veel tijd aan filterpagina’s die bijna hetzelfde zijn, terwijl nieuwe producten langer op een bezoek moeten wachten.
De oplossing is meestal een combinatie van maatregelen: filters die geen waarde hebben voor zoekers niet als link opbouwen of uitsluiten in robots.txt, canonicals naar de hoofdcategorie, en alleen een paar waardevolle filtercombinaties, zoals merk plus categorie, als eigen indexeerbare pagina aanbieden.
Crawlbudget en andere crawlers
Niet alleen Googlebot bezoekt je site. Ook Bingbot, crawlers van AI-diensten en allerlei tools vragen pagina’s op. Die verzoeken tellen niet mee voor het crawlbudget dat Google voor je site bepaalt, maar ze belasten wel je server. Is je server traag doordat andere bots veel verzoeken doen, dan kan Google zijn tempo verlagen. Kijk daarom in je serverlogs welke bots je site bezoeken, en beperk bots die je niet nodig hebt via robots.txt of je hostingpakket.
Misverstanden over crawlbudget
Meer crawlen betekent hogere posities
Nee. Vaker gecrawld worden is geen rankingfactor. Het zorgt er alleen voor dat Google wijzigingen en nieuwe pagina’s sneller kan oppikken.
Met de crawlsnelheid in Search Console verhoog je je budget
Search Console had vroeger een instelling om de crawlsnelheid te beperken. Die is verdwenen. Je kunt Google niet vragen om meer te crawlen. Je kunt alleen zorgen dat je site snel is en weinig overbodige URL’s heeft.
Nofollow bespaart crawlbudget
Niet betrouwbaar. Google ziet nofollow als een hint en kan zo’n link toch volgen. Wil je echt voorkomen dat URL’s worden gecrawld, gebruik dan robots.txt of bouw de link niet op.
Hoe meet je je crawlbudget?
- Crawlstatistieken in Search Console. Onder Instellingen vind je het rapport Crawlstatistieken. Je ziet hoeveel verzoeken Googlebot per dag doet, hoe snel je server reageert en welke statuscodes Google tegenkomt.
- Indexeringsrapport. Kijk hoeveel pagina’s Gevonden, momenteel niet geïndexeerd of Gecrawld, momenteel niet geïndexeerd zijn.
- Logbestanden van je server. Daarin zie je precies welke URL’s Googlebot bezoekt. Met een logbestandanalyse ontdek je waar crawlbudget naartoe gaat.
Een technische SEO-audit brengt deze punten in kaart. Ga je je website verhuizen, lees dan ook ons stappenplan voor een SEO-migratie, omdat Google na een verhuizing veel URL’s opnieuw moet crawlen. Hulp nodig? Bekijk wat we doen op het gebied van technische SEO.
Veelgestelde vragen over crawlbudget
Wat is crawlbudget?
De hoeveelheid tijd en middelen die Google besteedt aan het crawlen van een website, bepaald door crawlcapaciteit en crawlbehoefte. Bron: Google Search Central.
Heeft mijn kleine website last van crawlbudget?
Meestal niet. Google geeft aan dat crawlbudget vooral speelt bij grote of snel veranderende sites. Bron: Google Search Central.
Helpt robots.txt bij crawlbudget?
Ja, met robots.txt kun je crawlers weghouden van overbodige URL’s. Het is geen middel om pagina’s uit de index te halen. Bron: Google Search Central.
Wat is een webcrawler?
Een programma dat het web afgaat door links te volgen en pagina’s op te halen voor een zoekmachine. Bron: Wikipedia.
Verspilt dubbele content crawlbudget?
Ja, als dezelfde inhoud onder veel URL’s staat, besteedt Google tijd aan kopieën. Met canonicals en redirects voorkom je dat. Bron: Google Search Central.
Online Ambition, Soerense Zand Noord 26, 6961 RB Eerbeek. Opgericht in 2006.
