Crawl budget optimering 4 min.

Når du arbejder seriøst med en hjemmeside, er det vigtigt at den er indekseret af Google. Ellers vil den ikke dukke op i søgeresultaterne. Hvor ofte dine sider bliver indekseret afgøres af et crawl budget.

Det er selvfølgelig bedst at have et højt crawl budget, så dine sider bliver indekseret hurtigt efter du har udgivet eller opdateret dem. Det er specielt vigtigt i dit SEO-arbejde med hjemmesiden. Derfor kigger vi her nærmere på hvad et crawl budget er, samt hvordan du kan få optimeret din hjemmesides crawl budget.

Hvad er en crawler?

En web crawler, eller i daglig tale bare crawler, er et program (en bot) der bruges af søgemaskiner til at scanne hjemmesider. Når de crawler, “læser” de hjemmesider for at se hvad de indeholder, med det primære formål at indeksere dem i søgemaskinerne. Når en side er indekseret betyder det bl.a. at den kan vises i søgeresultaterne på Google og Bing.

Hos Google hedder crawleren Googlebot og hos Bing hedder den Bingbot.

Se også: Live indeksering

Sommetider bliver crawlere også kaldt for spiders eller spiderbots. Det gør de fordi den del af internettet vi bruger hedder World Wide Web, og nettet (web) altså crawles af edderkopper (spiders).

Hvad er et crawl budget?

Et crawl budget er det antal af sider Google crawler på en given dag. Det eksakte budget vil oftest variere en smule, men vil for det meste være ret stabilt.

Hvor stort budgettet er, varierer fra hjemmeside til hjemmeside. På én hjemmeside bliver der måske crawlet 7 sider om dagen, mens der på en anden crawles 7.000 sider om dagen.

Hvorfor bruger Google crawl budget?

Det gør de fordi de ikke har uanede ressourcer. Der findes over en milliard hjemmesider, og derfor bliver man nødt til at prioritere hvor meget og hvor ofte de forskellige hjemmesider skal crawles.

Derfor er det sat i system, og hver hjemmeside tildeles et crawl budget.

Hvor stort er crawl budgettet for min hjemmeside?

Hvor stort crawl budgettet for din hjemmeside er, afgøres af to faktorer:

Crawl rate limit

og

Crawl demand

Crawl rate limit

Google har indført en crawl rate limit, for ikke at indeksere for mange sider for hurtigt, fordi det er noget der kan overbelaste din server, afhængigt af kapaciteten. Specielt for mindre hjemmesider kunne det ellers være et problem. Når Google crawler medfører det flere requests til din hjemmeside, og for mange af dem vil gøre siden langsommere.

Crawl rate kan henholdsvis stige og falde afhængigt af din hjemmeside hastighed og serverens svartider. Jo hurtigere den er, des højere crawl rate limit vil du også have mulighed for at få.

Det er også muligt selv at justere crawl rate limit i Google Search Console, men det er dog en god idé at lade Google styre det selv. Og selvom du manuelt sætter grænsen højere, er der ingen garanti for at Google automatisk forøger crawlingen af din side.

Crawl demand

Crawl demand handler om at Google vil prioritere at indeksere sider med høj popularitet og aktivitet. Sider der er populære og opdateres, vil indekseres oftere end sider hvor det ikke er tilfældet.

Derfor er det også altid en god idé at holde sine (vigtige) sider opdaterede.

Hvordan kan man få optimeret sin hjemmesides crawl budget?

Vi har nu været inde på de faktorer der afgør din hjemmesides crawl budget. Men hvad kan du egentlig gøre for at få skabt en crawl budget optimering? Ja, du kan få styr på nogle helt basale ting:

• Udgiv ofte nyt indhold, og få opdateret gamle sider
• Sørg for at det kun er sider der har en værdi der indekseres (dem der ikke har, skal der noindex på)
• Få hastighedsoptimeret din hjemmeside
• Sørg for at din hosting/webhotel kører stabilt og hurtigt
• Sørg for at din hjemmeside rent teknisk er optimeret (hvor få fejl finder Google når de crawler din side?)
• Få flere indgående links til din hjemmeside (hvor mange andre linker til dig?)
• Undgå duplicate content (identisk indhold)
• Sørg for din hjemmeside er brugervenlig (det er Googlebot nemlig blevet god til at spotte)
• Undgå døde links
• Lav intern linkbuilding
• Brug caching på din hjemmeside (det hjælper både brugerne og Googlebot)

Sørger du for at alle disse elementer er optimerede og fungerer som de skal, kan Googlebot meget bedre lide din hjemmeside, og vil derfor kigge forbi oftere. Hvilket reelt set betyder et større crawl budget til din hjemmeside.