Crawl Budget

Stručně

Počet URL, které Googlebot procrawluje na vašem webu denně. Klíčové pro velké weby (10k+ stránek).

Detail a kontext

Crawl Budget je quota URL, které Google bot crawluje na webu daný den. Závisí na: crawl rate (jak rychle server odpovídá — pomalý server = nižší budget), crawl demand (jak je web populární — Google chce čerstvé indexy populárních webů). Pro malé weby (< 1000 URL) crawl budget není problém. Pro velké e-shopy a news weby je kritický. Optimalizace: rychlý TTFB (každá ms šetří budget), blokujte useless URL v robots.txt (filter parametry, sort, faceted nav, internal search), eliminujte duplicate content přes canonical, sitemap.xml jen s indexable URL, opravte 4xx/5xx errors. Monitoring: GSC Crawl Stats report.

Související pojmy

robots.txt

Textový soubor v rootu webu, který říká crawlerům, kam smějí a kam ne. Také obsahuje odkaz na sitema...

SEO Search Engine Optimization

Optimalizace webu pro vyhledávače — kombinace technických úprav, obsahu a budování autority s cílem ...

Sitemap.xml

XML soubor se seznamem URL na webu — nápověda vyhledávačům, co a jak často crawlovat. Měla by být na...

TTFB Time To First Byte

Doba od HTTP requestu po první byte odpovědi serveru. Klíčový indikátor backend rychlosti....

Zpět na slovník

Potřebujete pomoci s tímto pojmem v praxi?

Naučit se teorii je první krok. Implementovat ji efektivně už chce zkušenost. Pojďme se o tom pobavit.

Napište mi