tech
robots.txt
Stručně
Textový soubor v rootu webu, který říká crawlerům, kam smějí a kam ne. Také obsahuje odkaz na sitemap.
Detail a kontext
robots.txt je první soubor, který crawler stáhne — řídí přístup botů k vašemu webu. Syntaxe: User-agent (jaký bot), Disallow (zakázaná cesta), Allow (povolená cesta navzdory Disallow), Sitemap (URL sitemap). Pro 2025 je důležité explicitně povolit AI crawlers (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot) — jinak je AI vyhledávače nemusí brát v úvahu. Pozor: robots.txt je doporučení, nikoli vynucování — citlivé URL chraňte autentizací.
Související pojmy
GEO Generative Engine Optimization
SEO pro AI vyhledávače — optimalizace obsahu, aby byl citován v odpovědích ChatGPT, Perplexity, Goog...
llms.txt
Nový standard pro AI agenty — strukturovaný soubor s overview webu, klíčovými stránkami a kontextem ...
SEO Search Engine Optimization
Optimalizace webu pro vyhledávače — kombinace technických úprav, obsahu a budování autority s cílem ...
Sitemap.xml
XML soubor se seznamem URL na webu — nápověda vyhledávačům, co a jak často crawlovat. Měla by být na...
Potřebujete pomoci s tímto pojmem v praxi?
Naučit se teorii je první krok. Implementovat ji efektivně už chce zkušenost. Pojďme se o tom pobavit.
Napište mi