Aktualizováno 29. 10. 2026
Krátká odpověď: AI crawlery, které sbírají obsah pro ChatGPT, Gemini nebo Perplexity, mohou web zatížit podobně jako zátěžový test. Samotný robots.txt nestačí, protože ho část botů ignoruje. Pomáhá kombinace monitoringu a analýzy access logů, cache a CDN, WAF a rate limitingu. Plošné blokování přitom nemusí být správná cesta.
Internet se mění rychleji, než si většina firem uvědomuje. Vedle klasických uživatelů dnes weby ve velkém navštěvují AI crawlery, které sbírají obsah pro ChatGPT, Gemini, Perplexity a další AI systémy. Problém je, že tito boti se často nechovají jako běžní návštěvníci. Generují výrazně vyšší zátěž, procházejí obrovské množství stránek a dokážou zpomalit i relativně dobře postavený web.
Webové crawlery existují dlouho. Googlebot nebo SeznamBot jsou standardní součástí internetu už roky. Nová generace AI crawlerů se ale často chová výrazně agresivněji:
Z pohledu serveru se jejich chování často podobá spíš zátěžovému testu než běžnému procházení webu.
Největší problém vzniká hlavně u:
Časté příznaky:
Problém je, že mnoho AI crawlerů navíc nijak neusnadňuje svou identifikaci. Někteří maskují user-agent nebo ignorují pravidla robots.txt.
Prvním krokem je projít access log serveru nebo CDN a seřadit požadavky podle user-agenta, IP adresy a počtu požadavků za časový úsek. Velcí provozovatelé AI se v user-agentu obvykle podepisují, například:
Samotný user-agent ale nestačí, protože ho lze snadno podvrhnout. Pravého bota poznáte tak, že jeho IP adresa patří do rozsahů, které provozovatel zveřejňuje. Rozsahy zveřejňují OpenAI, Anthropic, Perplexity, Common Crawl i Google. Google a Common Crawl umožňují i ověření přes reverzní DNS. Požadavky, které se za známého bota jen vydávají, je bezpečné rovnou blokovat.
Mnoho firem stále předpokládá, že robots.txt problém vyřeší. Ve skutečnosti je to spíš doporučení než ochrana. Seriózní vyhledávače ho respektují. Část AI crawlerů ale:
U botů, kteří pravidla respektují, stačí jednoduchý zápis. Například celý web pro GPTBot zakážete takto:
User-agent: GPTBot
Disallow: /
Na boty, kteří robots.txt ignorují nebo se nepodepisují, ale žádný zápis nezabere.
Proto dnes ochrana webu vyžaduje aktivnější přístup:
Bez toho firmy často ani nevidí, co se na jejich infrastruktuře děje.
AI crawlery nejsou jen problém výkonu.
Mění ekonomiku webu.
Část obsahu dnes AI systémy přečtou, zpracují a zobrazí uživateli bez návštěvy původního webu. To znamená:
Web už dnes často nečtou primárně lidé. Čtou ho stroje, které informace dále distribuují.
Nejhorší varianta je problém ignorovat.
Firmy by minimálně měly:
Velmi často pomůže už základní kombinace:
Při správném nastavení to výrazně sníží tlak na server bez negativního dopadu na SEO nebo viditelnost v AI vyhledávání.
Firmy dnes často řeší: „Máme AI crawlery úplně zakázat?“ Odpověď není univerzální.
Některé AI systémy:
Proto bývá lepší:
než všechno plošně blokovat.
Strategie se dnes začíná podobat SEO, protože nejde jen o zákaz. Jde o kontrolu a prioritizaci.
Tohle není krátkodobý problém.
AI agenti a crawlery budou tvořit stále větší část internetového provozu. Podle zprávy Imperva Bad Bot Report 2025 tvořil automatizovaný provoz v roce 2024 už 51 % veškerého webového provozu a 37 % připadalo na škodlivé boty. Čísla zahrnují všechny boty, nejen AI.
Firmy, které:
budou tyto dopady cítit stále víc.
Pokud je web pro firmu důležitý, vyplatí se spravovaný hosting s monitoringem 24/7 a možností rychle navýšit výkon, například během sezóny.
Nejde jen o výkon. Jde o připravenost webu na nový způsob fungování internetu.
Řešíte zpomalování webu, nečekané špičky zátěže nebo podezřelý provoz? Ozvěte se nám. Pomůžeme vám odhalit slabá místa, navrhnout vhodná opatření a připravit web na rostoucí nároky moderního online prostředí. Jak pracujeme se servery, monitoringem a ochranou provozu, popisujeme u služby správa serverů a infrastruktury.
Do souboru robots.txt v kořeni webu přidejte řádky User-agent: GPTBot a Disallow: /. GPTBot podle OpenAI pravidla robots.txt respektuje. Zákaz se ale týká jen tohoto bota. Ostatní crawlery OpenAI (například OAI-SearchBot) mají vlastní user-agent a vlastní pravidla. Kdo chce zakázat trénink, ale zůstat ve vyhledávání ChatGPT, zablokuje GPTBot a OAI-SearchBot nechá povolený.
Může. Některé AI systémy přivádějí návštěvnost a ovlivňují, jak se o vaší značce v AI odpovědích mluví. Proto bývá lepší boty řídit a omezovat než plošně blokovat. Provozovatelé AI navíc často oddělují boty pro trénink modelů od botů pro vyhledávání. U OpenAI je tréninkový GPTBot a vyhledávací OAI-SearchBot, u Anthropicu tréninkový ClaudeBot a vyhledávací Claude-SearchBot. PerplexityBot slouží jen vyhledávání. Zákaz tréninkových botů vás z AI vyhledávání nevyřadí, zákaz vyhledávacích ano. U Googlu řídí použití obsahu pro trénink Gemini token Google-Extended, který podle Googlu nemá vliv na zařazení ve vyhledávání Google.
Boti velkých provozovatelů (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot) ano. Výjimkou jsou boti, kteří stránku stahují na pokyn konkrétního uživatele, například ChatGPT-User nebo Perplexity-User. Ty podle svých provozovatelů pravidla robots.txt dodržovat nemusí. Část dalších crawlerů pravidla ignoruje, obchází nebo se nepodepisuje. Na ty robots.txt nezabere a pomůže až WAF, rate limiting nebo bot management.
Pokud se nastaví plošně, může. Proto se rate limiting a pravidla WAF nastavují tak, aby ověření vyhledávací boti prošli. Ověřují se podle IP rozsahů nebo reverzního DNS, ne podle user-agenta, který lze podvrhnout. Omezení pak dopadne hlavně na agresivní nebo podvržený provoz. Pokud je potřeba Googlebot krátkodobě přibrzdit, Google doporučuje vracet kód 429 nebo 503. Déle než 1–2 dny to ale škodí indexaci.