GPTBot, ClaudeBot, PerplexityBot — każdy z nich ma własną logikę crawlowania, częstotliwość odwiedzin i wymagania dotyczące treści. Dlatego warto uwzględnić te niuanse, aby nie zostać pominiętym przez modele, które tworzą odpowiedzi w ChatGPT, Gemini, Claude i innych LLM.
Jak działa crawl różnych LLM, jakiego User-Agenta używają te modele, jak często odwiedzają strony i co dokładnie „czytają” — wyjaśniamy.
Główne crawlery LLM i ich specyfika
Zanim zoptymalizujesz stronę pod wyniki AI, warto wiedzieć, kto dokładnie ją skanuje, żeby przypadkiem nie zablokować crawlerów LLM i umieścić linki tam, gdzie AI faktycznie je „zobaczy”. Poniżej — główne crawlery zbierające dane dla modeli takich jak ChatGPT, Claude, Perplexity, Gemini oraz co warto o nich wiedzieć.
OpenAI GPTBot
User-Agent: GPTBot/1.0 (+https://openai.com/gptbot)
Cel: zbieranie publicznych danych do trenowania modeli GPT (w tym GPT-4, GPT-4o).
Cechy szczególne:
- Nie skanuje stron ani sekcji zablokowanych w pliku robots.txt.
- Ignoruje strony płatne lub objęte ograniczeniami.
- Można zezwolić lub zablokować częściowy/pełny dostęp do witryny.
- Wysoka częstotliwość skanowania na stronach ze strukturalnym, tekstowym contentem.
GPTBot częściej wybiera treści o przejrzystej strukturze, bez nadmiernej optymalizacji SEO. Linki w takich tekstach mają większe szanse na „uwzględnienie” w wynikach AI. Linki w wyjaśnieniach, przykładach, listach działają lepiej niż te w reklamach czy nagłówkach.
Co przeszkadza w crawlowaniu:
- Disallow w pliku robots.txt
- Brak odpowiedzi HTTP 200 (np. przekierowania lub błędy 403/404)
- Zablokowany dostęp przez firewall lub filtry IP
- Nagłówki X-Robots-Tag: noai lub noindex
Aby sprawdzić, czy dostęp jest otwarty, skorzystaj z narzędzia testowego OpenAI:
https://platform.openai.com/docs/gptbot
Anthropic ClaudeBot
- User-Agent: ClaudeBot, anthropic-ai
- Przeznaczony do zbierania publicznych treści w celu ulepszania odpowiedzi Claude (oparty na Constitutional AI).
Cechy szczególne:
- Uwzględnia ustawienia dostępu i nie będzie skanował stron zablokowanych w pliku robots.txt.
- Skanuje mniej agresywnie niż GPTBot, dlatego częstotliwość crawlowania jest średnia, głównie dla domen o wysokim autorytecie.
- Dobrze działa na długich, informacyjnych stronach.
- Może korzystać z ogólnych botów typu CCBot i pobierać dane z Common Crawl lub innych agregatorów.
Claude preferuje autorytatywne źródła z naturalnym profilem linków. Jeśli twoja strona jest wspominana w hubach tematycznych, komentarzach do artykułów analitycznych lub technicznych — szansa na cytowanie rośnie. Zauważyliśmy też, że Claude „ceni” sekcje FAQ i analityczne opracowania, co może być wygodnym formatem do integracji linków.
Co utrudnia skanowanie:
- Disallow: / w pliku robots.txt dla ClaudeBot.
- Strony ładowane tylko przez JavaScript (bez SSR), dlatego warto rozważyć renderowanie po stronie serwera lub statyczne generowanie kluczowych stron.
- Brak zewnętrznych linków do strony (niska wykrywalność).
- Ograniczenia IP (bot działa z chmury i może zostać zablokowany).
Sprawdź dostępność w logach serwera (szukaj ClaudeBot). Skorzystaj z narzędzi takich jak Loggly, Logtail lub z analityki internetowej z logami crawlów, aby upewnić się, że ClaudeBot „widzi” zawartość witryny.
Google AI (Gemini, Bard) – Google-Extended
- User-Agent: Google-Extended
- Przeznaczony do zbierania danych dla modeli Gemini i funkcji SGE (Search Generative Experience).
Cechy szczególne:
- Crawlowanie odbywa się za pośrednictwem standardowego Googlebota, a dane wykorzystywane są do “skrótowych” odpowiedzi AI, nie tylko do klasycznego wyszukiwania.
- Można zezwolić na indeksację do wyszukiwarki, ale zablokować ją dla LLM.
- Dostęp konfiguruje się osobno względem standardowego Googlebota.
- Wysoka częstotliwość skanowania, zależna od aktywności Googlebota (czasem codziennie).
Jeśli chcesz, aby linki z twojej strony pojawiały się w AI-wynikach Google, warto zadbać o autorytet Google (E-E-A-T), zewnętrzne wzmianki i ruch organiczny.Istnieje duża szansa, że linki z autorytatywnych guest postów (fora, odpowiednie treści, zasoby edukacyjne) zostaną “wciągnięte” do wyników LLM przez Google-Extended.
Co utrudnia crawlowanie:
- Disallow: / dla Google-Extended.
- Brak zgody w Google Search Console (na użycie danych w Gemini/SGE).
- Trudna do przeszukania struktura strony (głębokie zagnieżdżenie, słabe linkowanie wewnętrzne).
- Ograniczenia noindex lub meta.
Sprawdź plik robots.txt lub Google Search Console → “Ustawienia” → “Wykorzystanie treści do generatywnej AI”, aby upewnić się, czy dozwolono trenowanie modeli i czy aktywowano dostęp dla Google-Extended.
Boty AI gorzej radzą sobie z dotarciem do stron 3–4 poziomu, dlatego zadbaj o linki wewnętrzne, aby crawlery mogły je znaleźć.
PerplexityBot
- User-Agent: PerplexityBot
- Skanuje strony internetowe w celu generowania odpowiedzi w Perplexity.ai.
Cechy szczególne:
- Aktywnie cytuje źródła z linkami i pokazuje je bezpośrednio w wynikach z klikalnymi odnośnikami.
- Często wyciąga 1–2 akapity z istotnymi informacjami.
- Uwzględnia ustawienia dostępu w robots.txt, ale nie zawsze jednoznacznie (czasem mimo to skanuje zablokowane strony albo wchodzi z innym User-Agentem przez proxy lub przy nieoczywistej identyfikacji).
- Skanuje aktywniej niż GPTBot, szczególnie witryny związane z technologią, biznesem i analizą.
To najskuteczniejszy bot do generowania ruchu z AI — Perplexity pokazuje wszystkie źródła wraz z linkami w wynikach. Format „zapytanie tematyczne – krótka analiza – link do strony” jest idealny, aby znaleźć się w odpowiedzi. Świetnie działa, jeśli prowadzisz blog analityczny, piszesz artykuły eksperckie lub publikujesz case study z danymi.
Co utrudnia skanowanie:
- Zakaz w robots.txt
- Treść generowana przez JS bez SSR (bot przetwarza tylko HTML z pierwszego renderu)
- Dostęp tylko po zalogowaniu lub przez paywall
- Niski trust domeny lub brak backlinków
Możesz sprawdzić dostępność strony dla bota przez surowy HTML:
curl -A "PerplexityBot" https://twojastrona.pl/twoja-strona/.
Można też monitorować ruch crawlerów przez pliki logów lub Cloudflare Logs (sprawdź user-agent).
Common Crawl / Amazon CCBot
- User-Agent: CCBot/2.0 (+http://commoncrawl.org/faq/)
- Przeznaczony do masowego crawlowania internetu i zbierania danych wykorzystywanych później przez otwarte modele LLM (takie jak Meta, Amazon, Mistral itp.).
Cechy szczególne:
- Archiwizuje całą publiczną treść (tylko otwarty tekst).
- Często służy jako „surowiec” dla wielu modeli jednocześnie.
- Może pojawiać się na stronach bez wyraźnego powiązania z konkretnym LLM.
- Częstotliwość crawlowania: co 30–60 dni.
Jeśli twoje treści trafią do datasetów Common Crawl, mogą być wykorzystywane przez dziesiątki LLM. To oznacza, że nawet przestarzałe, ale głęboko podlinkowane treści mogą „zostać zapamiętane” przez modele i pojawić się w odpowiedziach nawet po latach. Warto więc tworzyć wiecznie aktualne treści z linkami.
Co utrudnia skanowanie:
- Disallow: / dla CCBot w robots.txt
- Treść dostępna tylko po zalogowaniu
- Zbyt częste przekierowania lub długi czas ładowania strony
- Brak zewnętrznych wzmianek — CCBot głównie podąża za linkami z innych stron
Sprawdź, czy twoja strona jest w Common Crawl: https://index.commoncrawl.org/
Możesz też sprawdzić logi serwera: filtruj po CCBot.
Jeśli dana strona znajduje się w Common Crawl lub jest aktywnie skanowana przez GPTBot/PerplexityBot, umieszczone tam linki mają większą szansę trafić do wyników AI. Dlatego warto sprawdzać platformy pod kątem obecności w Common Crawl Index lub aktywności botów jak GPTBot, ClaudeBot itp.
Dodatkowo: Techniczna checklista dla strony gotowej do crawlowania
- W robots.txt zezwolono na skanowanie przez AI-boty
- sitemap.xml jest aktualny
- Treść dostępna bez skryptów
- Znaczniki Schema.org (szczególnie dla FAQ, product, article)
- Logi serwera sprawdzone pod kątem zapytań od AI-crawlerów
- Meta tagi bez noai, noindex
- Optymalizacja ładowania stron (Core Web Vitals)
Wniosek
Każdy crawler — GPTBot, ClaudeBot, PerplexityBot, Google-Extended czy CCBot — ma własną logikę i ograniczenia. Czasem wystarczy zezwolić na dostęp w robots.txt, a czasem kluczowe są zewnętrzne wzmianki, strukturalny HTML lub czysta semantyka. Jeśli choć jedna bariera techniczna nie zostanie usunięta (np. strona ma noindex lub ładuje się tylko przez JS), żaden AI-bot jej nie “zobaczy”.
Na styku SEO i AI pojawia się więc nowy rodzaj widoczności — dlatego warto sprawdzać platformy nie tylko pod kątem trustu, ale też dostępności dla AI-crawlerów. Wtedy link będzie działał zarówno dla SEO, jak i pojawi się w odpowiedziach ChatGPT, Gemini, Perplexity — generując ruch także stamtąd.
