I10 Stacja 10 z 11

Crawlery AI (GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot) – co robią i czy je blokować w robots.txt

Crawlery AI to roboty, które firmy tworzące modele językowe wysyłają na strony z trzech powodów: aby zbierać treści do trenowania modeli, budować indeks dla własnej wyszukiwarki AI oraz pobierać strony w trakcie rozmowy na prośbę użytkownika. Część dostawców wykorzystuje do każdego z tych celów osobnego robota, więc w robots.txt możesz zablokować trenowanie modeli (np. roboty GPTBot, ClaudeBot, token Google-Extended), a jednocześnie pozostać w wyszukiwarkach AI (np. OAI-SearchBot). Blokada robota treningowego nie usuwa strony z wyników wyszukiwania tego samego dostawcy.

Niżej znajdziesz tabelę robotów sześciu dostawców, cztery gotowe zestawy reguł i sposób na sprawdzenie w logach, kto naprawdę odwiedza Twoją stronę. Podstawy składni tego formatu opisujemy w artykule o pliku robots.txt.

Trzy rodzaje robotów AI

  • Roboty treningowe – zbierają treści, które mogą trafić do trenowania przyszłych modeli. Blokada oznacza: „nie ucz modeli na mojej treści”. Nie wpływa na to, czy strona pojawi się w odpowiedziach z wyszukiwania.
  • Roboty wyszukiwarek AI – budują indeks, z którego asystent pobiera strony do cytowania. Blokada zwykle oznacza, że strona przestaje pojawiać się jako źródło w odpowiedziach.
  • Roboty działające na prośbę użytkownika – pobierają konkretną stronę, gdy użytkownik o nią prosi albo gdy asystent sprawdza ją w trakcie rozmowy. Nie przeszukują sieci automatycznie, a część dostawców wprost zaznacza, że robots.txt może ich nie obejmować.

Do tego dochodzą tokeny kontrolne, takie jak Google-Extended czy Applebot-Extended. Według firm Google i Apple nie pobierają one stron jako osobne roboty – to nazwy, które wpisujesz w robots.txt, żeby wyrazić zgodę lub sprzeciw wobec wykorzystania treści na potrzeby AI. Stronę i tak pobiera zwykły robot wyszukiwarki.

Tabela crawlerów AI

Nazwy w drugiej kolumnie to wartości, które wpisujesz w wierszu User-agent:. Opisy pochodzą z dokumentacji dostawców (stan na 15 listopada 2026 roku).

DostawcaUser-agent / tokenDo czego służyCzy blokada wyklucza z wyszukiwarki AI dostawcy?
GoogleGooglebotCrawlowanie stron na potrzeby wyszukiwarki Google, w tym wszystkich jej funkcjiTak, ale razem z całą wyszukiwarką – Przegląd od AI i Tryb AI korzystają z tego samego indeksu
GoogleGoogle-Extended (tylko token, bez własnego user-agenta)Wyrażenie zgody na trenowanie przyszłych modeli Gemini i na grounding, czyli podawanie modelowi treści z indeksu w chwili odpowiedzi, w aplikacjach Gemini oraz Vertex AINie – Google informuje, że token ten nie wpływa na obecność w wyszukiwarce ani na pozycję w wynikach
OpenAIOAI-SearchBotWyszukiwanie w ChatGPTTak – strona nie jest pokazywana w odpowiedziach ChatGPT search; może się pojawić tylko jako link nawigacyjny
OpenAIGPTBotZbieranie treści do trenowania modeliNie
OpenAIChatGPT-UserWizyty na prośbę użytkownika ChatGPT i GPT; OpenAI informuje, że reguły robots.txt mogą go nie obejmowaćNie – OpenAI informuje, że robot ten nie decyduje o obecności w wynikach wyszukiwania
AnthropicClaudeBotZbieranie treści, które mogą trafić do trenowania modeliNie dotyczy wyszukiwania – blokada wyklucza przyszłe treści z treningu
AnthropicClaude-SearchBotIndeksowanie stron pod kątem jakości wyników wyszukiwania w ClaudeWedług firmy Anthropic blokada „może zmniejszyć” widoczność w wynikach
AnthropicClaude-UserPobieranie stron, gdy użytkownik Claude o coś pytaWedług firmy Anthropic blokada uniemożliwia pobranie strony na prośbę użytkownika i „może zmniejszyć” widoczność
PerplexityPerplexityBotPokazywanie i linkowanie stron w wynikach Perplexity; nie służy do treningu modeliPerplexity zaleca zezwolenie mu na dostęp, aby strona pojawiała się w wynikach
PerplexityPerplexity-UserPobieranie stron na prośbę użytkownika; według Perplexity „zasadniczo ignoruje” robots.txtReguła w robots.txt zwykle nie działa
AppleApplebotWyszukiwanie w Spotlight, Siri i Safari; dane mogą też służyć do trenowania modeli Apple oraz jako kontekst dla odpowiedzi AITak, razem z wyszukiwaniem Apple
AppleApplebot-ExtendedWyłącznie do wyrażania zgody na trenowanie modeli Apple (Apple Intelligence i innych)Nie – treść pozostaje w Spotlight, Siri i Safari
MicrosoftbingbotIndeks wyszukiwarki Bing; według dokumentacji usługa Microsoft 365 Copilot pobiera informacje z wyszukiwarki BingTak, razem z wyszukiwarką Bing

Trzy kwestie, które najczęściej są mylone:

  • GPTBot to nie wyszukiwanie w ChatGPT. OpenAI informuje, że oba te ustawienia są od siebie niezależne: możesz dopuścić OAI-SearchBota i zablokować GPTBota. Szczegóły w artykule o ChatGPT Search.
  • Google-Extended nie wyłącza Przeglądu od AI. Z AI Overviews i Trybu AI stronę wyklucza odpowiednie ustawienie w Search Console albo dyrektywy nosnippet i noindex – opisujemy je w artykule o AI Overviews.
  • Applebot czyta reguły Googlebota. Firma Apple informuje, że jeśli robots.txt nie wymienia Applebota, a wymienia Googlebota, Applebot stosuje reguły dla Googlebota.

Blokowanie AI w robots.txt – gotowe reguły dla typowych decyzji

Zanim skopiujesz którykolwiek zestaw, pamiętaj o jednej zasadzie dopasowania. Google opisuje w specyfikacji robots.txt, że robot stosuje tylko jedną grupę reguł – tę z najbardziej szczegółową nazwą pasującą do niego – a pozostałe ignoruje. Grupy dla konkretnego robota i grupa User-agent: * nie są łączone. Jeśli więc dodasz osobną grupę dla OAI-SearchBota, przestanie on stosować reguły z grupy * (np. Disallow: /koszyk/). Zakładaj, że inne roboty działają tak samo, i w każdej grupie powtarzaj potrzebne wykluczenia.

1. „Chcę być w wyszukiwarkach AI, ale nie w treningu modeli”

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot i bingbot nie mają tu własnych grup, więc stosują Twoją grupę *, a jeśli jej nie masz – mają pełny dostęp. Perplexity nie ma osobnego robota treningowego – według dokumentacji PerplexityBot nie służy do trenowania modeli. Uwaga: blokada Google-Extended dotyczy nie tylko treningu modeli Gemini, ale też groundingu w aplikacjach Gemini i Vertex AI, czyli używania Twoich treści jako źródła odpowiedzi w tych usługach.

2. „Blokuję roboty AI, zostaję tylko w zwykłych wyszukiwarkach”

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Kilka wierszy User-agent: nad jedną regułą tworzy wspólną grupę – to poprawna składnia. Ten zestaw ma dwa ograniczenia. Po pierwsze, Perplexity-User i ChatGPT-User mogą tej reguły nie respektować. Po drugie, zestaw ten nie wyłącza Przeglądu od AI, Trybu AI ani Copilota, bo one korzystają z indeksów Googlebota i bingbota. Zablokowanie tych dwóch robotów usunęłoby Twoją witrynę z całej wyszukiwarki. Z funkcji AI Google rezygnuje się za pomocą ustawienia „Generatywna AI w wyszukiwarce” w Search Console, a nie przez robots.txt. Zestaw nie obejmuje też Applebota (wyszukiwanie Apple): według Apple dane zebrane przez ten robot mogą służyć jako kontekst odpowiedzi AI, a wyłącza to meta tag nosnippet.

3. „Zamykam jedną sekcję przed treningiem modeli”

User-agent: *
Disallow: /koszyk/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /koszyk/
Disallow: /raporty/

Przykład dla serwisu, który chce chronić płatne raporty przed wykorzystaniem w treningu, ale udostępnia pozostałą część serwisu. Roboty wyszukiwarek AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) nadal mogą pobierać /raporty/ – jeśli to ma się zmienić, dopisz je do drugiej grupy. Zwróć uwagę na powtórzone Disallow: /koszyk/ – bez niego roboty z drugiej grupy przestałyby stosować regułę z grupy *.

4. „Chcę być wszędzie, także w danych treningowych”

Nic nie dopisujesz. Roboty, których nie wymieniasz, stosują grupę *. Sprawdź za to dwa elementy, które mogą niepostrzeżenie blokować roboty: grupę User-agent: * z Disallow: / (zostawioną np. po wersji testowej strony) oraz zaporę sieciową lub sieć CDN odrzucające ruch spoza przeglądarek. OpenAI i Perplexity wprost zalecają dopuszczenie ruchu z ich opublikowanych adresów IP, a Perplexity podaje w dokumentacji instrukcje dla zapór Cloudflare i AWS.

Ograniczenia robots.txt

  • To prośba, nie zabezpieczenie. Plik jest publiczny, a jego przestrzeganie zależy od robota. Treści, których nikt nie powinien pobierać, chroń za pomocą logowania albo reguł na serwerze.
  • Roboty działające na prośbę użytkownika często go pomijają. OpenAI informuje w odniesieniu do robota ChatGPT-User, że reguły robots.txt „mogą nie mieć zastosowania”, a Perplexity – że Perplexity-User „zasadniczo ignoruje” robots.txt. Anthropic deklaruje odwrotnie: jego roboty, w tym Claude-User, respektują robots.txt.
  • Zmiany nie działają od razu. OpenAI podaje, że wyniki wyszukiwania dostosowują się do nowego pliku robots.txt po około 24 godzinach, a Perplexity – że w ciągu maksymalnie 24 godzin.
  • Blokada IP nie zastąpi robots.txt. Anthropic ostrzega, że zablokowanie adresów IP jego robotów może uniemożliwić im odczytanie pliku robots.txt, więc nie gwarantuje trwałego wykluczenia. Pamiętaj też o subdomenach – każda wymaga osobnego pliku robots.txt.
  • Crawl-delay działa wybiórczo. Anthropic obsługuje niestandardową dyrektywę Crawl-delay, natomiast Apple informuje, że Applebot jej nie stosuje.

Nowością jest wspólny sygnał „nie trenuj na moich treściach”, rozwijany w ramach grupy roboczej IETF AI Preferences (AIPREF). Anthropic zaczął go uwzględniać 30 października 2026 roku, Google zapowiada obsługę na początek 2027 roku, a Microsoft – od 1 lutego 2027 roku. Standard ten ma wciąż status projektu, dlatego na razie należy opierać się na opisanych wyżej regułach dla konkretnych robotów. W kwestii pliku llms.txt wystarczy jedno zdanie: nie jest to odpowiednik robots.txt – Google informuje, że jego wyszukiwarka go ignoruje, a OpenAI, Anthropic i Perplexity nie deklarują w dokumentacji, by ich roboty brały go pod uwagę.

Jak sprawdzić w logach, które roboty AI wchodzą na stronę

Najpewniejszym źródłem są logi dostępu serwera (np. access.log na serwerze Apache lub Nginx). Na serwerze z dostępem SSH możesz zliczyć wizyty poszczególnych robotów za pomocą prostej pętli (każdy wiersz logu jest liczony tylko raz):

for bot in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot Claude-User PerplexityBot Perplexity-User Applebot bingbot Googlebot; do
  echo "$bot: $(grep -c "$bot" access.log)"
done

Czego można się z tego dowiedzieć:

  • Kto w ogóle wchodzi. Brak wizyt robota, któremu zezwalasz na dostęp, to sygnał do sprawdzenia zapory i robots.txt. Nie wyciągaj za to wniosków z samych proporcji: OpenAI informuje, że jeśli strona dopuszcza zarówno GPTBota, jak i OAI-SearchBota, system może wykorzystać jedno pobranie do obu celów.
  • Kody odpowiedzi. Sprawdź, czy roboty otrzymują kod 200, a nie 403 lub 503 z zapory sieciowej. Znaczenie kodów opisujemy w artykule o kodach odpowiedzi HTTP.
  • Obciążenie. Jeśli roboty AI pobierają tysiące adresów dziennie, porównaj to z wizytami Googlebota. O tym, jak ograniczać zbędne crawlowanie, piszemy w artykule o crawl budgecie.

Pamiętaj o dwóch zastrzeżeniach. Google-Extended i Applebot-Extended nie pojawią się w logach – Google informuje, że Google-Extended nie ma własnego user-agenta, a Apple – że Applebot-Extended nie pobiera stron samodzielnie. Ciąg user-agent może jednak przesłać każdy, dlatego przy podejrzanym ruchu warto weryfikować adres IP. OpenAI publikuje listy IP w plikach JSON (np. openai.com/searchbot.json, openai.com/gptbot.json), podobnie jak Perplexity. Google i Apple umożliwiają weryfikację robota za pomocą mechanizmu odwrotnego DNS – nazwa hosta kończy się wówczas odpowiednio na googlebot.com lub applebot.apple.com.

Decyzja o blokowaniu to w praktyce wybór między ochroną treści a obecnością w odpowiedziach AI. Jeśli zależy Ci na cytowaniach, zacznij od czynników, które na nie wpływają – zebraliśmy je w artykule o tym, jak strona trafia do cytowań w odpowiedziach AI. Szerszy kontekst znajdziesz w przewodniku SEO w czasach AI.

Źródła: dokumentacja robotów OpenAI, Anthropic, Perplexity, Apple, Google i Bing.

Najczęstsze pytania

Czy blokada GPTBota usuwa stronę z ChatGPT?

Nie z wyszukiwania. GPTBot zbiera treści do treningu, a o obecności w odpowiedziach ChatGPT search decyduje OAI-SearchBot. OpenAI pisze, że te ustawienia są od siebie niezależne.

Czy Google-Extended blokuje AI Overviews?

Nie. Google informuje, że Google-Extended nie wpływa na obecność strony w wyszukiwarce. Token dotyczy trenowania modeli Gemini i groundingu w aplikacjach Gemini oraz Vertex AI.

Czy wszystkie roboty AI respektują robots.txt?

Nie wszystkie. Perplexity informuje, że Perplexity-User zasadniczo ignoruje robots.txt, a OpenAI – że reguły te mogą nie obejmować robota ChatGPT-User. W przypadku robotów treningowych i wyszukiwarek AI dostawcy wskazują robots.txt jako sposób kontroli dostępu.

Po jakim czasie zmiana w robots.txt zadziała w ChatGPT?

OpenAI podaje, że jego systemy dostosowują wyniki wyszukiwania do zmienionego pliku robots.txt po około 24 godzinach.

Jak zablokować trening modeli, ale pozostać w wyszukiwarkach AI?

Zablokuj w robots.txt roboty i tokeny GPTBot, ClaudeBot, Google-Extended oraz Applebot-Extended, a robotom OAI-SearchBot, Claude-SearchBot i PerplexityBot pozostaw dostęp.

Treści pisane przez AI a SEO – co mówią zasady Google (w tym nadużycie skalowanych treści) I11następna stacja