Lista botów AI - które blokować, a które wpuszczać do sklepu internetowego

Na rynku AI robi się coraz bardziej tłoczno - ChatGPT już dawno nie jest jedynym znanym narzędziem LLM, dziś swoich fanów mają również Gemini, Claude, Perplexity, Grok i wiele innych, bardziej wyspecjalizowanych. Wszystkie firmy, które je tworzą mają jeden cel - jak najlepiej odpowiadać na zapotrzebowanie swoich użytkowników. Potrzebują do tego danych - im więcej, tym lepiej, a Twój sklep internetowy jest jednym z potencjalnych źródeł informacji. Nie oznacza to jednak, że Tobie się to musi opłacać - nie każdy bot obciąża Twój serwer z korzyścią dla Ciebie, niektóre po prostu trenują swoje modele, aby były bardziej konkurencyjne.

Dla sklepu e‑commerce sens ma zostawianie wyszukiwarek i asystentów, które realnie pokazują linki do Twojej strony (Applebot, OAI‑SearchBot, PerplexityBot, Claude‑SearchBot). Nie warto też blokować botów odpowiedzialnych za odpytywanie strony „na żądanie” (user‑initiated), bo to odpowiedniki prawdziwych wejść od użytkowników czatów AI (ChatGPT‑User, Perplexity‑User, Claude‑User, MistralAI‑User). Jest też szereg botów do obsługi podglądu linków (facebookexternalhit/FacebookBot, Meta‑ExternalFetcher, TikTokSpider). Natomiast boty treningowe (np. GPTBot/Meta‑ExternalAgent i wiele innych) zwykle nie dowożą ani ruchu, ani sprzedaży, można więc śmiało blokować prosto w robots.txt.

BOTY AI, KTÓRE WARTO ZOSTAWIĆ 👍

Applebot

Indeksuje treści do wyników w ekosystemie Apple (Spotlight, Siri, Safari). Może realnie dowozić ruch z iOS/macOS. Apple SupportSix Colors

Amazonbot

Używany m.in. przez Alexę do lepszych odpowiedzi; bywa dodatkowym kanałem odkrycia oferty (zwłaszcza gdy Twoje produkty są cytowane poza sklepem). Developer Portal MasterHall

FacebookBot

facebookexternalhit

Generują podglądy linków i pobierają metadane (Open Graph) dla Facebooka/Instagrama/WhatsApp. Facebook Developers

Meta-ExternalFetcher

Dociąga treści, gdy link jest udostępniany/otwierany w produktach Meta; potrzebny do poprawnych podglądów i cytatów. Facebook Developers

TikTokSpider

Fetcher „on‑demand” do podglądów linków w aplikacjach ByteDance (np. TikTok). Pomaga, jeśli aktywnie publikujesz linki na TikToku. Dark Visitors

OAI‑SearchBot (OpenAI)

Indeksuje strony do wyników wyszukiwania w ChatGPT (z linkami/źródłami). To może przyprowadzać użytkowników z ChatGPT. OpenAI

ChatGPT‑User (OpenAI)

Pobiera stronę, gdy konkretny użytkownik ChatGPT poprosi o Twoją treść (to odpowiednik żywego wejścia z czatu). OpenAI Platform

PerplexityBot

Crawler wyszukiwarki Perplexity; służy do powierzania stron w wynikach i cytowania ich w odpowiedziach. Perplexity

Perplexity‑User

Wejścia „na żądanie” od użytkownika Perplexity (kliknięte cytaty/źródła). Z definicji to ruch użytkownika. Perplexity

Claude‑SearchBot (Anthropic)

Indeksuje strony do wyników web‑search w Claude (z odnośnikami). Anthropic Help Center

Claude‑User (Anthropic)

Dostęp „na żądanie” od użytkowników Claude; wyłączenie go ogranicza widoczność w ich web‑search. Anthropic Help Center

MistralAI‑User/1.0

Fetcher „na żądanie” dla użytkowników Mistral Le Chat (pobiera wskazane URL‑e do odpowiedzi). Jeśli pojawia się w logach, to zwykle realni użytkownicy proszą model o Twoją stronę.

Google-Extended

Jedyny user-agent z dopiskiem "extended" w tym dziale. Jest to rozszerzony bot do Gemini.

BOTY AI, KTÓRE TO ZALEŻY 👉

Google‑CloudVertexBot

Tylko jeśli świadomie używasz Google Vertex AI Agent Builder/Agent Engine do budowy własnych agentów, którzy mają indeksować Twoją witrynę; nie ma wpływu na Google Search. Google for Developers

SemrushBot i warianty (SemrushBot‑BA/CT/OCOB/SA/SI/SWA)

Zostaw wyłącznie, jeśli Ty/Twoja agencja korzystacie z Semrush (audyt, backlinki, content). W przeciwnym razie to koszt bez korzyści sprzedażowych. SemrushDark Visitors

YouBot (You.com)

Crawler wyszukiwarki You.com (asystent AI). Może generować cytowania i kliknięcia z ich wyników. Dark Visitors

PetalBot

Crawler wyszukiwarki Huawei (Petal Search); może przynieść ruch z urządzeń Huawei (Petal/Assistant). aspiegel.com

Claude-Web

Nastawiony na fresh crawl pod zasilanie Claude’a, ale niekoniecznie z linkami zwrotnymi.

BOTY AI, KTÓRE MOŻNA BLOKOWAĆ 👎

GPTBot (OpenAI)

Klasyczny crawler do trenowania modeli GPT.

anthropic-ai

Szeroki crawler Anthropic (inny niż Claude-SearchBot/Claude-User).

Meta-ExternalAgent

Bot Meta do datasetów AI.

Applebot-Extended

Tylko do trenowania AI Apple.

Amazon Bedrock / bedrockbot

Do datasetów AWS AI.

Bytespider

Bot Bytedance (TikTok), w dużej mierze AI training.

CCBot

Common Crawl, ogromny dataset wykorzystywany do trenowania AI.

Diffbot

Komercyjny crawler do ekstrakcji danych (często do datasetów).

cohere-ai / cohere-training-data-crawler

Crawlery Cohere AI do datasetów.

Img2dataset / ImagesiftBot

Zbierają dane obrazowe do trenowania modeli wizji.

ISSCyberRiskCrawler

Researchowy crawler ryzyk cyber.

aiHitBot / Panscient / Factset_spyderbot / QualifiedBot

Różne crawlery analityczno-researchowe.

omgili / omgilibot

Agregatory treści.

QuillBot / quillbot.com

Narzędzia parafrazujące (też dataset).

SBIntuitionsBot, Cotoyogi, Crawlspace, NovaAct, Operator, FirecrawlAgent, Timpibot, Brightbot 1.0

Mniej znane, głównie crawlery AI/dataset.

VelenPublicWebCrawler, Kangaroo Bot, Poseidon Research Crawler, ICC-Crawler

Crawlery akademicko-researchowe.

Webzio-Extended

Bot do datasetów.

YandexAdditional / YandexAdditionalBot

Dodatkowe crawlery Yandex, często szeroki crawl nieprzekładający się na sprzedaż.

wpbot

Generyczny bot do WP, raczej scraping.