Os crawlers de IA já estão lendo seu WordPress. Veja como enxergá-los

Estava passando os olhos no nosso próprio access log hoje de manhã — o cru, aquele que quase ninguém abre — e lá estavam eles, no meio do tráfego normal: ClaudeBot, uma requisição do GPTBot, mais uns dois. Ninguém mandou vir. Eles simplesmente vêm.

A parte que me pegou foi essa. Cada uma daquelas requisições de assistente de IA ia pro mesmo lugar: o sitemap. Não a home, não um post. /sitemap_index.xml, de novo e de novo. É assim que uma IA lê um site hoje — ela pega o seu mapa primeiro e descobre onde está cada coisa, antes de ler uma palavra do seu conteúdo.

Se você nunca olhou, não sabe se o ChatGPT, o Claude e o Perplexity conseguem ver seu site. E hoje, ser legível pra eles está virando o mesmo tipo de obrigação que ser legível pro Google era quinze anos atrás.

Quem está batendo na porta

Esses são os user-agents que vale conhecer. Aparecem como texto puro no seu access log:

Crawler	Quem ele alimenta
GPTBot, OAI-SearchBot, ChatGPT-User	OpenAI / ChatGPT
ClaudeBot, Claude-User, anthropic-ai	Anthropic / Claude
PerplexityBot, Perplexity-User	Perplexity
Google-Extended	Treino de IA do Google (separado do Googlebot)
CCBot	Common Crawl (alimenta vários modelos)

Alguns fazem distinção fina: GPTBot é treino, OAI-SearchBot é pro produto de busca, ChatGPT-User é um fetch ao vivo quando alguém pergunta ao ChatGPT sobre a sua página. Dá pra permitir ou bloquear cada um separadamente.

Veja você mesmo em dois minutos

Se você consegue acessar seu access log, é só isso:

grep -iE "GPTBot|ClaudeBot|PerplexityBot|Google-Extended|CCBot|anthropic" access.log

Repare pra onde eles vão. No nosso log foi o sitemap toda vez, o que te diz algo prático: se o seu sitemap está quebrado ou incompleto, a imagem que a IA faz do seu site está quebrada também. Isso é mais barato de acertar do que a maioria imagina.

Bloquear? Em geral, não

O instinto, ainda mais depois de ver bot comendo banda, é bloquear tudo. Pra crawler de IA isso quase sempre é erro. Bloquear GPTBot e ClaudeBot não protege grande coisa — só te deixa invisível no lugar onde as pessoas cada vez mais fazem as perguntas delas. Você não daria Disallow no Googlebot pra economizar umas requisições; é a mesma aposta, um ciclo de produto depois.

Duas alavancas importam de verdade:

• robots.txt — a chave liga/desliga por crawler. Se você quer a visibilidade em IA, dê Allow explícito; não deixe ambíguo.
• llms.txt — um arquivo curto na raiz que diz pra IA, em linguagem simples, o que o seu site é e pelo que ele deve te citar. É a diferença entre a IA chutar e a IA te citar do jeito que você quer.

Onde isso entra pra gente

O Site Doctor checa se esses crawlers conseguem de fato alcançar e ler suas páginas — faz parte de todo scan, read-only. O SysWP Radar vai além e classifica seu tráfego pra você acompanhar os crawlers de IA como categoria própria, não enterrados em “bots”. Mas você não precisa de nenhum dos dois pra começar. Abra seu access log hoje e dê grep nos nomes acima. Ver quem já está te lendo costuma mudar como você pensa a próxima coisa que vai publicar.