Performance: AI Crawl Control

Cos'è

AI Crawl Control mostra come i bot AI (ad esempio i crawler di ChatGPT, Claude, Perplexity o Google) visitano il tuo sito e ti permette di decidere quali possono accedervi.

Per aprirlo: Performance, poi AI Crawl Control. Ha tre pagine: Panoramica, Metriche e Sicurezza. In alto scegli il periodo: Ultima ora, Ultime 24 ore, Ultimi 7 giorni.

Se vedi "CDN non attiva", completa prima la configurazione della CDN: i dati sono disponibili solo quando il sito passa da Tuurbo. Vedi Configurazione Performance.

Panoramica

• Un riepilogo: richieste totali dei crawler AI, variazione rispetto al periodo precedente, risposte riuscite, il crawler che ha scaricato più contenuti, la pagina più visitata e le visite che gli strumenti AI hanno portato al sito.
• Metriche: Richieste totali, Richieste consentite, Richieste non riuscite, Referral totali.
• Crawlers: una scheda per ogni azienda (operatore), con i suoi crawler, le richieste consentite e i referral.

Metriche

Un'analisi dettagliata con grafici:

• Richieste dei crawler AI nel tempo (crawler principali).
• Dati trasferiti ai crawler AI.
• Codici di stato delle risposte (2xx, 3xx, 4xx, 5xx).
• Formato dei contenuti: quante pagine sono state servite in Markdown o HTML.
• Traffico referral AI: quali servizi AI ti mandano visitatori.
• Percorsi più scansionati: le pagine più lette dai bot AI.

Sicurezza

• Managed robots.txt: Tuurbo gestisce automaticamente il file robots.txt, applicando le regole dei crawler AI che blocchi.
• Redirect per l'addestramento AI: manda i crawler che raccolgono dati per addestrare modelli AI su una pagina statica vuota.
• Elenco crawler: cerca un crawler, vedi categoria, dati e richieste, e usa l'interruttore Blocca per bloccarlo o consentirlo.

Consigli

• Bloccare i crawler usati dai motori di risposta AI può ridurre la tua visibilità nelle loro risposte: se vuoi restare visibile, blocca solo quelli che raccolgono dati per l'addestramento.
• Controlla il Traffico referral AI per capire quali servizi AI portano davvero visitatori.

Pagine correlate

• Firewall
• SEO, GEO e AEO
• Motori AI