CDN sito web: come passarci senza bloccare Googlebot

CDN sito web: nei primi giorni Google può scansionare il tuo sito molto più di prima e, con protezioni sbagliate, smettere di raggiungerlo. Ecco cosa ha spiegato Google e come evitare entrambi i problemi.

CDN sito web: cosa succede nei primi giorni

Una CDN (Content Delivery Network) è una rete di server sparsi nel mondo che conserva copie dei contenuti del tuo sito e le consegna da un punto vicino a chi lo visita. Il server che custodisce gli originali, quello su cui gira davvero il sito, si chiama origin. Lo scopo è doppio: un sito più veloce per i visitatori e un server originale meno stressato dal traffico. Pensa a un negozio che apre tanti punti di ritiro: il cliente passa dal più vicino e il magazzino lavora meno.

L'11 novembre 2026 il blog ufficiale Google Search Central Blog ha pubblicato un articolo su un effetto che a volte sorprende chi fa questo passaggio. Alcuni proprietari di siti raccontano che, subito dopo aver messo il sito dietro una CDN, il traffico dei crawler verso il loro server aumenta di colpo. I crawler sono i programmi con cui Google visita le pagine, e il picco è proprio il problema che volevano risolvere.

Il motivo sta nel modo in cui Google decide quanto scansionare. I suoi sistemi controllano di continuo la salute e la reattività del server: se le risposte rallentano, i crawler rallentano per non appesantirlo; se sono veloci e stabili, e c'è interesse per i contenuti, il limite di scansione sale gradualmente. Quando il DNS, cioè l'indirizzo che indica dove si trova il sito, comincia a puntare alla CDN, i tempi di risposta calano drasticamente. Per Google è come se il tuo server avesse ricevuto un potenziamento hardware, e così aumenta il ritmo delle richieste.

Il nodo è la cache, cioè la copia già salvata. Una CDN appena attivata parte con la cache vuota, detta cache fredda: alla prima richiesta di una pagina, di un'immagine o di un file la copia non esiste ancora, quindi la CDN deve tornare dal tuo server originale, prendere il contenuto, salvarlo e solo dopo consegnarlo. Dalle richieste successive in poi la risposta arriva direttamente dalla CDN, senza disturbare il server.

Qui si vede la differenza fra persone e crawler. I visitatori si concentrano su poche pagine, la home, gli articoli più letti, le promozioni, che entrano in cache in fretta. Googlebot fa il contrario: il suo compito è esplorare in modo sistematico l'intero elenco dei tuoi indirizzi, e ogni pagina mai richiesta prima passa dritta fino al tuo server. Google precisa che i crawler non accelerano subito e che molte CDN smorzano i picchi con un sistema di gestione delle connessioni, ma finché le cache non si riempiono la CDN non fa ancora da scudo. Se vuoi capire come Google percorre un sito, nel nostro articolo sulla SEO tecnica trovi cosa conta e cosa puoi migliorare.

Il rischio peggiore: bloccare Googlebot per sbaglio

Vedere nei log del server un'ondata di richieste automatiche subito dopo la migrazione mette ansia, soprattutto se nessuno ti ha spiegato perché succede. La reazione istintiva è entrare nel pannello della CDN e attivare la protezione generica contro i bot. Google la indica come errore da evitare: una regola del genere tratta allo stesso modo tutto il traffico automatico, compreso quello dei crawler che ti servono.

Quando la CDN o il firewall per le applicazioni web (WAF) intercetta una richiesta automatica e la sottopone a un test come il CAPTCHA, i crawler di Google non lo superano. Restano fermi su una pagina di errore inutile per la ricerca e, dal loro punto di vista, il sito sembra volutamente limitato o rotto. Se la situazione resta così, i crawler si ritirano e le tue pagine, le schede prodotto e le immagini cominciano a uscire da Google.

Il danno può passare inosservato, perché per te e per i tuoi clienti il sito continua a funzionare. Se temi che qualche pagina sia già sparita, nel nostro articolo sul sito Joomla invisibile su Google trovi le cause tecniche più comuni da controllare.

Come passare alla CDN senza sorprese

Google non sconsiglia la CDN: chiede di arrivarci con aspettative realistiche e con un piano. Suggerisce anche di rileggere due sue guide, una su come funziona il crawl budget, cioè quanto Google è disposto a scansionare del tuo sito, e una su come ridurre la scansione nelle emergenze. Questi sono i tre punti del suo articolo, che ti riscrivo come consigli da portare a chi gestisce il passaggio:

• Autorizza i bot verificati. Se devi bloccare dei bot, consenti nelle impostazioni di CDN e firewall quelli verificati: la maggior parte delle CDN e dei WAF ha un'opzione o una regola gestita apposta, e i crawler di Google si riconoscono dagli intervalli di indirizzi IP che Google pubblica. Ancora meglio, usa il file robots.txt o regole mirate contro i bot indesiderati, invece di bloccare ogni client automatico.
• Riscalda la cache prima. Prima di far passare tutto il traffico dalla nuova CDN, richiedi a ritmo controllato le pagine più visitate, quelle che avranno un picco in arrivo, come promozioni o lanci stagionali, e quelle che Google scansiona più spesso. In inglese si chiama cache warming: le copie sono pronte quando arrivano i crawler.
• Usa il freno temporaneo. Se mentre la cache si riempie la scansione mette ancora sotto pressione il server originale, configura server o CDN perché rispondano con un codice 429 (troppe richieste) o 503 (servizio non disponibile) per una finestra breve, poche ore o al massimo uno o due giorni, come descritto nella guida di Google per ridurre con urgenza la scansione.

Il filo comune è che il freno si usa a tempo, mentre la porta chiusa ai bot è l'errore da non fare. Prima di toccare qualsiasi impostazione di sicurezza, chiedi a chi gestisce la CDN quali bot sono esentati. Se vuoi capire meglio a cosa serve oggi il file robots.txt, nell'articolo su robots.txt e addestramento AI trovi cosa cambia per il tuo sito.

WebG: CDN e sito web senza rischi

La notizia di Google ha un messaggio semplice per chi ha un sito aziendale: una CDN è un buon passo, ma i primi giorni vanno presidiati. Come consiglio pratico, trattala come una piccola migrazione: stabilisci chi la imposta e quando, quali pagine vanno caricate in anticipo e quali bot devono restare autorizzati, e fissa un controllo a pochi giorni di distanza.

Dopo il passaggio guarda due cose: se il server regge quando la scansione sale e se le pagine importanti sono ancora raggiungibili dai crawler. Puoi inserire questa verifica fra i controlli mensili di un sito Joomla, così non dipende dalla memoria di qualcuno. Il segnale da osservare non è il grafico delle richieste, ma lo stato delle tue pagine su Google: un picco temporaneo è previsto e si gestisce, mentre un blocco dei crawler è un danno che si costruisce in silenzio e che noti solo quando le visite calano.

Facciamo chiarezza prima di decidere

Articolo di Marco Galassi