La direttiva Crawl-Delay del Robots.txt

Molti crawler supportano la direttiva “Crawl-delay” la quale imposta il numero di secondi che i bot e crawler dei motori di ricerca (e non solo) devono attendere prima di effettuare la richiesta successiva al web server.
Il parametro Crawl-delay viene usato dai grandi siti che p… …

Leggi l’articolo completo: La direttiva Crawl-Delay del Robots.txt

#Posizionamentosuimotori
#Crawling, #Robotstxt

Annunci

Molti crawler supportano la direttiva “Crawl-delay” la quale imposta il numero di secondi che i bot e crawler dei motori di ricerca (e non solo) devono attendere prima di effettuare la richiesta successiva al web server.
Il parametro Crawl-delay viene usato dai grandi siti che p… …

Leggi l’articolo completo: La direttiva Crawl-Delay del Robots.txt

#Posizionamentosuimotori
#Crawling, #Robotstxt

Autore: JB

Digital Marketing Addicted, Consulente SEO e SEM, Certificato Google AdWords

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...