Spider o Crawler

Torna al glossario completo

Spider o Crawler

Lo Spider o  anche chiamato “Crawler” è un termine generico che sta ad indicare un qualsiasi programma che scansiona automaticamente siti web seguendo i link da una pagina web all’altra. Il crawler principali di Google sono:

Crawler Token dello user-agent Stringa completa dello user-agent (come mostrata nei file di log del sito web)
Googlebot (Ricerca Google) Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
o
(utilizzato raramente): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot News Googlebot-News
(Googlebot)
Googlebot-News
Googlebot Immagini Googlebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot Video Googlebot-Video
(Googlebot)
Googlebot-Video/1.0
Google Smartphone Googlebot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense Mediapartners-Google

o

Mediapartners
(Googlebot)

[vari tipi di dispositivi mobili] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense Mediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Controllo qualità della pagina di destinazione Google AdsBot AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Parole Correlate

SEO

SEO è l'acronimo di Search Engine Optimizazion, o meglio l'ottimizzazione della pagine che siano il più possibile uniformate secondo le..
Approfondisci

Scarica la guida per avviare un ecommerce

Scarica la nostra guida gratuita e leggi tutti i passaggi necessari per avviare un ecommerce.

Perché vendere su Amazon?

Interessante articolo dove analizziamo le possibilità di vendita sul marketplace più famoso al mondo e se conviene...

Hai già visto la sezione BLOG con i consigli pratici per chi vende online? Leggi ora!