Spider o Crawler

Torna al glossario completo

Spider o Crawler

Lo Spider o  anche chiamato “Crawler” è un termine generico che sta ad indicare un qualsiasi programma che scansiona automaticamente siti web seguendo i link da una pagina web all’altra. Il crawler principali di Google sono:

Crawler Token dello user-agent Stringa completa dello user-agent (come mostrata nei file di log del sito web)
Googlebot (Ricerca Google) Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
o
(utilizzato raramente): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot News Googlebot-News
(Googlebot)
Googlebot-News
Googlebot Immagini Googlebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot Video Googlebot-Video
(Googlebot)
Googlebot-Video/1.0
Google Smartphone Googlebot Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense Mediapartners-Google

o

Mediapartners
(Googlebot)

[vari tipi di dispositivi mobili] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense Mediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Controllo qualità della pagina di destinazione Google AdsBot AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)
Parole Correlate

SEO

SEO è l'acronimo di Search Engine Optimizazion, o meglio l'ottimizzazione della pagine che siano il più possibile uniformate secondo le..
Approfondisci

Hostinato non si Ferma!

Hostinato non si ferma

Per garantire il normale svolgimento delle attività lavorative, Hostinato ha incentivato per tutto il team il lavoro da casa.

Questo garantirà assistenza e continuità delle attività per i nostri clienti che oggi hanno servizi attivi o vogliono attivare nuove opportunità.

Per qualsiasi comunicazione potete usare la email: clienti@hostinato.it, verrete ricontattati dalla persona di riferimento.

Buon Lavoro a Tutti!

Scarica la guida per avviare un ecommerce

Scarica la nostra guida gratuita e leggi tutti i passaggi necessari per avviare un ecommerce.

Perché vendere su Amazon?

Interessante articolo dove analizziamo le possibilità di vendita sul marketplace più famoso al mondo e se conviene...

Hai già visto la sezione BLOG con i consigli pratici per chi vende online? Leggi ora!