Spider o Crawler

Torna al glossario completo

Spider o Crawler

Lo Spider o  anche chiamato “Crawler” è un termine generico che sta ad indicare un qualsiasi programma che scansiona automaticamente siti web seguendo i link da una pagina web all’altra. Il crawler principali di Google sono:

CrawlerToken dello user-agentStringa completa dello user-agent (come mostrata nei file di log del sito web)
Googlebot (Ricerca Google)GooglebotMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
o
(utilizzato raramente): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot NewsGooglebot-News
(Googlebot)
Googlebot-News
Googlebot ImmaginiGooglebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot VideoGooglebot-Video
(Googlebot)
Googlebot-Video/1.0
Google SmartphoneGooglebotMozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSenseMediapartners-Google

o

Mediapartners
(Googlebot)

[vari tipi di dispositivi mobili] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSenseMediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Controllo qualità della pagina di destinazione Google AdsBotAdsBot-GoogleAdsBot-Google (+http://www.google.com/adsbot.html)
Parole Correlate

SEO

SEO è l'acronimo di Search Engine Optimizazion, o meglio l'ottimizzazione della pagine che siano il più possibile uniformate secondo le..
Approfondisci