Protocolul Sitemaps permite unui webmaster să informeze motoarele de căutare cu privire la adresele URL de pe un site web care sunt disponibile pentru accesarea cu crawlere. Sitemap este un fișier XML care afișează adresele URL ale unui site. Aceasta permite webmasterilor să includă informații suplimentare despre fiecare adresă URL: când a fost actualizată ultima dată, cât de des se schimbă și cât de important este în legătură cu alte adrese URL din site. Acest lucru permite motoarelor de căutare să acceseze cu crawlere site-ul mai inteligent. Sitemap-urile sunt un protocol de includere a adreselor URL și completează robots.txt, un protocol de excludere a adreselor URL. Sitemap-urile sunt deosebit de benefice pe site-urile web unde:
anumite zone ale site-ului nu sunt disponibile prin interfața de navigare webmasterii utilizează conținut Ajax, Silverlight sau Flash care nu este în mod normal procesat de motoarele de căutare. Site-ul este foarte mare și există o șansă ca crawlerele web să ignore unele dintre conținuturile noi sau recent actualizate Atunci când site - urile web au un număr mare de pagini care sunt izolate sau nu sunt bine conectate împreună, sau Atunci când un site are câteva linkuri externe
|