La Sitemap è un semplice file xml che elenca tutte le pagine di un sito Web con lo scopo di semplificare notevolmente l’attività di scansione e indicizzazione da parte dei crawler dei motori di ricerca.
Introdotta da Google con il servizio Google Sitemaps, e poi utilizzata anche da Yahoo!, Ask.com, Microsoft Live Search permette ai webmaster di enumerare all’interno di un file XML tutti gli URI delle pagine di un determinato sito web. In questo modo anche i siti dinamici possono fornire URI corretti permettendo una indicizzazione più intelligente. Il protocollo è regolamentato dalla Attribution-ShareAlike Creative Commons License che ne ha reso possibile l’uso anche ad altri motori di ricerca.
Uno dei principali problemi che esisteva ancora sulle sitemaps era la necessità della segnalazione manuale in appositi pannelli di controllo messi a disposizione dai singoli motori di ricerca. La segnalazione manuale era ovviamente un processo che sottraeva del tempo prezioso. Finalmente da ieri, 11 aprile 2007, è stata attuata la modalità di autodiscovery del file Sitemap.xml del proprio sito. Ebbene da ieri, Ask.com, Google, Microsoft Live Search e Yahoo! hanno comunicato, nei loro rispettivi blog, il supporto per l’autodiscovery delle Sitemaps, ovvero la possibilità, da parte dei webmaster di specificare il percorso per la Sitemap del sito all’interno del file robots.txt.
Quindi, per segnalare a tutti e quattro i motori la presenza della sitemap, sarà sufficente inserire questa riga nel proprio file robots.txt: Sitemap: http://www.miosito.com/sitemap.xml.
Sul sito sitemaps.org è specificato anche un’altro metodo alternativo per la segnalazione, ovvero attraverso una richiesta HTTP del tipo /ping?sitemap=http://www.miosito.com/sitemap.xml che può essere lanciata sia attraverso un browser (classico link) ma anche usando degli script.
Ovviamente per tutti i motori rimane attiva la possibilità di segnalare manualmente il percorso del Sitemap, ma perché precludersi questa comoda possibilità?