Una recente modifica ai sistemi di crawling di Yahoo! permette da oggi di poter evitare l’indicizzazione di alcuni documenti restituendo gli exclusion tag non più solo tramite Meta tag, ma anche tramite gli HTTP Headers.
In sostanza questo significa che finalmente, se si hanno documenti il cui Myme-Type non è il semplice HTML standard a cui si possono aggiungere i Meta Tag exclusion con la direttiva <meta content="....." name="Slurp"></meta>, si può finalmente evitare che il Yahoo! passi attraverso questi documenti con le ovvie conseguenze.
La modifica in questione ovviamente è qualcosa che impatta il server nel quale il sito web gira, e necessita pertanto di un intervento tecnico dell’amministratore di sistema o cmq una conoscenza di un linguaggio di scripting che permetta di alterare gli headers.
I tag specificabili sono gli stessi che si hanno a disposizione nella versione HTML quindi: NOINDEX, NOFOLLOW, NOSNIPPET e NOARCHIVE.