1) Prima di tutto occore sapere cos'è un file robots.txt: esso è un file che viene letto dagli spider dei motori di ricerca e indica a loro in quali aree del sito possono avere accesso e in quali no, indica inoltre l' indirizzo dove sono collocate le vostre sitemap.
2) Per crearne uno create prima un normale file di testo chiamato robots.txt.
3) Aprite il file da voi creato e scrivete nella prima riga "User-agent:" dopo questo campo dovete inserire il nome degli spider a cui volete far rispettare le vostre regole( i nomi li potete trovare qui) anche se vi consiglio di inserire "*" al posto dei nomi cosi le regole varranno per tutti i gli spider esistenti.
4) Andate a capo e scrivete "Disallow:" , questo campo deve contenere tutti gli indirizzi che non volete vengano ispezionati dallo spider(scrivete solo la seconda parte dell' indirizzo cioè quella dopo il l' estensione del dominio, es. /admin), dovete scrivere un "Disallow:" per ogni url che volete nascondere.
5) Infine andate a capo e scrivete "Sitemap:", questo campo deve contenere gli url, stavolta completi, delle vostre sitemap (es. www.miosito.com/sitemap.xml).
6) Se volete inserire dei commenti usate # e scrivete il vostro commento, non verrà letto dallo spider.
7) Infine caricate il vostro file nella cartella principale del vostro sito( es. www.miosito.com/robots.txt), verrà trovato automaticamente dagli spider.
Ultima cosa: se volete negare totalmente l' accesso al vostro sito nel campo " Disallow:" Inserite solo / .
Condividi articolo nelle reti sociali
Nessun commento:
Posta un commento
Scrivi qui il tuo commento