# # robots.txt for http://www.heos.it/ # # $Id: robots.txt, 30/04/2006 Andrea Pivatello$ # # exclude some access-controlled areas User-agent: emailsiphon Disallow: / User-agent: extractorpro Disallow: / User-agent: MSNBot Allow: User-agent: MSNBot Crawl-delay: 120 # Se il valore è "*", il record descrive la norma di # accesso predefinita per qualsiasi robot che non # abbia corrisposto nessun record. Non è permesso # avere tali record multipli nel file "/robots.txt". # Il campo "Disallow" (impedire) specifica un URI # parziale da non visitare. Questo può essere # un percorso intero o parziale; # qualsiasi URI che inizia con questo valore non # verrà recuperato. Per esempio: # Disallow: /help impedisce entrambi /help.html e # /help/index.html, # mentre # Disallow: /help/ impedisce /help/index.html # ma permette /help.html.