Para evitar que los buscadores indexen las páginas o directorios, podemos agregar los siguientes archivos
Archivo “robots.txt” en el Web root del servidor:
- What is Robots.txt?
https://moz.com/learn/seo/robotstxt
Proteger directorios con contraseña:
- Htpasswd Generator – Create htpasswd
http://www.htaccesstools.com/htpasswd-generator/ - Password Protection with .htaccess & .htpasswd
http://weavervsworld.com/docs/other/passprotect.html
Una etiqueta en la página web:
- Block search indexing with meta tags
https://support.google.com/webmasters/answer/93710?hl=en
