Conceptos

Qué es el robots.txt y cómo usarlo adecuadamente

El robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un site.

Los robots que visitan las páginas web están programados para buscar el archivo robots.txt de una web antes rastrearla, verifican que existe dicho  archivo y cuáles son las páginas que tiene restringidas.

Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario. Si tienes, por ejemplo, páginas que no van a ser útiles a los usuarios en los resultados de búsqueda o páginas con contenido confidencial que no quieres que se indexe.

Recuerda que el robots.txt:
  1. Se ubica en el directorio raíz del site
  2. Puedes crearlo con el generador de robots.txt desde la webmasters tools
  3. Si se trata de material confidencial el robots.txt no es suficiente. Se trata sólo de una recomendación, no de una obligación y podrían mostrar las url en los resultados de búsqueda.
  4. Si no tienes ninguna restricción no es necesario que lo uses, ni siquiera vacio.
  5. Puedes complementar su restricción añadiendo la metaetiqueta “noindex”

Haz clic para comentar

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.







Subir