La meta-etiqueta “robots” es una etiqueta de marcado HTML que se usa para dar instrucciones específicas los robots de rastreo de los buscadores, concretamente para indicarlos cómo deben rastrear o indexar las páginas de nuestro sitio web.
No debes confundir esta meta-etiqueta con el archivo “robots.txt” ya que, aunque se pueden usar de forma parecida, son dos mecanismos diferentes. Haz clic aquí para aprender qué es y cómo funciona el archivo”robots.txt”.
El uso más habitual de esta meta-etiqueta es impedir que los buscadores muestren en los resultados contenidos ya sea porque que no deseamos hacer públicos (por ejemplo páginas de uso privado) o que consideramos que no aportan valor al usuario (por ejemplo páginas con información legal).
Por ello cuando se usa esta meta-etiqueta se hace para denegar acceso, ya que por defecto (en caso de que no exista) los buscadores entienden que tienen vía libre para indexar los contenidos.
Importante: un mal uso de Meta Robots puede perjudicar gravemente tu posicionamiento web, por lo que es mejor que no utilices esta meta-etiqueta si no estás absolutamente seguro de lo que estás haciendo.
Debes colocar esta etiqueta dentro de la sección <head>...</head> de cada una de las páginas donde desees utilizarla.
Para que funcione correctamente debes especificar dos atributos: name y content.
name siempre será robots.content, separados por comas puedes usar un único atributo o una combinación de ellos.Por ejemplo:
Con este atributo puedes indicar si deseas que el buscador indexe la página para que aparezca en los resultados (index) o que no lo haga (noindex).
Si no especificas nada el buscador entiende por defecto que debe indexar la página como si hubieras especificado “index”.
Normalmente la reacción de Google frente a esta etiqueta es rápida y si marcas una página como “noindex” suele desaparecer de los resultados en unos pocos días después de que el buscador hay revisitado la página.
Esto es importante ya que Google debe tomar nota de cualquier cambio (debe rastrear e indexar nuevamente la página) para que éste se refleje en los resultados de búsqueda.
Indica si deseas que el buscador siga los enlaces presentes en la página y que visita las páginas enlazadas (“follow”), o que no lo haga (“nofollow”).
Existen más atributos, pero los que acabo de mencionar son los más importantes a tener en cuenta para el SEO.
Los atributos pueden combinarse, es decir que por ejemplo puedes usar index/follow al mismo tiempo para conseguir una mayor flexibilidad, como por ejemplo:
Si usas la combinación index, follow estás indicando expresamente que deseas que el buscador indexe los contenidos de la página y que siga los enlaces hacia otras páginas.
Es la combinación que toma el buscador por defecto cuando no usas la etiqueta meta robots en tus páginas.
Indica que no deseas que el buscador indexe los contenidos de esta página, pero que sí visite los enlaces que pueda encontrar en ella.
Indica que deseas que el buscador indexe el contenido de la página, pero que no siga los enlaces que encuentre en ella.
Indica que no deseas que el buscador indexe el contenido de la página y que no siga los enlaces que encuentre en ella.
Tiene el mismo efecto que usar “noindex, nofollow“.
Tiene el mismo efecto que usar “index, follow“.
Recuerda que a menos que especifiques lo contrario los buscadores entienden que por defecto deseas que indexen todos tus contenidos y que sigan los enlaces que encuentren en ellos, es decir que por defecto entienden que estás indicando all o index, follow.
Indica a los buscadores que no deseas que indexen las imágenes que se encuentren en el contenido de la página.
Indica a los buscadores que no deseas que puedan mostrar una copia “de archivo” (una copia de su caché) de tus contenidos.
Indica a los buscadores que no deseas que muestren un resultado enriquecido o “rich snippet” para las búsquedas en las que aparezca este página.
Indica a los buscadores que no desas que muestren traducciones de tu contenido en los resultados.
Indica a los buscadore que no deseas que se muestre el contenido de esta página en los resultados después de una fecha concreta.
Hay que tener en cuenta que debes indicar la fecha en este formato: “Monday, 15-Aug-05 15:52:01 UTC”. Y como hacerlo así es un rollo y es fácil equivocarse, es mejor usar esta herramienta.
Como ya he comentado Meta Robots y robots.txt son dos mecanismos diferentes que pueden usarse de forma parecida, y esto suele provocar algo de confusión e incluso problemas graves de indexado y posicionamiento.
Por ejemplo, y es un caso típico que se suele ver a menudo, si decides desindexar una página con Meta Robots (la marcas noindex), pero Google no tiene acceso a esta página concreta porque has bloqueado el acceso a ella con robots.txt, la página no se desindexa, ya que Google no puede darse cuenta del cambio, al no poder visitar la página.
Por lo general debes tener cuidado de no usar los dos mecanismos simultáneamente, para evitar este tipo de problemas.
Si como yo usas WordPress lo más sencillo que instales un plugin de SEO que ofrezca esta función.
Algunos de los plugins más habituales y recomendables, que ofrecen versiones gratuitas y de pago son:
