Meta name=robots» content=noindex, nofollow
La etiqueta meta robots es la etiqueta que asignamos a algunas páginas dentro de la sección <head> del HTML. Se utiliza para indicar a los rastreadores de los motores de búsqueda cómo deben comportarse cuando llegan a una página web. En este sentido, se puede pedir a los buscadores que no sigan los enlaces que se encuentran en la página (nofollow), que no indexen (noindex) o que no guarden la página en la caché (nocache).
La etiqueta meta robots es de gran valor para optimizar el uso de su link juice ya que podrá decidir a qué páginas transferir autoridad o no. Escoja cuidadosamente las etiquetas a utilizar en cada situación ya que esto tiene un impacto directo en la optimización de su link juice.
Al utilizar la etiqueta meta robots, tiene que asegurarse de que las directrices dadas en la página actual tienen congruencia con la etiqueta meta robots especificada en las páginas enlazadas. Por ejemplo, si decide añadir «index, follow» a la página actual, las páginas salientes deben ser indexables y nunca tener una etiqueta «noindex» en sus meta robots.
Cuando utilice la etiqueta meta robots, querrá asignar la regla que mejor se adapte a la mayoría de los enlaces que se encuentran en la página. Dicho esto, a menudo nos encontramos con alguna excepción de enlaces a los que no se quiere aplicar la regla general. En ese caso, puede utilizar el rel nofollow. Por ejemplo, si tiene la etiqueta meta robot «index, follow» en una página pero tiene enlaces específicos que no quiere que los motores de búsqueda sigan, inserte el atributo rel «nofollow» en ellos.
Comprobador de etiquetas X-robots
Una etiqueta «noindex» en su archivo robots.txt también indica a los motores de búsqueda que no incluyan la página en los resultados de búsqueda, pero es una forma más rápida y sencilla de noindexar muchas páginas a la vez, especialmente si tiene acceso a su archivo robots.txt. Por ejemplo, puede desindexar cualquier URL de una carpeta específica.
Desindexar una página significa decirle a los motores de búsqueda que no la rastreen, lo que debe hacerse en el archivo robots.txt de su sitio. Es útil si tiene muchas páginas o archivos que no son útiles para los lectores o el tráfico de búsqueda, ya que significa que los motores de búsqueda no perderán tiempo rastreando esas páginas.
Las páginas desautorizadas no pueden pasar PageRank a ningún otro sitio – por lo que cualquier enlace en esas páginas es efectivamente inútil desde una perspectiva SEO – y desautorizar páginas que se supone que están incluidas puede tener resultados desastrosos para su tráfico, así que tenga mucho cuidado al escribir las directivas disallow.
Noindex (página) + Disallow: Disallow no puede combinarse con noindex en la página, porque la página está bloqueada y por lo tanto los motores de búsqueda no la rastrearán para saber que no deben dejar la página fuera del índice.
Comprobación de noindex
Pero, si bien es cierto que la publicación de más páginas que son relevantes para una palabra clave en particular (suponiendo que también son de alta calidad) mejorará su clasificación para esa palabra clave, a veces hay realmente más valor en mantener ciertas páginas de su sitio web fuera del índice de un motor de búsqueda.
¿Por qué no? Porque cualquier persona que encuentre su página de agradecimiento en la búsqueda puede acceder a sus ofertas de generación de clientes potenciales directamente, sin tener que proporcionarle su información para pasar por su formulario de captación de clientes potenciales. Cualquier vendedor que entienda el valor de las páginas de aterrizaje comprende lo importante que es capturar a esos visitantes como clientes potenciales primero, antes de que puedan acceder a sus ofertas.
Y lo que es peor, puede que incluso descubra que algunas de sus páginas de mayor ranking para algunas de sus palabras clave de cola larga podrían ser sus páginas de agradecimiento, lo que significa que podría estar invitando a cientos de clientes potenciales a pasar por alto sus formularios de captación de clientes potenciales. Esa es una razón bastante convincente para querer eliminar algunas de sus páginas web de las SERP.
Una forma de eliminar una página de los resultados de los motores de búsqueda es añadir un archivo robots.txt a su sitio. La ventaja de usar este método es que puedes tener más control sobre lo que estás permitiendo que los bots indexen. ¿El resultado? Puede mantener proactivamente el contenido no deseado fuera de los resultados de búsqueda.
Etiquetas meta Html
Alrededor de 2007, los principales motores de búsqueda comenzaron a implementar el soporte para las directivas «noindex» en las etiquetas Meta Robots. Las etiquetas Meta Robots también pueden incluir otras directivas, como la directiva «follow» o «nofollow», que indica a los motores de búsqueda que rastreen o no los enlaces que se encuentran en la página actual.
Además, los motores de búsqueda admiten una directiva «noindex» que se entrega a través de las cabeceras de respuesta HTTP de una página determinada. Aunque este enfoque es menos común y puede ser más difícil de identificar utilizando las herramientas comunes de SEO, a veces es más fácil para los ingenieros o webmasters incluirlo en base a la configuración de su servidor.
Por ejemplo, si se lanza una nueva versión del sitio web, pero se dejan las etiquetas «noindex», que se incluyeron para evitar que los motores de búsqueda indexaran las nuevas versiones de las páginas antes de que estuvieran listas, la nueva versión del sitio web puede dejar de recibir inmediatamente el tráfico de las búsquedas
Los webmasters han utilizado a menudo etiquetas Meta Robots o cabeceras de respuesta para indicar a los motores de búsqueda que la página actual no debe ser indexada, pero que los enlaces de la página deben seguir siendo rastreados, como ocurre con la siguiente etiqueta Meta Robots:
Soy Alejandro Marcos. Como jefe de los departamentos de SEO, SEM y Desarrollo Web en Negocio Vivo, me especializo en SEO, SEM y WordPress. Mi objetivo es optimizar la visibilidad y rendimiento de sitios web. Ahora estoy jugando con automatizaciones para agilizar proceso repetitivos.