Meta descripción
La etiqueta meta robots es la etiqueta que asignamos a algunas páginas dentro de la sección <head> del HTML. Se utiliza para indicar a los rastreadores de los motores de búsqueda cómo deben comportarse cuando llegan a una página web. En este sentido, se puede pedir a los buscadores que no sigan los enlaces que se encuentran en la página (nofollow), que no indexen (noindex) o que no guarden la página en la caché (nocache).
La etiqueta meta robots es de gran valor para optimizar el uso de su link juice ya que podrá decidir a qué páginas transferir autoridad o no. Escoja cuidadosamente las etiquetas a utilizar en cada situación ya que esto tiene un impacto directo en la optimización de su link juice.
Al utilizar la etiqueta meta robots, tiene que asegurarse de que las directrices dadas en la página actual tienen congruencia con la etiqueta meta robots especificada en las páginas enlazadas. Por ejemplo, si decide añadir «index, follow» a la página actual, las páginas salientes deben ser indexables y nunca tener una etiqueta «noindex» en sus meta robots.
Cuando utilice la etiqueta meta robots, querrá asignar la regla que mejor se adapte a la mayoría de los enlaces que se encuentran en la página. Dicho esto, a menudo nos encontramos con alguna excepción de enlaces a los que no se quiere aplicar la regla general. En ese caso, puede utilizar el rel nofollow. Por ejemplo, si tiene la etiqueta meta robot «index, follow» en una página pero tiene enlaces específicos que no quiere que los motores de búsqueda sigan, inserte el atributo rel «nofollow» en ellos.
Robots.txt noindex nofollow
La metaetiqueta robots es una etiqueta HTML que va en la etiqueta head de una página y proporciona instrucciones a los robots. Al igual que el archivo robots.txt, indica a los rastreadores de los motores de búsqueda si pueden o no indexar una página.
En este ejemplo, la línea superior da se aplica a todos los bots de los motores de búsqueda, mientras que las 4 líneas siguientes dan se aplican a usuarios-agentes específicos. En este ejemplo concreto, la etiqueta meta robots está diciendo a los motores de búsqueda que no indexen la página. Sin embargo, los robots son libres de seguir los enlaces que encuentran en la página.
La etiqueta meta robots es importante porque añade una capa adicional de protección al archivo robots.txt. Cuando un rastreador sigue un enlace externo y llega a una de sus páginas, todavía puede rastrear e indexar esa página porque no ha visto el archivo robots.txt.
La parte del nombre especifica el agente de usuario del bot al que está dando instrucciones, al igual que la línea de agente de usuario en un archivo robots.txt. A diferencia de robots.txt, no se utiliza un carácter comodín para incluir a todos los bots. Para ello, basta con escribir «robots».
Aunque nunca es aconsejable publicar información sensible en su sitio web, a veces ocurre. Bloquear estas URLs a través de robots.txt es decirle a cualquiera que lo lea que debe echar un vistazo a esas páginas. Añadir «noindex» a una etiqueta meta robots mantendrá esa página fuera de los resultados de búsqueda sin incluirla donde alguien pueda encontrarla.
WordPress eliminar noindex
El uso de «noindex» en las metaetiquetas indica al robot del motor de búsqueda que la página visitada no debe ser indexada. Con el «noindex», los webmasters tienen la posibilidad de influir activamente en qué URLs deben ser indexadas y cuáles no. La etiqueta «noindex» puede ampliarse con el atributo «follow» o «nofollow».
Para comprobar si la metaetiqueta es leída y seguida, todo webmaster puede utilizar el llamado analizador de páginas web. Si la etiqueta está correctamente integrada, los resultados de la búsqueda deberían ser negativos, porque el robot del motor de búsqueda ha prohibido la indexación.
En muchos casos, los webmasters desconocen la diferencia entre el comando «disallow» del archivo robots.txt y la etiqueta meta «noindex». Por lo general, no es aconsejable utilizar simultáneamente ambos métodos. Esto se debe a que se impide que el bot pase por la página con el comando «disallow» en el archivo robots.txt. Como resultado, el rastreador no reconoce la etiqueta meta «noindex» y la página se incluye posteriormente en la indexación. Por lo tanto, sería un error que un webmaster utilizara con seguridad este método para asegurarse adicionalmente de que una página no es rastreada ni indexada.
Comprobador de etiquetas X-robots
¿Cómo explicar a una araña de un motor de búsqueda que sólo quieres que indexe la primera página de tu sitio web o que puede indexar todo el sitio web? Se utiliza una metaetiqueta HTML específica, la llamada metaetiqueta robots.
La diferencia entre la etiqueta meta robots y la etiqueta X-robotsLa etiqueta meta robots le permite controlar el comportamiento de indexación a nivel de página. La etiqueta x-robots puede incluirse como parte de la cabecera HTTP para controlar la indexación de una página en su conjunto, así como de elementos muy específicos de una página.Los siguientes valores (‘parámetros’) pueden colocarse solos, o juntos en el atributo de contenido de la etiqueta (separados por una coma), para controlar cómo interactúan los motores de búsqueda con su página. index o noindexfollow o nofollownoimageindexnoarchivenocachenosnippetnotranslatenoyaca Para utilizar la etiqueta x-robots, deberá tener acceso al archivo de cabecera .php, .htaccess o de acceso al servidor de su sitio web.Cuándo utilizar la etiqueta x-robots:
Soy Alejandro Marcos. Como jefe de los departamentos de SEO, SEM y Desarrollo Web en Negocio Vivo, me especializo en SEO, SEM y WordPress. Mi objetivo es optimizar la visibilidad y rendimiento de sitios web. Ahora estoy jugando con automatizaciones para agilizar proceso repetitivos.