Todas las formas de excluir una página en Google
Senior SEO-specialist
Tanto las metaetiquetas como la etiqueta X-Robots son cruciales para determinar cómo interactúan los motores de búsqueda con el contenido de un sitio web. A primera vista, ambas herramientas parecen similares, pero hay diferencias de aplicación, flexibilidad y alcance.
Comprender las diferencias entre ambas herramientas contribuye a una estrategia SEO más eficaz, especialmente en lo que respecta a la gestión de la visibilidad de un sitio web en los motores de búsqueda.
Excluir partes de un sitio web
Existen varias opciones para bloquear partes específicas de un sitio web en los motores de búsqueda. La opción a utilizar depende de las necesidades específicas y de la naturaleza del contenido que desee ocultar.
Archivo Robots.txt
El archivo robots.txt es un archivo que se coloca en el directorio raíz de un sitio web. Indica a los motores de búsqueda qué partes de un sitio web pueden rastrear o no.
Aunque es una herramienta poderosa, también tiene sus limitaciones. La herramienta no garantiza que los contenidos excluidos no sean indexados. La exclusión es una petición y no una prohibición de mostrar el contenido excluido. El archivo Robots.txt es especialmente útil para excluir grandes secciones de un sitio web o determinados tipos de archivos.
Etiqueta meta Robots
La metaetiqueta robots proporciona un control más granular a nivel de página. Coloque la etiqueta en la sección del HTML e indique específicamente si una página debe ser indexada o rastreada. Esta herramienta es especialmente útil para páginas con promociones temporales o resultados de búsquedas internas que no deberían aparecer en los resultados de los motores de búsqueda.
Cabecera HTTP X-Robots-Tag
La cabecera HTTP X-Robots-Tag es similar a la metaetiqueta robots, pero a nivel de servidor. Esta etiqueta no puede aplicarse a archivos que no sean HTML, como PDF o imágenes. Las herramientas son especialmente útiles en el caso de control técnico del servidor e instrucciones que van más allá de lo que está dentro de las capacidades de HTML.
Solicitud de eliminación a través de Google Search Console
En caso de que sea necesario eliminar páginas del índice de Google más rápido de lo que permitiría un proceso de rastreo normal, es posible enviar una solicitud de eliminación a través de Search Console de Google. Esto hace que la página desaparezca inmediatamente de los resultados de búsqueda. Sin embargo, no sustituye la necesidad de un método permanente como una etiqueta noindex.
Guía práctica para utilizar noindex
Noindex es una parte importante de la hoja de ruta SEO, siempre que se utilice con cuidado y de forma estratégica.
El impacto de noindex en la visibilidad de una página
La etiqueta noindex indica explícitamente a los motores de búsqueda que no incluyan una página en el índice. Por lo tanto, la página no aparecerá en los resultados de búsqueda. Ciertas páginas -piensen en contenido temporal, páginas duplicadas o contenido privado- no se muestran.
Sin embargo, las etiquetas noindex no impiden que se rastreen las páginas ni los enlaces que contienen. Esto sólo es posible cuando se utiliza «nofollow».
La aplicación de noindex
- Elija las páginas adecuadas: identifique las páginas que no desea que aparezcan en los resultados de búsqueda, piense en páginas duplicadas, páginas privadas o páginas con contenido temporal o escaso.
- Añada la etiqueta noindex: coloque la etiqueta <meta name=»robots» content=»noindex»> en la sección <head> del HTML de las páginas pertinentes.
- Verificar la implementación: utilice herramientas como Search Console de Google para comprobar que la etiqueta se ha implementado correctamente y que los motores de búsqueda la reconocen.
- Supervisar el impacto: supervisar el estado de indexación de las páginas. A veces, los motores de búsqueda tardan un poco en responder a la etiqueta noindex, por lo que hay que realizar un seguimiento regular para tener siempre una buena imagen.
- Actualice cuando sea necesario: elimine el noindex si es necesario que una página vuelva a ser visible.
Eliminación de páginas mediante la herramienta de eliminación de URL de Google
En algunos casos, excluir los motores de búsqueda de páginas no es suficiente. Por ejemplo, si hay que eliminar información sensible y eliminar cuanto antes de los resultados de búsqueda una página indexada accidentalmente. En este caso, utilice la herramienta de eliminación de URL de Google. Esta herramienta puede eliminar temporalmente URL de los resultados de búsqueda de Google.
Tenga en cuenta que se trata de una solución temporal. Las etiquetas noindex siguen siendo necesarias para una eliminación permanente o para eliminar contenido de un sitio.
Herramienta de eliminación de URL para una acción rápida
La herramienta de eliminación de URL es ideal para actuar con rapidez. Utilice la herramienta a través de Google Search Console. Para ello, introduzca la URL que desea extraer de los resultados de la búsqueda. Esta eliminación dura unos seis meses.
Transcurridos esos seis meses, la página puede reaparecer en los resultados de búsqueda. Evítelo, por ejemplo, colocando una etiqueta noindex o eliminando permanentemente una página.
Retirada a largo plazo o permanente
Para la eliminación permanente o a largo plazo de una página de los resultados de búsqueda, la Herramienta de eliminación de URL no es suficiente. Elimine el contenido usted mismo o añada una etiqueta noindex.
Asegúrese de que el servidor devuelve un código de estado 404 (no encontrado) o 410 (eliminado permanentemente). Estos códigos indican a los motores de búsqueda que la página ya no existe y que puede ser eliminada del índice con el tiempo.
Todas las opciones de un vistazo
La siguiente tabla muestra varias posibilidades tanto de Meta tags como de X-Robots-Tag.
| Posibilidad | Metaetiquetas | X-Robots-Etiqueta |
|---|---|---|
| Ubicación | En la sección <head> de una página HTML. | En la cabecera de respuesta HTTP, del lado del servidor. |
| Alcance | Sólo en la página específica en la que se publican. | En cualquier tipo de respuesta HTTP, incluidos los archivos no HTML. |
| Flexibilidad | Debe añadirse manualmente a cada página. | Más flexible, puede aplicarse a todo el servidor. |
| Uso para páginas HTML | Instrucciones para indexar y rastrear enlaces. | Las mismas funciones que las metaetiquetas, pero del lado del servidor. |
| Para otros archivos, utilice | No se aplica. | Puede utilizarse para imágenes, PDF y otros soportes. |
| Complejidad de las instrucciones | Limitado a instrucciones básicas por página. | Capacidad para gestionar instrucciones y condiciones más complejas. |
| Ejemplo | <meta name="robots" content="noindex, nofollow"> | Header set X-Robots-Tag "noindex, noarchive, nosnippet" |
Esta tabla muestra que la etiqueta X-Robots tiene más flexibilidad y posibilidades de aplicación más amplias, especialmente para contenidos no HTML y escenarios más complejos.
Errores comunes
Evite errores comunes al excluir páginas de la indexación. El uso incorrecto de robots.txt, X-Robots-Tag y Meta tags puede producir resultados negativos. Así, las páginas pueden seguir afectando negativamente a la posición SEO en los resultados de búsqueda.
Errores Robots.txt
A menudo se asume que bloquear una página en robots.txt significa que la página no será indexada. Se trata de un error frecuente. Robots.txt impide que los motores de búsqueda rastreen el contenido de una página, pero ésta puede seguir apareciendo en el índice si está enlazada en otro sitio.
La indexación puede evitarse utilizando noindex en una metaetiqueta robots o una etiqueta X-Robots.
Malentendidos Metaetiquetas y X-Robots
También hay muchos malentendidos recurrentes en el uso de las etiquetas mete y la etiqueta X-Robots. Es importante entender que estas etiquetas proporcionan instrucciones a los motores de búsqueda sobre la indexación y el seguimiento de enlaces.
En caso de configuración incorrecta, puede producirse una indexación no deseada o excluirse páginas que deberían indexarse. Pruebe siempre la aplicación de antemano para evitar problemas de SEO.
Diferencias entre metaetiquetas y X-Robot-Tag
Tanto las metaetiquetas como las etiquetas X-Robot se utilizan para dar instrucciones a los motores de búsqueda sobre cómo deben tratar determinados contenidos de un sitio web. Las funciones son similares, pero las herramientas difieren en su aplicación y flexibilidad.
- Metaetiquetas:
- Ubicación: Las metaetiquetas se colocan directamente en el HTML de una página web individual, normalmente en la sección <head>.
- Ámbito de aplicación: las metaetiquetas sólo se aplican a la página específica en la que se colocan.
- Flexibilidad: La flexibilidad de las metaetiquetas es limitada, ya que deben aplicarse manualmente a todas las páginas deseadas.
- Uso: Las metaetiquetas indican, entre otras cosas, cómo deben indexar una página los motores de búsqueda (por ejemplo, con noindex, nofollow).
- Ejemplo: <meta name=»robots» content=»noindex, nofollow»>
- X-Robots-Tag:
- Localización: X-Robots-Tag es una cabecera HTTP y se envía en la respuesta HTTP del servidor.
- Alcance: La etiqueta X-Robots puede aplicarse a cualquier tipo de respuesta HTTP. Esto se aplica no sólo a las páginas HTML, sino también a soportes como imágenes o archivos PDF.
- Flexibilidad: X-Robots-Tag es más flexible y potente que las metaetiquetas, especialmente cuando se trata de gestionar instrucciones de rastreo para archivos no HTML.
- Uso: se utilizan instrucciones más complejas mediante el uso de X-Robots-Tag – piense en combinar diferentes directrices para diferentes motores de búsqueda o en aplicar reglas basadas en determinados criterios.
- Ejemplo: en la configuración de un servidor, es posible añadir una regla como Header set X-Robots-Tag «noindex, noarchive, nosnippet».
Por tanto, las metaetiquetas se limitan a dar instrucciones a los motores de búsqueda a nivel de página dentro del código HTML, mientras que la etiqueta X-Robot proporciona una forma más versátil y potente de gestionar las instrucciones de rastreo. Este modo es aplicable a una amplia gama de tipos de contenido y a través de configuraciones de servidor.
Alinear las estrategias de exclusión con los objetivos de SEO
A la hora de determinar las estrategias de exclusión en los objetivos SEO, es importante saber qué necesita conseguir el sitio web. Considere qué partes ayudan a mejorar el SEO y cuáles no. Las estrategias de exclusión no sólo pretenden ocultar contenidos, sino también ayudar a los motores de búsqueda a centrarse en los contenidos que realmente importan. Así que piense estratégicamente sobre el uso de herramientas como robots.txt, X-Robots-Tag y etiquetas noindex.
Excluir contenidos que no contribuyen a mejorar el SEO -piénsese en páginas duplicadas o resultados de búsquedas internas- puede contribuir a que los contenidos sean más relevantes y visibles y de mayor calidad.
El equilibrio entre visibilidad y privacidad
Aunque la visibilidad es esencial para atraer tráfico, no todos los contenidos están pensados para ser expuestos al público. Por razones de privacidad, puede ser necesario ocultar algunas partes de un sitio web, incluida información específica del usuario o datos internos.
Lo importante es encontrar el equilibrio adecuado. El contenido debe ser valioso para la indexación y para posicionarse mejor en Google, pero también debe protegerse la información sensible. Asegúrese de que ambas partes están bien cubiertas.
Resumen
Tanto las metaetiquetas como la etiqueta X-Robots son esenciales para gestionar cómo tratan los motores de búsqueda el contenido de un sitio web. Sin embargo, hay diferencias.
Las metaetiquetas son especialmente adecuadas para aplicar instrucciones básicas a páginas HTML individuales, mientras que la etiqueta X-Robots ofrece una solución más flexible y potente para una gama más amplia de tipos de contenido y escenarios más complejos. Esto ayuda a orientar la visibilidad y la indexación de un sitio web con mayor precisión y proporciona una hoja de ruta SEO más específica.
