Robots.txt

Robots.txt es un archivo que se encuentra en la carpeta raíz de un sitio web, o raíz. Un robots.txt tiene varias funciones, por ejemplo indicar a los rastreadores de los motores de búsqueda qué sitio o página web pueden o no buscar. Esto también es importante para aparecer más arriba en Google.

¿Qué es el robots.txt?

Un archivo robots.txt es un archivo de texto de acceso público. Es un archivo muy importante, ya que indica a un motor de búsqueda exactamente qué parte de un sitio web puede y no puede indexar un rastreador de motor de búsqueda. Esto puede afectar significativamente al rendimiento del sitio web.

Para la optimización de motores de búsqueda(una campaña SEO, por ejemplo), es una herramienta muy potente y también técnica. ¿No hay ningún robots.txt colocado en el servidor web? A continuación, un motor de búsqueda puede buscar en todo el sitio web.

Ejemplos de robots.txt

Es muy importante saber que un robots.txt no elimina una página que ya está indexada. Sólo impedirá que una página sea indexada por los rastreadores de los motores de búsqueda. Así, si una página ha estado en línea durante un tiempo antes de que se añadiera un archivo robots.txt, seguirá almacenada en la base de datos del motor de búsqueda.

La importancia de robots.txt

Cuando un rastreador de un motor de búsqueda visita un sitio web determinado, siempre comprueba primero el archivo robots.txt. En realidad, robots.txt forma parte del Protocolo de Exclusión de Robots (REP). Este protocolo regula cómo se permite a los robots indexar y rastrear la web. Esto es útil si, por ejemplo, desea que un motor de búsqueda no indexe páginas duplicadas.

El impacto de robots.txt

El archivo robots.txt existe desde 1994 y fue diseñado por el holandés Martijn Koster. Su sitio web fue puesto en evidencia por un motor de búsqueda. Por lo tanto, el propósito de robots.txt es ganar más control sobre su ranking y SEO. Es muy importante si quieres que tu sitio web se posicione bien.

Mi consejo

Para cualquiera que trabaje con un consultor SEO de sitios web, es útil saber exactamente qué significa robots.txt y para qué se utiliza. Si no ha colocado robots.txt en su sitio web, los motores de búsqueda rastrearán todo el sitio web, algo que quizá prefiera evitar.