robots.txt Tag

Home  /  Posts tagged "robots.txt"

Hoy os vamos a presentar a nuestro amigo, el archivo robots.txt. Para los que no lo conozcáis, se trata de un archivo en formato texto con extensión txt. Se encuentra en la carpeta raíz (/), dentro del servidor donde tengáis alojada vuestra página web. Para consultarlo, lo podéis hacer de la siguiente forma: Escribir en la barra superior del navegador la dirección de tu página web y al final, añadir una barra y “robots.txt” Un ejemplo de lo comentado anteriormente sería: midominio.com/robots.txt Donde “midominio.com” sería la dirección de vuestra página. Ejemplo robots.txt para Wordpress Ahora que ya sabemos dónde localizarlo y cómo consultarlo, vamos a ver para qué sirve. ¿Para