Dashboard » Debates » ¿Qué es exactamente el archivo robots.txt?
Emmanuel Reyes
realizo una pregunta
Emmanuel Reyes
realizo una pregunta¿Qué es exactamente el archivo robots.txt?
Bien, tengo entendido que el robots.txt es un archivo de texto que se encarga de guardar las rutas 'especiales' de un sitio, es decir, como rutas a paneles importantes, subdominios que aún no son desarrollados, etc. Espero puedan aclararme bien.
Debes ser parte de la comunidad para poder comentar.
casi 5 años
Es un metodo que permite que ciertos bots puedan analizar la estructura de tu sitio web, se usa mucho con los motores de busqueda para la indexacion de paginas y eso te ayuda con SEO.
Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código: