¿Qué es exactamente el archivo robots.txt?
Emmanuel Reyes
Bien, tengo entendido que el robots.txt es un archivo de texto que se encarga de guardar las rutas 'especiales' de un sitio, es decir, como rutas a paneles importantes, subdominios que aún no son desarrollados, etc.
Espero puedan aclararme bien.
1 respuesta
Felipe Barrios
Es un metodo que permite que ciertos bots puedan analizar la estructura de tu sitio web, se usa mucho con los motores de busqueda para la indexacion de paginas y eso te ayuda con SEO. Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código: ``` User-agent: * Disallow: ```
¿Quieres participar en la conversación?
Crea tu cuenta para responder, hacer tus propias preguntas y aprender con la comunidad.
Unirme a la comunidad