Charly face Emmanuel Reyes realizo una pregunta

¿Qué es exactamente el archivo robots.txt?

Bien, tengo entendido que el robots.txt es un archivo de texto que se encarga de guardar las rutas 'especiales' de un sitio, es decir, como rutas a paneles importantes, subdominios que aún no son desarrollados, etc. Espero puedan aclararme bien.


1 personas han comentado.

12063705 10207273024561428 59106377850244238 n Felipe Barrios
ha comentado hace 11 días

Es un metodo que permite que ciertos bots puedan analizar la estructura de tu sitio web, se usa mucho con los motores de busqueda para la indexacion de paginas y eso te ayuda con SEO.

Este ejemplo permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código:

User-agent: *
Disallow: