El fichero robots.txt es el elemento fundamental para la sitio que pretende aparecer bien indexada por los motores de búsqueda como Bing. Opera como una mapa para los rastreadores , indicándoles qué áreas de tu sitio pueden están crawleadas y cuáles evitar. La óptima configuración de este fichero ayuda a solucionar problemas de rastreo , op