robots.txt

¿Qué es robots.txt?

robots.txt es un fichero de texto en la raíz de una web que indica a los rastreadores automáticos a qué partes pueden entrar y a cuáles no. Funciona por grupos: un bloque por agente o por comodín, con reglas de permitir y prohibir rutas. No es un candado, es un cartel que los rastreadores serios respetan por convención. Hoy decide algo más gordo que antes, porque es donde se permite o se bloquea a los rastreadores de las IAs, a menudo sin que el dueño de la web lo sepa.

Términos relacionados