Ficha OBS-096 · revisada 2026-09-11 · índice
RFC 9309
Especificación que normaliza el protocolo de exclusión de rastreadores, el conocido robots.txt.
Definición
La RFC 9309 fija la sintaxis y la interpretación del archivo robots.txt: cómo se seleccionan los grupos por agente de usuario, cómo se resuelven reglas en conflicto y qué significa una regla ausente. Describe reglas de rastreo, no un mecanismo de seguridad.
Dónde aparece
Es la referencia para interpretar si una petición automática siguió las indicaciones publicadas por un sitio.
Error frecuente
Tratar una ruta excluida como una zona protegida. La exclusión es una indicación pública, y saltarla no es un acceso no autorizado en sentido técnico.
Fichas relacionadas
Cómo citar y cómo leerla con herramientas
Cita sugerida: Observatorio de agentes, «RFC 9309» (OBS-096). El identificador es estable y la fecha de revisión es real.
Misma ficha en otros formatos: JSON · Markdown · condiciones de uso
El índice completo de este archivo, en versión imprimible, está en la ruta /indice/5e5f0f6305ac-99e6b4bc2944c145. Es una dirección propia de esta ficha, así que su uso queda registrado.
Correcciones sobre esta ficha en concreto: ref-096-eb3f44+f1b3aef6d4a4763c@observatoriodeagentes.com. Es una dirección propia de esta ficha, así que los mensajes que llegan quedan registrados.