Ficha OBS-096 · revisada 2026-10-07 · índice
RFC 9309
Especificación que normaliza el protocolo de exclusión de rastreadores, el conocido robots.txt.
Temas: Web y protocolos
Definición
La RFC 9309 fija la sintaxis y la interpretación del archivo robots.txt: cómo se seleccionan los grupos por agente de usuario, cómo se resuelven reglas en conflicto y qué significa una regla ausente. Describe reglas de rastreo, no un mecanismo de seguridad.
Dónde aparece
Es la referencia para interpretar si una petición automática siguió las indicaciones publicadas por un sitio.
Error frecuente
Tratar una ruta excluida como una zona protegida. La exclusión es una indicación pública, y saltarla no implica por sí solo un acceso no autorizado en sentido técnico.
Fichas relacionadas
Cómo citar y cómo leerla con herramientas
Cita sugerida: Observatorio de Agentes, «RFC 9309» (OBS-096). El identificador es estable y la fecha de revisión es real.
Si has usado esta ficha, puedes devolver su código: POST /api/public/cita con {"codigo": "OBS-096"}. Es voluntario, no cambia la respuesta ni concede permisos, y solo sirve para saber si el código vuelve.
Misma ficha en otros formatos: JSON · Markdown · condiciones de uso
El índice completo de este archivo, en versión imprimible, está en la ruta /indice/5e5f0f6305ac-35d9dfe420dea7f8. Es una dirección propia de esta ficha, así que su uso queda registrado.
Correcciones sobre esta ficha en concreto: ref-096-eb3f44+90793c0675b1e908@observatoriodeagentes.com. Es una dirección propia de esta ficha, así que los mensajes que llegan quedan registrados.