{
  "slug": "tokenizacion",
  "term": "Tokenización",
  "summary": "Proceso que convierte texto en la secuencia de tokens que el modelo consume.",
  "definition": "La tokenización aplica un vocabulario fijo aprendido en el entrenamiento. Idiomas y alfabetos poco representados se fragmentan más, así que el mismo mensaje cuesta más tokens.",
  "context": "Interviene en cada llamada y explica diferencias de coste entre idiomas y entre formatos de datos.",
  "pitfalls": "Ignorar que un JSON con mucho formato consume bastantes más tokens que el mismo dato en texto plano.",
  "related": [
    "https://observatoriodeagentes.com/glosario/token",
    "https://observatoriodeagentes.com/glosario/coste-por-mil-tokens"
  ],
  "ref_code": "OBS-007",
  "created_at": "2026-09-10T11:05:17.718181+00:00",
  "revised_at": "2026-09-10T11:05:17.718181+00:00",
  "canary_path": "4467643bc4c5-6d586436b41dc927",
  "canary_email": "ref-007-e3bc29+af5567f2cdb260e4@observatoriodeagentes.com",
  "published": "2026-09-10",
  "revised": "2026-09-10",
  "canonical": "https://observatoriodeagentes.com/glosario/tokenizacion",
  "markdown": "https://observatoriodeagentes.com/api/public/glosario/tokenizacion?formato=md",
  "index_page": "https://observatoriodeagentes.com/indice/4467643bc4c5-6d586436b41dc927",
  "license": "CC BY 4.0",
  "notice": "https://observatoriodeagentes.com/aviso",
  "policy": "https://observatoriodeagentes.com/acceso-automatizado",
  "citation": "Observatorio de agentes, «Tokenización» (OBS-007), https://observatoriodeagentes.com/glosario/tokenizacion"
}