{
  "slug": "tokenizacion",
  "term": "Tokenización",
  "summary": "Proceso que convierte texto en la secuencia de tokens que el modelo consume.",
  "definition": "La tokenización suele aplicar un vocabulario fijo definido antes del entrenamiento del modelo. Idiomas y alfabetos poco representados suelen fragmentarse más, así que un mensaje equivalente puede costar más tokens.",
  "context": "Interviene en cada llamada y explica diferencias de coste entre idiomas y entre formatos de datos.",
  "pitfalls": "Ignorar que un JSON con mucho formato puede consumir más tokens que el mismo dato en texto plano.",
  "related": [
    "https://observatoriodeagentes.com/glosario/token",
    "https://observatoriodeagentes.com/glosario/coste-por-mil-tokens"
  ],
  "ref_code": "OBS-007",
  "category": "Modelos y aprendizaje",
  "tags": [
    "Modelos y aprendizaje"
  ],
  "sources": [],
  "created_at": "2026-09-10T11:05:17.718181+00:00",
  "revised_at": "2026-10-07T11:57:20.467065+00:00",
  "canary_path": "4467643bc4c5-4797183d1ac3f0cc",
  "canary_email": "ref-007-e3bc29+2b002101ed4fb075@observatoriodeagentes.com",
  "published": "2026-09-10",
  "revised": "2026-10-07",
  "canonical": "https://observatoriodeagentes.com/glosario/tokenizacion",
  "markdown": "https://observatoriodeagentes.com/api/public/glosario/tokenizacion?formato=md",
  "index_page": "https://observatoriodeagentes.com/indice/4467643bc4c5-4797183d1ac3f0cc",
  "license": "CC BY 4.0",
  "notice": "https://observatoriodeagentes.com/aviso",
  "policy": "https://observatoriodeagentes.com/acceso-automatizado",
  "citation": "Observatorio de Agentes, «Tokenización» (OBS-007), https://observatoriodeagentes.com/glosario/tokenizacion"
}