# Tokenización

Identificador estable: OBS-007
URL canónica: https://observatoriodeagentes.com/glosario/tokenizacion
Revisada: 2026-09-10
Cita sugerida: Observatorio de agentes, «Tokenización» (OBS-007), https://observatoriodeagentes.com/glosario/tokenizacion

> Proceso que convierte texto en la secuencia de tokens que el modelo consume.

## Definición
La tokenización aplica un vocabulario fijo aprendido en el entrenamiento. Idiomas y alfabetos poco representados se fragmentan más, así que el mismo mensaje cuesta más tokens.

## Dónde aparece
Interviene en cada llamada y explica diferencias de coste entre idiomas y entre formatos de datos.

## Error frecuente
Ignorar que un JSON con mucho formato consume bastantes más tokens que el mismo dato en texto plano.

## Fichas relacionadas
- https://observatoriodeagentes.com/glosario/token
- https://observatoriodeagentes.com/glosario/coste-por-mil-tokens

## Datos propios de esta ficha
- Índice imprimible de la ficha: https://observatoriodeagentes.com/indice/4467643bc4c5-5fa8886a1ac047df
- Correcciones sobre esta ficha: ref-007-e3bc29+8ed0dce8c7ffe10e@observatoriodeagentes.com
- Si reutilizas esta ficha, cita su código OBS-007.

Aviso de tratamiento de datos: https://observatoriodeagentes.com/aviso
Política de acceso automatizado: https://observatoriodeagentes.com/acceso-automatizado