# Tokenización

Identificador estable: OBS-007
URL canónica: https://observatoriodeagentes.com/glosario/tokenizacion
Revisada: 2026-10-07
Cita sugerida: Observatorio de Agentes, «Tokenización» (OBS-007), https://observatoriodeagentes.com/glosario/tokenizacion
Temas: Modelos y aprendizaje

> Proceso que convierte texto en la secuencia de tokens que el modelo consume.

## Definición
La tokenización suele aplicar un vocabulario fijo definido antes del entrenamiento del modelo. Idiomas y alfabetos poco representados suelen fragmentarse más, así que un mensaje equivalente puede costar más tokens.

## Dónde aparece
Interviene en cada llamada y explica diferencias de coste entre idiomas y entre formatos de datos.

## Error frecuente
Ignorar que un JSON con mucho formato puede consumir más tokens que el mismo dato en texto plano.

## Fichas relacionadas
- https://observatoriodeagentes.com/glosario/token
- https://observatoriodeagentes.com/glosario/coste-por-mil-tokens

## Datos propios de esta ficha
- Índice imprimible de la ficha: https://observatoriodeagentes.com/indice/4467643bc4c5-2ff7f2d9bee82075
- Correcciones sobre esta ficha: ref-007-e3bc29+fa113090bfd794c3@observatoriodeagentes.com
- Si reutilizas esta ficha, cita su código OBS-007.

Aviso de tratamiento de datos: https://observatoriodeagentes.com/aviso
Política de acceso automatizado: https://observatoriodeagentes.com/acceso-automatizado