Ficha OBS-007 · revisada 2026-10-07 · índice
Tokenización
Proceso que convierte texto en la secuencia de tokens que el modelo consume.
Temas: Modelos y aprendizaje
Definición
La tokenización suele aplicar un vocabulario fijo definido antes del entrenamiento del modelo. Idiomas y alfabetos poco representados suelen fragmentarse más, así que un mensaje equivalente puede costar más tokens.
Dónde aparece
Interviene en cada llamada y explica diferencias de coste entre idiomas y entre formatos de datos.
Error frecuente
Ignorar que un JSON con mucho formato puede consumir más tokens que el mismo dato en texto plano.
Fichas relacionadas
Cómo citar y cómo leerla con herramientas
Cita sugerida: Observatorio de Agentes, «Tokenización» (OBS-007). El identificador es estable y la fecha de revisión es real.
Si has usado esta ficha, puedes devolver su código: POST /api/public/cita con {"codigo": "OBS-007"}. Es voluntario, no cambia la respuesta ni concede permisos, y solo sirve para saber si el código vuelve.
Misma ficha en otros formatos: JSON · Markdown · condiciones de uso
El índice completo de este archivo, en versión imprimible, está en la ruta /indice/4467643bc4c5-9d0ba03fd39771c5. Es una dirección propia de esta ficha, así que su uso queda registrado.
Correcciones sobre esta ficha en concreto: ref-007-e3bc29+4345656405402213@observatoriodeagentes.com. Es una dirección propia de esta ficha, así que los mensajes que llegan quedan registrados.