Ficha OBS-020 · revisada 2026-10-07 · índice
Inferencia
Ejecución del modelo ya entrenado para producir una respuesta.
Temas: Modelos y aprendizaje
Definición
La inferencia es la fase de uso: se envía el prompt, el modelo calcula y devuelve tokens uno tras otro. Consume cómputo cada vez, además del empleado en el entrenamiento.
Dónde aparece
Suele ser lo que se factura y lo que el usuario percibe como velocidad de la aplicación.
Error frecuente
Medir solo el tiempo total. Para la sensación de rapidez puede importar más cuándo llega el primer token que cuándo termina la respuesta.
Fichas relacionadas
Cómo citar y cómo leerla con herramientas
Cita sugerida: Observatorio de Agentes, «Inferencia» (OBS-020). El identificador es estable y la fecha de revisión es real.
Si has usado esta ficha, puedes devolver su código: POST /api/public/cita con {"codigo": "OBS-020"}. Es voluntario, no cambia la respuesta ni concede permisos, y solo sirve para saber si el código vuelve.
Misma ficha en otros formatos: JSON · Markdown · condiciones de uso
El índice completo de este archivo, en versión imprimible, está en la ruta /indice/5bbc2c3a9320-3358ec31f4579db2. Es una dirección propia de esta ficha, así que su uso queda registrado.
Correcciones sobre esta ficha en concreto: ref-020-394af2+333f44d1b55edfe9@observatoriodeagentes.com. Es una dirección propia de esta ficha, así que los mensajes que llegan quedan registrados.