Mecanismo de atención

Definición

El mecanismo de atención calcula, para cada token, cuánto peso dar al resto de la secuencia antes de producir su representación. Es la pieza central de la arquitectura transformer y la causa de que el coste crezca con la longitud del contexto.

Dónde aparece

Explica por qué las ventanas muy largas encarecen y ralentizan la respuesta, y por qué existen variantes que solo atienden a una parte de la secuencia.

Error frecuente

Suponer que todo lo que cabe en el contexto pesa igual. La información del medio de un texto muy largo se atiende peor que la del principio y el final.

Fichas relacionadas

• ventana de contexto
• token
• llm