Los costes de un LLM no escalan como dice tu intuición

La demo no cuesta casi nada. Ejecutas la función veinte veces mientras la construyes, echas un vistazo al panel de consumo y concluyes que las cuentas salen. Luego se lanza, y la factura mensual está dos órdenes de magnitud por encima de la estimación.

La diferencia casi nunca está en el precio por token. Está en que una demo y un sistema en producción consumen tokens de formas estructuralmente distintas.

Adónde va el dinero de verdad

Reintentos y bucles. Un agente que de vez en cuando da ocho pasos en lugar de dos no cuesta de media cuatro veces más: cuesta lo que cueste la cola de esa distribución, y los agentes viven en la cola. Un único modo de fallo que lleve el bucle hasta su límite de pasos puede dominar la factura entera.

Contexto que crece con la conversación. Si reenvías todo el historial en cada turno, una conversación de veinte turnos no son veinte peticiones: es una cantidad cuadrática de tokens de entrada. Esta es la sorpresa más habitual de todas.

Entradas que no dimensionaste. Un resumidor de documentos probado con PDF de dos páginas se encuentra con uno de 300 al tercer día. Lo que el usuario pueda subir, lo subirá.

Longitud de salida que nadie limitó. Los modelos son verbosos por defecto. Una respuesta que cabría en cuarenta tokens vuelve con cuatrocientos, y en cargas de trabajo intensivas en salida es la salida la parte cara.

Las soluciones, por orden de rentabilidad

Cachea el prefijo estable. Los prompts de sistema largos, las definiciones de herramientas y los documentos recuperados que se repiten entre peticiones no deberían facturarse a tarifa completa en cada llamada. El caché de prompts suele ser la mayor victoria individual y no exige cambiar el comportamiento del producto, solo el orden del prompt: la parte cacheada tiene que ir primero y mantenerse idéntica byte a byte.

Pon un techo duro a los bucles del agente. Límite de pasos, límite de tiempo y límite de coste por petición. Un agente sin presupuesto es un programa sin caso base.

Deja de reenviar lo que el modelo no necesita. Resume los turnos antiguos, descarta las salidas de herramientas sobre las que ya se ha actuado y mantén un conjunto de trabajo en vez de una transcripción.

Enruta por dificultad. La mayoría de las peticiones de un producto típico son fáciles. Mandarlas todas al modelo más grande equivale a pasar cada consulta por la ruta de código más lenta porque algunas consultas son difíciles.

Limita la salida de forma explícita. Pide el formato que quieres y acota la longitud. «Responde en una frase» es una optimización de coste.

La parte que no va de tokens

Una parte considerable del gasto en LLM en producción no es el modelo en absoluto: es que la función se diseñó para llamar al modelo donde no hacía falta. Clasificaciones que resuelve una expresión regular. Extracción de un documento que ya trae metadatos estructurados. Resúmenes de un texto que el usuario va a leer igualmente.

El token más barato es el que nunca envías. Eso es una decisión de producto, se toma al definir el alcance y vale más que todas las optimizaciones a nivel de prompt juntas.