Scoring

Principio

No hay modelo aprendido. Con doce a dieciséis decisiones al año, cualquier modelo ajustado a esa muestra está sobreajustado. Score de reglas con pesos explícitos que tuneamos a mano.

Etapas y costo

flowchart LR
    A[Aviso normalizado<br/>~cientos/día] --> B[Filtros duros<br/>SQL · costo cero]
    B --> C[Filtro de categoría<br/>SQL · costo cero]
    C --> D[Descarga + extracción PDF<br/>~decenas/mes · costo bajo]
    D --> E[Score de reglas<br/>costo cero]
    E --> F[LLM sobre supervivientes<br/>~decenas/mes · costo real]
    F --> G[Reporte]

El orden es el diseño

Descartar caro lo que se podía descartar barato es el desperdicio principal. A nuestro volumen, el LLM ve unas decenas de documentos al mes, no miles, y el costo deja de ser un problema.

Filtro de dos etapas para PDF

El carril B tiene que lidiar con PAD de 150 páginas.

1. Metadata barata sobre la respuesta JSON: país en la lista, sector hidromet o DRR, fecha reciente
2. Solo los supervivientes pasan a descarga del PDF y extracción
3. El texto extraído se guarda, para no volver a descargar ni re-extraer

Caché del LLM

Clave: hash del documento + versión del prompt.

Sin caché el costo se dispara

Cada vez que se ajuste una regla y se reprocese el histórico, sin caché se vuelve a pagar todo. Con caché, solo lo que cambió de prompt.

Versionar el prompt explícitamente en el código, no dejarlo implícito, para que el caché sepa cuándo invalidar.

Componentes del score

Pesos iniciales, a calibrar con los primeros tres meses.

Suman:

• Términos del estrato 3 en el pliego: formato abierto, interoperabilidad, ODIM_H5, CF/Radial, BUFR, WRDE, WMO-No. 1257
• Parque nacional mixto confirmado en WRD
• Alcance con migración, integración o composite multi-radar
• id_proyecto_padre vigilado con seis meses o más de anticipación
• País con referencia o contacto previo registrado
• Escalón consultoria_diseno

Restan:

• Señales de pliego dirigido (ver criterios)
• dias_ventana corto sin proyecto padre
• Categoría bienes sin componente de servicio identificable
• País sin presencia ni contacto

Qué produce el LLM

No un número. Un dictamen estructurado:

• Recomendación: ofertar / no ofertar / revisar
• Razón en una o dos frases
• Componente de servicio identificado, si lo hay, y su tamaño relativo
• Señales de pliego dirigido encontradas, citando dónde
• Campos de decisión que pudo extraer del pliego y que faltaban

El dictamen no decide

El dictamen entra al reporte como recomendación. La decisión la registra una persona en la tabla de decisiones. Si empezamos a aceptar el dictamen sin mirarlo, la tabla pierde valor como fuente de calibración.