0 · Contexto — qué problema resolvemos
DIRD+ está diseñado primariamente como herramienta human-in-the-loop (HITL):
un tecnólogo médico u oftalmólogo trabaja con el modelo, no es reemplazado por él. El modelo
marca, sugiere y prioriza; la persona revisa, valida y decide.
Como modo secundario, puede operar como screening autónomo cuando el contexto
lo amerita (postas rurales, tamizaje masivo, ausencia de especialista in situ).
Esta validación evalúa el modo autónomo — el modelo solo, sin asistencia
humana — porque es el setup que se puede medir contra las etiquetas de APTOS. Es deliberadamente
el escenario más exigente: el peor caso desde el punto de vista del producto, dado que el caso
de uso real (HITL) suma el juicio clínico encima del output del modelo. La pregunta operacional
que respondemos aquí es la binaria de tamizaje:
¿esta imagen requiere atención de un oftalmólogo, sí o no?
Para validar eso aprovechamos APTOS 2019 Blindness Detection (Kaggle,
n=3 662 imágenes), que viene etiquetado con la escala clínica internacional de
retinopatía diabética (ICDR) en grados 0 a 4:
| Grado ICDR | Significado | Etiqueta binaria | n |
|---|
| 0 | Sin retinopatía | NORMAL | 1 805 |
| 1 | RD leve | PATOLÓGICO | 370 |
| 2 | RD moderada | PATOLÓGICO | 999 |
| 3 | RD severa | PATOLÓGICO | 193 |
| 4 | RD proliferativa | PATOLÓGICO | 295 |
Binarizamos el ground truth: grado 0 → NORMAL, grados 1-4 →
PATOLÓGICO (1 805 sanos vs 1 857 patológicos, 49.3% / 50.7% — balanceado).
La tarea de validación se reduce entonces a "dado el output del detector, ¿qué umbrales
de confianza separan mejor sanos de patológicos?". Esa es la pregunta que persigue toda
la cadena de experimentos siguiente — y PCT_fpr02 es la respuesta calibrada.
Nota de diseño: el modelo es un detector de lesiones (6 clases: hard_exudate,
hemorrhage, cotton_wool_spot, microhemorrhages, optic_disc, fovea), no un clasificador de
grados. La regla binaria es: si aparece al menos una lesión sobre su umbral, la
imagen se marca como patológica. Las clases anatómicas (disco óptico, fóvea) se ignoran a
propósito porque están en toda retina.
1 · ¿Qué es PCT_fpr02?
PCT = Per-Class Thresholds (umbral por clase).
FPR02 = False Positive Rate ≤ 2% medido sobre fondos sanos.
En lugar de aplicar el mismo umbral de confianza a todas las clases de lesión
(ej. 0.25 uniforme), cada lesión tiene su propio umbral, calibrado para que
la tasa de falsos positivos sobre retinas sanas no supere el 2% por clase.
hard_exudateτ = 0.63
microhemorrhagesτ = 0.26
cotton_wool_spotτ = 0.85
hemorrhageτ = 0.05
Regla de decisión: ALTERADO ⇔ ∃ clase c con score(c) ≥ τ[c]. Si solo se
detectan landmarks anatómicos (disco óptico, fóvea) o nada, la imagen es NORMAL.
Por qué importa: cada lesión tiene una distribución de scores distinta. microhemorrhages
es la clase con mayor AUC del modelo (0.988), pero saturaba falsos positivos a τ=0.25 porque
su distribución empieza más abajo. hard_exudate al revés: sobre-detecta en sanos
y necesita un τ alto. Calibrar por clase libera la capacidad real de cada detector.
2 · ¿Cómo llegamos a esa idea?
No fue una decisión a priori. Fueron seis experimentos encadenados, cada uno
respondiendo a la pregunta que dejó abierta el anterior. Esta es la secuencia:
Corrida binaria base — ¿generaliza fuera del entrenamiento?
Pregunta: el modelo se entrenó en IDRiD; ¿funciona en APTOS sin reentrenar?
Sí, generaliza muy bien (AUC 0.95). Pero a conf=0.25 uniforme da 981 falsos positivos sobre 1 805 normales. Sirve para tamizaje, no para producción.
Sens 0.997 · Spec 0.456 · MCC 0.541
Barrido conf y N — ¿cuál es el mejor umbral uniforme?
Pregunta: ¿se arregla subiendo el umbral o exigiendo varias detecciones?
El mejor punto uniforme fue R3: conf≥0.40 ∧ N≥2. Pero notamos algo: usar el conteo de lesiones como score discriminaba mejor (AUC 0.964) que el score máximo (0.949). Pista de que las clases aportaban señal heterogénea.
R3 → Sens 0.932 · Spec 0.918 · MCC 0.850
Calibración per-clase — ¿y si cada lesión tiene su propio umbral?
Calculamos curvas ROC por clase contra el ground truth binario y elegimos τ con tres criterios: Youden J, FPR≤5%, FPR≤2%. FPR≤2% ganó: MCC saltó de 0.85 a 0.913 sin sacrificar sensibilidad. Aquí nació PCT_fpr02.
PCT_fpr02 → Sens 0.978 · Spec 0.933 · MCC 0.913
Pregunta: ¿esos τ funcionarían en otra muestra o memorizamos APTOS?
Estables. Coeficiente de variación máximo: 8% (un solo τ). El resto <1%. MCC reproducible 0.911 ± 0.015 en cada fold.
CV: MCC 0.911 ± 0.015 · σ Spec ≤ 0.004
Filtro de área — ¿los falsos positivos son bboxes pequeñas?
Hipótesis parcialmente cierta. Filtrando bboxes <800 px² mejoró MCC de R3 (0.85 → 0.88), pero sigue por debajo de PCT_fpr02. La calibración por clase ya descarta esas detecciones de baja calidad de forma score-driven.
R3+area800 → MCC 0.879
Área × per-clase — ¿suman o son redundantes?
Redundantes. Aplicar ambos no mejora vs PCT_fpr02 solo. El AUC interno sube con el filtro pero el τ se reajusta y compensa: el resultado final es invariante. Conclusión: usar solo calibración per-clase como única intervención post-modelo.
PCT_fpr02 + area1200 → MCC 0.913 (igual)
3 · Tabla maestra — todos los puntos comparados
| Configuración | Sens | Spec | MCC | Youden J |
|---|
| conf=0.25 uniforme (baseline) | 0.997 | 0.456 | 0.541 | 0.453 |
| R3 — conf≥0.40 ∧ N≥2 | 0.932 | 0.918 | 0.850 | 0.850 |
| PCT_fpr02 (recomendado) | 0.978 | 0.933 | 0.913 | 0.911 |
| PCT_fpr02 (5-fold CV) | 0.978 ± 0.013 | 0.931 ± 0.004 | 0.911 ± 0.015 | 0.909 ± 0.014 |
| R3 + filtro área 800 px² | 0.925 | 0.954 | 0.879 | 0.879 |
| PCT_youden_n2 (alta-spec) | 0.915 | 0.974 | 0.890 | 0.889 |
4 · Modos alternativos según caso de uso
| Modo | Sens | Spec | Cuándo |
|---|
| Screening máxima sens | 0.997 | 0.456 | Tamizaje masivo, no perder ningún caso |
| Producción balanceado (PCT_fpr02) | 0.978 | 0.933 | Default recomendado |
| Asistencial alta spec | 0.915 | 0.974 | Triage donde el sobre-flag tiene costo |
| Confirmación / 2ª opinión | 0.747 | 0.997 | PCT_fpr02 + N≥2 |
5 · Alcance de esta validación
Lo que mide este experimento es el modo autónomo de DIRD+ — el modelo
operando solo contra el ground truth de APTOS, sin asistencia humana. Es el escenario
más exigente para el producto, y los números aguantan: Sens 97.8% / Spec 93.1% /
MCC 0.91 a ~9 FPS en CPU, con τ estables por 5-fold CV.
Lo que no abarca este experimento:
- Modo human-in-the-loop: el caso de uso primario del producto. Su validación es un estudio clínico aparte — tecnólogos marcando con y sin IA, decisión con y sin algoritmo, verificador como árbitro. Otra historia, ya planificada, no parte de esta validación técnica.
- Multi-cohorte: validado en APTOS 2019 (India) y externamente en DDR (China, n=12.522, crudo) y Messidor-2 (Francia). El umbral τ congelado de APTOS transporta entre poblaciones (ΔMCC≈0); el AUC fuera de dominio es 0.84 (DDR) — una caída real y cuantificada respecto del 0.95 in-distribution.
- Granularidad clínica: el output operacional es binario "requiere atención sí/no". El estadiaje ICDR 0-4 es tarea distinta y propia del especialista.
- Métricas a nivel de imagen: APTOS no provee anotaciones por lesión, así que se reporta clasificación binaria — coherente con el caso de uso.
En síntesis: esta validación cubre el piso del producto (modelo solo).
El techo — desempeño en flujo HITL real — se mide en un estudio
clínico dedicado.
