🔧 07_Preparacion_Datos
Objetivo: preparar la tabla final para los análisis multivariados (MDS, K-Means) y el cálculo del Score FMI, asegurando que solo los indicadores relevantes ingresen al modelo y que estén en la escala adecuada para el clustering.
Nodos que agrupa:
1. Rule Engine — Filtrado de indicadores con datos insuficientes
2. Row Filter — Ingreso solo de los indicadores marcados
3. Normalizer — Normalización de datos por período
4. Math Formula — Definición de Shock
5. Math Formula — Definición de Recuperación
6. Math Formula — Definición de Neto
Decisiones tomadas:
1. Rule Engine + Row Filter: se crea la columna Incluir_ML y se filtra para excluir los indicadores con problemas de datos:
- SE.ADT.LITR.ZS (alfabetización): datos anuales insuficientes, StdDev = 0.
- SH.DYN.AIDS.ZS (VIH): varianza prácticamente nula (0.3-0.4).
- SH.STA.MMRT (mortalidad materna): valores atípicos en 2018-2019 y
escala desproporcionada (155-270) que distorsiona el clustering.
Quedan 9 indicadores para el análisis multivariado.
2. Normalizer: se aplica Z-Score Normalization a las columnas Pre, Pandemia y Post. Se elige Z-Score en lugar de Min-Max porque los indicadores tienen escalas muy distintas y Min-Max comprimía los valores bajos hacia 0, agrupando incorrectamente por nivel absoluto.
3. Math Formula (Shock): Shock = Pandemia - Pre. Mide la magnitud y dirección del cambio durante la pandemia. Valor negativo = caída; positivo = mejora.
4. Math Formula (Recuperación): Recuperacion= Post - Pandemia.
Mide la magnitud y dirección del cambio post-pandemia. Valor positivo = volvió a subir; negativo = siguió bajando.
5. Math Formula (Neto): Neto = Post - Pre.
Mide el cambio neto entre pre y post-pandemia. Valor positivo = mejoró respecto al pre; negativo = empeoró.
Justificación de las features de cambio:
Se observó que el k-Means con valores normalizados agrupaba los indicadores por nivel (alto vs bajo) y no por patrón de recuperación.
Con las features Shock, Recuperacion y Neto, el k-Means detecta correctamente los dos grupos:
- Cluster 0: recuperados (Shock positivo, Recuperacion positiva).
- Cluster 1: no recuperados o mejora continua (Shock negativo,
Recuperacion negativa).
Salida: tabla con 9 indicadores, columnas normalizadas, features de cambio y columna Incluir_ML = "Sí".