Colombia - Evaluacion Institucional y de Resultados del Progrma Nacional de Estimulos

version final base de datos incluyendo factor de expansión

El diseño de la evaluación en el componente cuantitativo siguió el enfoque de curso de vida en el que los cambios sociales se analizan como parte de la interconexión entre una o varias trayectorias vitales (escolar, familiar, laboral, profesional, reproductiva, etc.) y no de manera lineal o fragmentada de los diferentes sucesos personales y estructurales que afectan la vida de las personas. Este enfoque de curso de vida permite articular los métodos cualitativos y cuantitativos aplicados en el componente de resultados, mientras que en el componente cuantitativo este enfoque guía toda la estrategia de medición, en el componente cualitativo se focaliza en los estudios de caso.

Si bien los datos longitudinales brindan enormes posibilidades para el análisis de trayectorias vitales, la información obtenida de encuestas de corte transversal también son una opción cuando se recolecta información retrospectiva de tipo biográfico. La aplicación de las trayectorias de vida se realizó mediante la recolección de información sobre la situación actual de los participantes en el PNE y sobre su futuro con información prospectiva, recogiendo las expectativas de los participantes acerca de próximas transiciones en sus trayectorias. las trayectorias culturales combinaran información de diferente tipo. En primer lugar, datos biográficos que registren logros, roles y circunstancias de los participantes en diferentes momentos de sus vidas. En segundo lugar, percepciones de los participantes frente al PNE. Por ejemplo, si el estímulo fue un turning point y su capacidad de agencia del incentivo. Por último, indicadores más estándar propios del análisis socioeconómico y del sector cultural. Esta información, como se presenta en la siguiente sección, se recolecta a partir de una encuesta estructurada a participantes, analítica de datos y registros administrativos.

Dado que la metodología propuesta para el componente cuantitativo fue un censo hay errores ajenos al muestreo como los errores de no-respuesta que deben calibrarse para controlar sesgos en las estimaciones mediante procedimientos estadísticos. Por lo tanto, teniendo en cuenta la alta tasa de no respuesta presentada en el estudio fue necesario el cálculo de un factor de propensión de respuesta el cuál se llevó a cabo a través de técnicas de Machine Learning. Dada la asimetría en la distribución de la variable respuesta (1: Contestó - 0: No Contestó) las medidas de calidad de predicción evaluadas fueron Recall y Precisión.

Igualmente, para mitigar el exceso de ceros, se realizó un sub muestreo de los casos con respuesta igual a 0 utilizando la función RendomUnderSampler del módulo imblearn.under_sampling de Python con parámetro sampling_strategy=0.4. Pasando así de una base de 30466 registros con 1615 casos de éxito de respuesta a una base de 5652 con los mismos casos de éxito.

Para el modelamiento se utilizó la función setup el módulo pycaret.classification, el conjunto de entrenamiento corresponde al 70% de la base y el 30% restante al conjunto de prueba. Considerando que es de interés poder interpretar la importancia de los predictores en la predicción y las métricas de análisis mencionadas inicialmente se eligió el RandomForest como modelo. El modelo tiene un Recall y una Precisión ambos de alrededor de 0.73 lo cual cumple con los objetivos planteados para el ejercicio. Sumado a eso, se tiene una medida de AUC del 0.88, lo cual es un buen indicador de calidad predictiva.

ganadores y no ganadores de las convocatorias de estímulos entre el 2018 y 2020