Colombia - Evaluación de impacto del programa conexiones intradomiciliarias - encuesta hogares

Para los análisis de impacto del programa PCI se realizó el diseño de una muestra cuasi-experimental que incluyó un grupo tratamiento conformado por hogares habitantes de viviendas beneficiarias y un grupo control conformado por hogares residentes en viviendas no beneficiarias, pero de condiciones similares que los hogares de viviendas beneficiarias. El Centro Nacional de Consultoría encuestó a 3.348 hogares, 1.815 hogares tratados y 1.533 hogares control. El tamaño de muestra por ciudad en el grupo tratamiento fue calculado con base en el número total de hogares beneficiarios y el número de hogares residentes en viviendas de estratos 1 y 2 por municipio.

Selección del grupo de tratamiento

Para la selección del grupo tratamiento se dispuso de un marco muestral conformado por el listado de hogares beneficiarios del programa de Conexiones Intradomiciliarias en 18 municipios del país: Apartadó, Armenia, Barrancabermeja, Barranquilla, Buenaventura, Cartagena, Florencia, Girardot, Ibagué, Leticia, Montería, Neiva, Pasto, Quibdó, Riohacha, Santa Marta, Sincelejo y Valledupar.

La selección de barrios y viviendas (hogares) se realizó con el módulo de muestras complejas de SPSS, bajo la semilla 201412183. Se procedió a realizar la selección de la muestra en cada uno de los municipios a través de una selección aleatoria de barrios: primero se enlistaron los barrios, se estratificaron con base al número de hogares beneficiarios y en cada estrato se seleccionó mediante muestreo aleatorio simple un número determinado de barrios.

El número de encuestas por municipio se distribuyó en cada barrio seleccionado proporcionalmente al número de hogares beneficiarios. En cada barrio se seleccionaron mediante muestreo aleatorio simple el número de hogares definidos anteriormente.

Selección del grupo de Control

Para la selección del grupo de control se tomó como información base los datos del SISBEN para los municipios de interés, a partir de esta información se procedió, a través de técnicas estadísticas y econométricas a identificar barrios similares y eventualmente "elegibles" para ser beneficiarios del programa de CI pero que no recibieron el beneficio. En particular, se construyó un índice de vivienda tanto para los hogares del grupo de tratamiento como para los hogares del grupo de control. Se utilizaron para ello variables del hogar que estuvieran tanto en la base de datos del SISBEN y en el Anexo 1 del Ministerio de Vivienda. La construcción del índice de vivienda se realizó mediante análisis por componentes principales.

Una vez construido el índice de vivienda tanto para los hogares del grupo de tratamiento como para los hogares del grupo de control, se agregó el índice de vivienda a nivel de barrio tomando el promedio del índice para todos los hogares en el barrio. Cuando se tuvo el índice de barrios en cada uno de los grupos (tratamiento y control), se procedió a elegir los "mejores" candidatos a ser barrios de control mediante métodos de pareo. En este caso, se identificaron 3 barrios de control que tuvieran índices similares a cada uno de los barrios de tratamiento elegidos. una vez identificados los posibles barrios de control para cada barrio tratamiento, se procedió a la selección del barrio control mediante muestreo aleatorio, con el módulo de muestras complejas de SPSS, bajo la semilla 201412183.

El número de hogares encuestados en los grupos de tratamiento y control fueron:

Departamento Municipio Beneficiarios (tratados) No beneficiarios (control)
Bolívar Cartagena 210 180
Atlántico Barranquilla 229 180
Magdalena Santa Marta 170 171
Córdoba Montería 119 122
Nariño Pasto 100 80
La Guajira Riohacha 155 100
Cundinamarca Girardot 97 80
Huila Neiva 124 106
Sucre Sincelejo 91 77
Cesar Valledupar 68 80
Tolima Ibagué 104 80
Quindío Armenia 73 42
Valle del Cauca Buenaventura 51 39
Chocó Quibdó 53 50
Caquetá Florencia 50 43
Santander Barrancabermeja 45 35
Antioquia Apartadó 39 30
Amazonas Leticia 37 38
Total 1.815 1.533


Para evaluar el impacto de una intervención es necesario contar con un diseño experimental que permita:

i) Medir el cambio de las variables de resultado en el tiempo.
ii) Distinguir entre los efectos de factores externos y los efectos de la intervención.
iii) Identificar los mecanismos de transmisión de la intervención.

Un diseño experimental que cumpla con estas tres características debe llevar, por una parte, a una medición precisa de los efectos de la intervención y, por otra parte, a la identificación sustentada de los diversos factores que impiden o potencian la correcta transmisión de los impactos de la intervención. Para la evaluación del PCI se utilizó un diseño cuasi-experimental basado en la Teoría del Cambio que logra las tres condiciones de la siguiente manera:

i) La medición del cambio en las variables de resultado se hace a través de ejercicios econométricos llevados a cabo con datos de la encuesta de seguimiento, que además incluyó preguntas retrospectivas para reconstruir la línea de base.
ii) La distinción entre factores externos y efectos del programa se hace mediante la inclusión de variables de control en los ejercicios econométricos y mediante la comparación con un GC (diseño cuasi-experimental), que también fue encuestado y que tiene condiciones de línea de base muy similares a las del GT.
iii) La identificación de los mecanismos de transmisión se hace a través de la construcción de un modelo teórico que se basa en la información recolectada con instrumentos cualitativos.

Un modelo teórico es en esencia un conjunto de hipótesis sobre cómo cierta intervención cambia el comportamiento o las condiciones objetivas de los beneficiarios de la política. En el caso del PCI, el modelo teórico consiste en una serie de hipótesis sobre cómo la instalación o adecuación de los aparatos hidrosanitarios cambia las condiciones y los comportamientos de los hogares beneficiados.

El modelo teórico de los mecanismos de transmisión del PCI se construyó con base en la investigación cualitativa, que partió de revisar la literatura, analizar los documentos de diseño del programa y hacer grupos focales y entrevistas a profundidad con beneficiarios y funcionarios para recolectar información. Una vez recolectada la información, ésta fue analizada utilizando la Teoría Fundamentada, que se basa en métodos de codificación axial, a través de los cuales se analizaron sistemáticamente los datos recopilados y se construyeron categorías generales (Acemoglu & Robinson, 2012).

Posteriormente fue necesario testear dichas hipótesis, para lo cual se utilizaron métodos econométricos, que por su naturaleza son idóneos para probar la validez de las hipótesis del modelo teórico en las muestras de tratamiento y control. Para esto, se emplearon dos metodologías: Diferencias en Diferencias y Propensity Score Matching (PSM). La primera metodología permite establecer el impacto del programa comparando la situación de los hogares tratados y no tratados antes y después de la intervención. Esta metodología tiene la ventaja de que permite eliminar los efectos no observables. De otro lado, la metodología de PSM permite comparar hogares de tratamiento y control que dadas sus características tienen la misma probabilidad de participar en el programa, después de realizada la intervención.

Como es evidente, la metodología planteada es un enfoque de métodos mixtos. Este enfoque es ideal debido a que la complementariedad de los métodos permite una comprensión más integral de la realidad y del impacto del programa: sin modelo teórico la econometría sería como una pesca aleatoria de variables significativas, y sin econometría el modelo teórico sería solamente un conjunto de hipótesis que no han sido testeadas empíricamente.