Colombia - Realizar una evaluación de impacto del programa Colombia Mayor que permita medir el efecto causal de la intervención en el ingreso, consumo, pobreza y condiciones de dignidad de los beneficiarios.

1.1 El ambiente, las herramientas y la arquitectura propuestos o utilizados para el procesamiento de datos.

La técnica de levantamiento de la información que se implementó se fundamenta en el uso por parte de supervisores y encuestadores de Dispositivos Móviles de Captura (DMC - Computadores portátiles), en los cuales se instaló el aplicativo que elaboró SEI para la captura inteligente del formulario, utilizando un software robusto, de manera que se ajustara exactamente con los requerimientos del estudio.

La información de los adultos mayores beneficiarios del programa Colombia Mayor, se obtuvo por entrevista directa, cara a cara, mediante encuestas por muestreo, y utilizando, mientras las condiciones lo permitieron, Dispositivos Móviles de Captura (DMC - Computadores portátiles), en lugar de formularios impresos.

Inicialmente el formulario, definido con el DNP (Departamento Nacional de Planeación) y los expertos de la UT, se diagramo para eventuales impresiones en papel; se desarrolló también el aplicativo de captura, lo cual consistió en definir una interfaz amigable que muestra las preguntas (una cada vez) en la pantalla del dispositivo, y permite ingresar las respuestas y controlar la calidad de los datos.

1.2 Las etapas que se llevan a cabo en el procesamiento de datos (según el caso, transmisión de datos, controles de calidad, consolidación de archivos, validación y verificación de la consistencia interna de los datos, imputación, generación de resultados, seguridad y almacenamiento de la información).

Para operar el proyecto los supervisores y los encuestadores se dotaron con DMC - Computadores portátiles, en los cuales se instalaron los programas desarrollados para ingresar datos y validarlos directamente durante la entrevista, lo cual ofrece los siguientes beneficios en relación con el uso de formularios físicos:

· Permite eliminar procesos como la impresión de formularios, el despacho y distribución de los mismos, la recepción y archivo de formularios diligenciados, la crítica manual, la digitación y la corrección de inconsistencias.
· La crítica de los datos la hace el sistema teniendo a disposición la información completa del formulario al momento de la entrevista, lo cual permite validar cada variable y su consistencia con las demás del formulario, y emitir alertas para corregir el dato consultando directamente al informante. De hecho el programa no permitirá continuar la entrevista hasta tanto se haya corregido la variable con error, omisión, o inconsistente; tampoco admitirá respuestas en preguntas no aplicables (según los pases del formulario) y alertará sobre valores fuera de los rangos previstos (para que sean verificados). Por lo tanto la información vendrá depurada de campo.
· No obstante, SEI tiene por norma verificar la consistencia de la información, antes de entregarla al cliente, mediante un programa que incluye algunas validaciones no susceptibles de incorporar a la captura durante la entrevista, y realizar análisis de frecuencias simples, todo ello con el fin de garantizar la entrega de tablas de datos depuradas.
· La confidencialidad se garantiza de manera efectiva porque los datos no estarán visibles para terceras personas ni podrá verlos siquiera el supervisor una vez transferidos a su computador, excepto los reportes necesarios para el control del trabajo de campo y las verificaciones. La experiencia de SEI indica que los informantes dan más importancia y se sienten más confiados frente a encuestas realizadas con esta tecnología.

El proceso de recolección de la información cuantitativa se realizará bajo el Sistema de Gestión de Calidad de SEI que está certificado por el ICONTEC (No. SC 3764-1), el cual abarca 24 procesos, incluyendo los de prestación del servicio que están asociados directamente con el levantamiento y procesamiento de la información; y cubre también otros procesos que responden a los requisitos implícitos definidos por la firma como necesarios para la prestación de un servicio de calidad.
Como resultado del control de calidad se realizaron reuniones de retroalimentación con el personal de recolección, como medida preventiva para evitar errores, y en donde fue necesario se solicitó al encuestador que regrese a campo para que corrija aquellos errores que no sean subsanables en oficina. A su vez el director de gestión de datos ejerció un control de calidad sobre la supervisión, revisando la consistencia de la información y la organización del grupo, verificando la cobertura de la encuesta y el cumplimiento de las metas de tiempo previstas en el cronograma.

1.2.1 Depuración de la información
El proceso que se conoce como depuración de la información se desarrolló en varios momentos: el primero fue paralelo con la recolección de información, ya que se incorporó una malla de validación a los programas antes de salir a campo, lo cual permitió controlar la calidad de la información de forma que el programa aceptara sólo valores válidos e hiciera cruces entre preguntas, con el fin de que el encuestador recibiera avisos o alertas cuando la información que diligenciaba era inconsistente o cuando ésta ameritaba alguna verificación; el segundo momento comenzó una vez se recibieron los datos en la central (Bogotá), en donde se realizó un análisis de frecuencias simples; todo ello con el fin de garantizar la entrega de tablas de datos con datos depurados y de calidad.

1.2.2 Monitoreo de avance y cobertura
El monitoreo se basó en un conjunto de indicadores para medir el desempeño de los grupos, los cuales se generaron con dos fuentes de información, los reportes de campo y la cantidad de encuestas capturadas, a saber:
· Tasas de cobertura y de no respuesta según causas.
· Indicadores de avance del trabajo por grupo y municipio.
Con base en éstos, se ejerció el control de las muestras y del trabajo de campo, y se adoptaron decisiones a nivel operativo y/o técnico.

2.1 El conjunto de reglas o especificaciones de validación, consistencia e imputación

El equipo técnico de SEI construyó mallas de validación, consistentes en una matriz que muestran las relaciones lógicas entre los diferentes capítulos y variables del formulario, estableciendo la secuencia de las preguntas y los códigos válidos, y permitieron identificar inconsistencias y errores en los datos, partiendo de normas y rangos de valores aceptables. Estas mallas sirvieron de guía para programar las validaciones en el formato digital.

En la malla de validación se registraron las especificaciones que permitieron determinar las inconsistencias entre las preguntas del formulario de encuesta, confrontando la relación lógica entre las respuestas a través de los valores inválidos, no permitidos o fuera de rango. Ésta se construyó a partir de la lógica de proposiciones, es decir, aquella que se representa mediante símbolos y utiliza operadores o conectores básicos para expresar la correspondencia (o concordancia) entre preguntas del formulario, al interior de una misma pregunta o de la pregunta con valores de referencia preestablecidos.

La malla se utilizó en la validación de información durante la recolección de datos mediante el formulario electrónico en un DMC y durante el proceso de depuración de la información de formularios físicos diligenciados y capturados posteriormente.

De otra parte, este instrumento orientó el proceso de validación e imputación, básicamente porque permitió identificar dónde se presentó la inconsistencia.

a) Sensibilización:

Para un efectivo acercamiento a los adultos mayores seleccionados se aplicaron diferentes estrategias de comunicación con el respaldo del DNP a través de cartas de presentación del personal de campo, al igual que la utilización de los canales de comunicación ya establecidos por el DNP, previo acuerdo con las personas encargadas del Programa a nivel municipal.
Es importante mencionar que en cualquiera de los casos prevaleció el criterio de participación voluntaria e informada, respeto a la dignidad y la protección de los derechos y bienestar de los sujetos de estudio.
Asimismo, cada encuestador(a) antes de ir al hogar asignado y en los casos en que fue posible, efectuó contacto telefónico con el adulto mayor a encuestar para programar la visita.

El acercamiento con el adulto mayor se estableció desde la aceptación de la encuesta, por tal razón el (la) encuestador(a) siguió las siguientes pautas para garantizar una buena comunicación:

· Puntualidad, en los casos de haber acordado la visita.
· Presentó con claridad el estudio, sus objetivos e instituciones participantes.
· Mostró la carta de presentación y carné de la firma.
· Dio a conocer al adulto mayor que la información así como sus datos son confidenciales conforme la ley de habeas data y reserva estadística.
· Se dirigió siempre al adulto mayor hablándole “de usted”, a menos que él (ella) hubiesen pedido lo contrario. De ningún modo con diminutivos “abuelito, abuelita”
· Conservó buena dicción, tono y ritmo de la voz.
· El respeto con los adultos mayores encuestados fue primordial para la sensibilización del proyecto y así poder acceder a la encuesta.

b) Capacitación

El personal que participó en el trabajo de campo para el cargo de encuestador y supervisor fue seleccionado de un grupo de personas con una alta trayectoria en operativos de campo dirigido a adultos mayores y/o población vulnerable.
Para la capacitación se destinaron siete días para supervisores y cinco para encuestadores, desde el 2 al 10 de marzo con sesiones presenciales, tiempo que se consideró suficiente debido a la experiencia del personal participante. Además de los temas básicos y generales que se tratan en las diferentes capacitaciones, se trataron los siguientes temas específicos (estos temas también fueron incluidos en el instructivo del entrevistador):

· Objetivo general del proyecto
· Aspectos institucionales y alcance del proyecto
· Formulario Colombia Mayor
· El adulto mayor (prueba cognitiva)
· Alcance de información cualitativa
· Perfiles a abordar
· Revisión y ensayo de instrumentos

Para los temas relacionados con el adulto mayor se contó con el apoyo de Carlos Cano, quien dio una explicación detallada sobre la forma de aplicación de los instrumentos dirigidos a personas mayores y también sobre la aplicación de la prueba cognitiva, tanto en la capacitación de la prueba piloto como en la capacitación para el trabajo de campo
Para la explicación de los aspectos institucionales y del Programa se contó con la participación en la capacitación para el trabajo de campo de Olga Callejas del Ministerio de Trabajo

c) Selección y contratación de personal

El proyecto contó con funcionarios de planta a nivel de dirección y de coordinación del trabajo de recolección y con personal temporal para los cargos de supervisor y encuestador.
En principio el requisito mínimo para encuestadores fue tener bachillerato aprobado y experiencia en proyectos con población mayor y/o vulnerable.
El proceso inició con el reclutamiento en fuentes internas, siendo la principal la Bitácora Digital, que es un sistema de información de SEI, en el cual se almacena la información de las personas que han trabajado con la firma.
La convocatoria de los candidatos se hizo apoyándose en la aplicación denominada “Sistema de Hojas de Vida”, la cual es un sistema diseñado bajo un entorno WEB, al que se puede acceder por medio de la red interna de la empresa (Intranet) o a través del link “Trabaje con SEI” de la página www.sei-consultores.com.co .
En la pre-selección del personal operativo, una vez analizadas las hojas de vida, se construyó una primera lista de candidatos que cumplieron con el perfil. Los candidatos de esta lista se citaron a entrevista para verificar su perfil y se valoraron sus competencias para el proyecto.
La selección del personal operativo que finalmente participó en el proyecto se llevó a cabo durante el proceso de capacitación. Los candidatos fueron sometidos a pruebas de evaluación teórico práctico en el transcurso de la capacitación, las cuales fueron el principal parámetro de elección.

d) Esquema operativo

El esquema operativo hace relación a una síntesis de la estrategia para el operativo de campo, con el que finalmente se llega al informante adecuado para captar la información en la unidad de observación. Aclara sobre las jerarquías y conformación de grupos de trabajo, la relación de número de encuestadores por supervisor y los rendimientos de recolección por día/hombre.

El equipo de campo se conformó por grupos de cuatro encuestadores por cada supervisor. En total se contó con tres grupos y 12 encuestadores, todos ellos dependieron directamente del Director de Gestión de Datos, designado por SEI para este proyecto, quien lideró los grupos y sirvió como enlace entre éstos y la dirección del proyecto, controlando el trabajo de campo mediante la implementación, entre otras cosas, de un esquema de verificación telefónica tanto de la gestión como de la recolección. Los principales aspectos logísticos de la operación de campo fueron:

1. Los supervisores contaron con un listado de adultos mayores priorizados y beneficiarios de cada uno de los municipios asignados
2. En el computador del supervisor se cargó la información necesaria para el control de cobertura y se instaló un programa de administración para el manejo de la información obtenida por los encuestadores a través de los DMC.
3. Cada encuestador contó con un portátil con el software de captura y validación, en el cual se cargó la información muestral de los adultos mayores a visitar.
4. El sistema asignó a cada adulto mayor un Número de Identificación Muestral (NIM) y registró el código del encuestador a quien se le asignó.
5. Diariamente se sincronizaron las encuestas completas de los DMC al computador del supervisor así como de los audios de las entrevistas semi estructuradas.
6. La firma proporcionó soporte técnico en sistemas durante todo el desarrollo del proyecto de recolección, con Ingenieros de sistemas de la planta encargados para este proyecto.
7. Se definieron estrategias orientadas a sortear las dificultades de orden público y otras eventualidades.

Teniendo en cuenta estos aspectos y todo el contexto del estudio, el desarrollo del trabajo en cada ruta se resume de manera general, así:

1. El supervisor recibió un cronograma donde se le indicó el orden y las fechas estimadas en que debía abordar cada municipio.
2. Previamente a la llegada al municipio el supervisor se contactó telefónicamente con las autoridades municipales para informar sobre el arribo del grupo o el encuestador a cargo, aclaró los objetivos del estudio, indagó sobre la situación de orden público y presentó a la firma.
3. Al llegar al municipio, el supervisor o el encuestador se presentó a las autoridades locales pertinentes para socializar el proyecto y solicitó su colaboración. Como parte de los protocolos de seguridad de la firma, se indagó con las autoridades competentes la situación de orden público, principalmente en las veredas a visitar.
4. El Director de Gestión de Datos y el supervisor se encargaron de organizar el trabajo distribuyendo entre los encuestadores los municipios a trabajar, de tal forma que se optimizó el uso de los recursos como son tiempo, transportes, etc.
5. Cada encuestador visitó los adultos mayores beneficiarios y priorizados de la muestral y realizó las preguntas filtro para proceder a la aplicación del formulario (digital) de acuerdo con las normas suministradas durante la capacitación y al instructivo de recolección.
6. Los adultos mayores que pasaron la prueba cognitiva, fueron, además, candidatos para la aplicación de la entrevista a profundidad que se realizó el día posterior de la encuesta.
7. Cada supervisor aplicó las técnicas programadas para verificar la calidad de la información recolectada por su grupo.
8. Con base en informes semanales, el Director de Gestión de Datos hizo seguimiento constante a la situación para evitar riesgos que podrían poner en peligro la seguridad de los colaboradores de la firma o el desarrollo del proyecto.