Colombia - Evaluación de Impacto de las iniciativas Kioscos (KVD) y Puntos (PVD) del Plan Vive Digital así como del acompañamiento a beneficiarios de la iniciativa Hogares Digitales, Kioscos Vive Digital, Puntos Vive Digital y Hogares Digitales, iniciativas del

Colombia Evaluación de Impacto de las iniciativas Kioscos (KVD) y Puntos (PVD) del Plan Vive Digital así como del acompañamiento a beneficiarios de la iniciativa Hogares Digitales

Kioscos Vive Digital, Puntos Vive Digital y Hogares Digitales, iniciativas del Plan Vive Digital

Impact Evaluation of the initiatives Kioscos Vive Digital (KVD) and Puntos Vive Digital (PVD), and impact evaluation of the educational accompaniment to beneficiaries of the initiative Hogares Digitales (HD)

Evaluación de impacto 1. ANTECEDENTES DE EVALUACIÓN

El Plan Vive Digital ha sido desarrollado por el Gobierno Colombiano, a través del MINTIC, buscando masificar el uso del internet en la vida de los colombianos. Así mismo, el Plan Vive Digital se coordinó con las iniciativas incorporadas en el marco del Plan Nacional de Desarrollo 2010-2014 y en la Ley 1450 de 2011, la cual dio el marco legal para dicho Plan de Desarrollo.

Dentro de las iniciativas implementadas dentro del marco del Plan Vive Digital, se identificaron tres de ellas que han buscado ante todo contribuir a disminuir las brechas digitales y mejorar las condiciones de los colombianos de menores ingresos en zonas urbanas y rurales, y en las que se ha invertido una importante cantidad de recursos, siendo estas iniciativas las que se describen a continuación, y que son el objeto del presente estudio. Estas iniciativas se focalizan principalmente en ejes del ecosistema que apuntan al usuario e infraestructura pero, por supuesto, con componentes orientados a los ejes de prestación de servicios y con aplicaciones complementarias asociadas a ellas.

En el Plan de Desarrollo se evidenció la importancia de fomentar el uso de las TIC de modo que se superara el retraso que presentaba Colombia en este sector comparado con otros países del mundo. Igualmente, se deseaba aumentar la importancia del sector de las TIC en el producto interno bruto (PIB), considerando que allí existía un importante espacio de crecimiento.

El escenario en el que se encontraba Colombia en 2010 era el de una baja penetración en el uso de las TIC, a pesar de los crecimientos sostenidos en años precedentes, concentrándose dicho avance principalmente en las empresas. De esta manera, el Plan apuntaba a superar las bajas tasas de penetración tanto en hogares de estratos medios y bajos como en las pequeñas y medianas empresas, encontrando allí un espacio en el cual se requería implementar una política pública que permitiera superar las barreras al aumento del uso de las TIC para estos grupos de población y empresariales.

Dentro de las iniciativas implementadas, se identificaron tres de ellas que han buscado ante todo contribuir a disminuir las brechas digitales y mejorar las condiciones de los colombianos de menores ingresos en zonas urbanas y rurales, y en las que se ha invertido una importante cantidad de recursos, siendo estas iniciativas las que se describen a continuación, y que son el objeto del presente estudio. Estas iniciativas se focalizan principalmente en ejes del ecosistema que apuntan al usuario e infraestructura pero, por supuesto, con componentes orientados a los ejes de prestación de servicios y con aplicaciones complementarias asociadas a ellas.

1.1 KIOSCOS VIVE DIGITAL (KVD)

Los KVD corresponden a puntos de acceso comunitario al servicio de internet, ubicados en centros poblados que tengan una población superior a la centena de habitantes8. En estos Kioscos se puede hacer uso de computadores, acceder a internet, además de recibir capacitación sobre el uso y apropiación de las TIC. Están enfocados a cubrir necesidades de acceso de los usuarios en zonas de baja densidad poblacional, en contraste con los PVD, que se enfocan en comunidades de menores ingresos en zonas urbanas más densas.

En su primera fase los kioscos se instalaron en los centros poblados que cumplieran con las siguientes condiciones:

a) El Departamento Administrativo Nacional de Estadística (DANE) debía reconocerlo como Centro Poblado

b) Debía contar con una población igual o superior a 100 habitantes

c) No debían existir otras alternativas de acceso público a internet.

Esta iniciativa se ha desarrollado en fases, encontrando que para la primera fase, la cual emprendió su etapa de ejecución contractual en diciembre de 201210, se instalaron 1.144 kioscos y para la segunda se prevé que se instale un total de 5.524 kioscos, para agregar un total de 6.668 kioscos. Ahora bien, de acuerdo al documento "Bases para el Plan Nacional de Desarrollo 2014 - 2018", para fortalecer el acceso y servicio universal, se establecerán nuevos Kioscos Vive Digital con lo que se espera llegar a 7.621

Nota: De acuerdo con los TdR, el universo de análisis de la evaluación se refiere a los hogares beneficiados por la fase 1 de KVD.

1.2 PUNTOS VIVE DIGITAL (PVD)

Estas son iniciativas de centros de acceso comunitario a internet enfocados en las zonas urbanas ubicados en los estratos 1, 2 y 3. En estos puntos se realizan actividades de promoción y capacitación a la población, con un estimado de más de 100.000 personas capacitadas a la fecha.

La iniciativa se desarrolla, así mismo en fases, donde la primera de ellas (Fase 0), que inició en 201216, cubrió 71 puntos en 68 municipios17. En la siguiente fase (Fase I) se instalaron alrededor de 480 puntos en 375 municipios y debe finalizar su instalación en el primer semestre de 2015. En la fase inicial se desarrolló el acompañamiento por parte del MINTIC desde la instalación y durante la operación, mientras que en la fase posterior se espera que la operación sea asumida por las entidades territoriales beneficiarias. Adicionalmente, existe una fase de Puntos Plus, enfocados a desarrollar competencias en TIC que permitan desarrollar contenidos y aplicaciones digitales, incluyendo actividades especiales en ellos como son talleres de creación de aplicaciones, animaciones y desarrollo de software; estos PVD Plus apuntan a incentivar en estudiantes emprendimientos y generación de conocimiento. El primero de ellos se inauguró en diciembre del 2013 en la localidad de Suba, en Bogotá, y se espera lograr 200 puntos en este formato.

Esto se ha hecho a través de la Dirección de Conectividad del Ministerio, y se plantean como parámetros básicos para su desarrollo los siguientes:

a) Ubicarse en cabeceras municipales y en zonas de estratos 1, 2 y 3,

b) Existencia de un manifiesto interés de la institucionalidad regional por participar, considerando el compromiso de operación y continuidad que se requiere,

c) Existencia de infraestructura para conexión a redes de transporte terrestre de Banda Ancha, elemento este que se ha solucionado en gran parte con las iniciativas complementarias de la red nacional de fibra óptica y las redes de alta velocidad dentro del Plan Vive Digital.

De acuerdo con los términos de referencia, el universo de análisis de la evaluación se refiere a los hogares beneficiados por las fases 0 y 1 de los PVD.

1.3 HOGARES DIGITALES (HD)

La iniciativa Hogares Digitales apunta a dar soluciones de acceso a internet en hogares, con lo cual su efecto está dirigido a generar impacto en familias y su entorno. Al no tratarse de soluciones comunitarias, es de esperar que sus efectos sean más profundos en el hogar intervenido, si bien para lograr una mayor amplitud en su impacto se requiere un número muy alto de familias con acceso. Es así como esta iniciativa tiene como meta beneficiar a más de 146.000 hogares enfocando su esfuerzo en los estratos 1 y 2 donde es más evidente la barrera de capacidad de ingreso. Esta iniciativa implicó que el proveedor ejecutor debiera desarrollar redes de acceso y prestar el servicio por un tiempo mínimo de 3 años con unas condiciones de tarifa regulada contractualmente. Esta iniciativa ha intervenido alrededor de 140 mil hogares en 77 municipios del país(2014).

En el caso de la iniciativa Hogares Digitales, esta evaluación no busca investigar el impacto de la conexión a internet; el objetivo es evaluar dos diferentes opciones de acompañamiento dirigido a mejorar el uso y apropiación de las TIC por parte de hogares que ya cuentan con la conexión.

De acuerdo con los términos de referencia, el universo de análisis de la evaluación se refiere a un grupo de 30.320 hogares que entraron en operación de la iniciativa meses después con respecto a la mayor parte de beneficiarios, para quienes el servicio de la se prestará hasta agosto de 2015.

2. REFERENTES INTERNACIONALES

Ell Plan Vive Digital se conceptualizó bajo el modelo de un ecosistema con diversos ejes e iniciativas, en donde se espera un desarrollo armónico de dichos ejes en un círculo virtuoso de crecimiento del sector y de mejora en la disponibilidad, calidad y costo de los servicios para los ciudadanos.

Dentro de este modelo, la demanda representada por los usuarios suele presentar restricciones en la capacidad de pago debido a que se focalizan en población de menores ingresos.

Es así como desde tiempo atrás en varios países se han implantado iniciativas que, como las presentadas acá, buscan generar mecanismos que permitan a la población de menor ingreso el acceso a las TIC. En general, se busca realizar una inversión social que permita reducir la barrera del costo de acceso, y se espera un mayor bienestar de la población intervenida.

A manera de ejemplo, la Unión Internacional de Telecomunicaciones (UIT) desarrolló el estudio "TIC, acceso y desarrollo comunitarios: Estudios de casos de seis países en desarrollo", en el que analizó varios proyectos de este tipo en países con diversas condiciones socioeconómicas y necesidades de los grupos de población beneficiaria. Adicionalmente, la UIT elaboró un manual para la medición de indicadores "Manual de uso y acceso a las TIC, por los hogares y las personas", en donde plantea una metodología, su aplicación y su forma de medición.

En estos estudios se concluye que en zonas con economías marginales (como pueden ser zonas rurales o en zonas urbanas con población de escasos recursos), además de mejorar en términos puramente económicos, se logra un mejor uso y valor de la información a la que se accede, lo cual permite pasar de un escenario de economías de subsistencia a escenarios con diversificación de ingresos y de actividades productivas, generando un nuevo tejido social y empresarial.

Así pues, se encuentra que las iniciativas que propenden por mejorar el acceso a las TIC en zonas marginales son necesarias, pues es a través de ellas que la comunidad accede a insumos de información que son fundamentales para su desarrollo.

En las diversas iniciativas de acceso comunitario, que apuntan a eliminar barreras en capacidad de pago, como las mencionadas en el estudio de la UIT citado, se evidencia una alta tasa de rentabilidad social por el mejor acceso a la información, a través del uso de TIC con importantes impactos en las distintas actividades de la economía.

Si dichas iniciativas de acceso comunitario, además permiten lograr economías de escala al interior de un grupo de población beneficiario para cubrir costos de acceso y sobre todo lograr esquemas de sostenibilidad en el tiempo, serían adecuadas para el objetivo de masificación en el uso de las TIC que se pretende. Así mismo, los programas que mediante recursos de fomento permiten reducir los costos de suministro de servicio en accesos residenciales apuntan en el mismo sentido.

En este contexto, es importante evaluar los impactos, así como posibles cuellos de botella que pudieran subsistir para las iniciativas propuestas, de modo que se pueda verificar adecuadamente el supuesto de mejora a las condiciones de vida y, a futuro, se puedan mejorar éstos programas y lograr mayor eficiencia y mayor impacto positivo en la población favorecida.

Cabe resaltar que el Plan Vive Digital y en particular las tres iniciativas presentadas, se alinean con los objetivos de generar efectos positivos como los evidenciados en el estudio de la UIT en otros países. Así mismo, el Plan Vive Digital ha evolucionado para el cuatrienio 2014-2018, dando más énfasis a las regiones y a los procesos de apropiación por parte de autoridades regionales, donde estas iniciativas juegan un importante rol al generar cobertura territorial y posibilidad de acceso a las TIC a las poblaciones más apartadas y a las de menores recursos.

(Informe Metodológico, 2014)

3. CONCLUSIONES RELEVANTES

En general se encuentra que las iniciativas analizadas (incluida la intervención realizada a HD), presentan efectos positivos en cuanto al mejoramiento de los procesos de uso y apropiación de las TIC, y en particular del Internet, en especial como herramienta para potenciar procesos de educación, productividad, interacción con el estado y socialización, los cuales se encuentran en el corazón de los objetivos del Plan Vive Digital.

Las intervenciones tienen efectos más destacados en el caso de poblaciones que aún no hayan vencido previamente barreras de acceso y de familiarización con las tecnologías, con lo cual los efectos tenderían a ser mayores cuando se aplican estas iniciativas a poblaciones más apartadas y aisladas o a grupos de población que por factores de edad, educación o similares no han tenido la misma oportunidad de acceso y sobre todo de familiarización con las TIC; lo anterior incluso habiendo superado la barrera de acceso al servicio en el hogar, más no las de familiarización con la tecnología para individuos específicos del hogar.

La dinámica presentada en zonas rurales es muy distinta a las zonas urbanas, encontrando que en efecto en zonas rurales las iniciativas de KVD se convierten en un elemento generador de impacto y cambios en las dinámicas de las comunidades y en su aproximación y apropiación de las TIC, mientras que las iniciativas de tipo PVD en zonas urbanas presentan efectos solo como complemento en algunos valores agregados muy específicos respecto de las alternativas que ya existen en hogares y en otros puntos de acceso para los ciudadanos; estos efectos se relacionan más a los servicios complementarios de capacitación y ayuda que puede haber en los PVD respecto al simple acceso al servicio que en zonas urbanas es provisto tanto en los hogares como en otras iniciativas públicas o privadas como cafés Internet o salas de trabajo en entidades públicas, instituciones de educación, entre otras.

Cabe destacar que en materia de calidad, en las zonas rurales un factor crítico es el de la velocidad del servicio prestado, pues este consistentemente obtuvo las calificaciones de percepción más bajas, y es también factor para que los usuarios busquen alternativas a pesar de que estas pudieran no ser tan accesibles como los KVD.

En particular para HD, se encontraron impactos importantes en los dos tipos de acompañamiento brindado, especialmente en lo que tiene que ver con desarrollo de habilidades básicas, uso de internet, la valoración de la disponibilidad de información y su utilidad y su autopercepción de conocimiento. No se encontraron impactos sin embargo en apropiación en parte porque al haberse desarrollado la intervención sobre una población con una larga exposición a la tecnología , lo niveles de apropiación que se tenían de entrada ya eran bastante altos y se lograron de manera espontánea por exposición al uso. La intervención de acompañamiento convencional tuvo efectos adicionales especialmente sobre el uso de internet del jefe del hogar, para trámites con el gobierno y las empresas de servicios públicos y en el caso de los que tenían negocio o actividad independiente. Lo cual se explica por el nivel de autonomía que requiere este tipo de tratamientos para ser aprovechados. La intervención de acompañamiento alternativo por su parte tuvo efectos adicionales y específicos en el acceso a educación no formal con un impacto colateral en menor uso del internet para actividades de comunicación, pero con impactos en mayor dedicación a actividades no relacionadas con TIC en el tiempo libre. Sorprendentemente en tan corto tiempo, se obtienen también efectos significativos en obtención de ofertas laborales. En general se puede concluir que aunque el acompañamiento en conocimiento y uso de TIC tiene unos impactos muy importantes sobre el desarrollo humano y calidad de vida de las personas, la apropiación de la tecnología puede darse de manera espontánea aunque toma tiempo. Los impactos de la tecnología se evidencian mucho mayores para personas con mayor nivel educativo y menor edad, pero es con los individuos de mayor edad en donde las labores de acompañamiento mostraron un más alta potencialidad de generar impactos, tanto en habilidades, uso y beneficios específicos de la tecnologías de información y conocimiento.

4. ANTECEDENTES DE LA GESTIÓN E IMPLEMENTACIÓN DE LA EVALUACIÓN

El día 15 de diciembre se da inicio a la consultoría encargada de la presente evaluación en cumplimiento al contrato DNP-508-2014.

-La firma consultora contratada es: Unión Temporal Econometría S.A -SEI S.A. (UT)

-El comité técnico de seguimiento establecido cuenta con representantes de:

a) Dirección de Seguimiento y Evaluación de Políticas Públicas -DNP

b) Dirección de Infraestructura y Energía Sostenible -DNP

c) Dirección de Conectividad -MinTIC

Número de ID DNP-DSEPP-PVD-2015

1. ASPECTOS TEMÁTICOS OBJETIVO DE ESTUDIO DE LA EVALUACIÓN

1.1 TEORÍA DEL CAMBIO

Una herramienta muy útil para determinar hipótesis sobre la efectividad de una intervención de política pública es la definición de la cadena de agregación de valor implícita en su diseño y, al interior de ésta, determinar cuáles son los vínculos causales entre determinados insumos, procesos, productos y lo que se espera en cuanto a resultados inmediatos, de mediano y largo plazo.

A continuación se presenta la Teoría del Cambio general de las iniciativas a evaluar del Plan Vive Digital.

I. INSUMOS:

-Materiales y Contenidos

-Dotación y Equipos de cómputo y comunicaciones

-Recurso humano

-Disponibilidad y Calidad de la Conexión

II. PROCESOS Y PRODUCTOS

-Actividades de Capacitación

-Atención a usuarios

-Actividades de Promoción y sensibilización E

III. RESULTADOS DE CORTO PLAZO

-Competencias y Habilidades

-Uso del Internet

-Apropiación de las TIC (uso frecuente y utilidad)

IV. RESULTADOS DE MEDIANO PLAZO

-Apropiación de las TIC (uso frecuente y utilidad)

-Entretenimiento y uso del tiempo libre

-Mejor comunicación

-Ahorro en tiempo y tramites

-Mejor información

-Acceso a educación y capacitación

-Reconocimiento institucional

V. RESULTADOS DE LARGO PLAZO

-Fortalecimiento del tejido social

-Capital institucional y empoderamiento de la comunidad

-Oportunidades de generación de ingresos

-Mejoras en empleabilidad y acceso al empleo

-Mejor rendimiento escolar

VI. FACTORES QUE INFLUENCIAN LOS RESULTADOS DE CORTO, MEDIANO Y LARGO PLAZO

-Políticas territoriales sobre TIC

-Características socioeconómicas y demográficas

-Expectativas y necesidades

1.2 ESTRATEGIA DE EVALUACIÓN.

I.EVALUACIÓN DE IMPACTO DE LA INICIATIVA KVD

Método de Estimación:

Principal: Emparejamiento con características observables

Alternativa : Regresión discontinua, incorporando la discontinuidad generada por el número de habitantes en el centro poblado

II.EVALUACIÓN DE IMPACTO DE LA INICIATIVA KVD

Método de Estimación:

Principal: Variables Instrumentales

Alternativa : Emparejamiento con variables observables

III.EVALUACIÓN DE IMPACTO AL ACOMPAÑAMIENTO A BENEFICIARIOS DE LA INICIATIVA HD

Método de Estimación:

Principal: Experimento social aleatorio con multitratamiento

2. ESPACIALIDAD Y TEMPORALIDAD DE LA EVALUACIÓN

Las iniciativas evaluadas iniciaron su funcionamiento de acuerdo a las siguientes fechas:

2.11. EVALUACIÓN DE IMPACTO DE LA INICIATIVA PUNTOS VIVE DIGITAL (PVD)

Los PVD fase 0 objeto de la evaluación iniciaron la etapa de ejecución contractual en mayo de 2012

Los PVD fase 1 objeto de la evaluación iniciaron la etapa de ejecución contractual en el segundo semestre de 2013

2.2. EVALUACIÓN DE IMPACTO DE LA INICIATIVA KIOSCOS VIVE DIGITAL (KVD)

Los KVD fase 0 objeto de la evaluación iniciaron la etapa de ejecución contractual en mayo de 2012

2.3. EVALUACIÓN DE IMPACTO DEL ACOMPAÑAMIENTO A BENEFICIARIOS DE LA INICIATIVA HOGARES DIGITALES (HD)

El Experimento social aleatorio con multitratamiento fue llevado a cabo desde el 29 de abril de 2015 hasta el 16 de agosto de 2015

Las iniciativas PVD y KVD continuaban en funcionamiento en el momento que se desarrolló la evaluación contratada.

La evaluación es realizada por la UT Econometría S.A. - SEI S.A. contratada por el Departamento Nacional de Planeación desde el mes de Diciembre de 2014 hasta el mes de Diciembre de 2015.

(Informe Metodológico, 2014)

Tema	Vocabulario	URI
Tecnología de la información [16.2]	CESSDA
Medios de comunicación [7.4]	CESSDA
Comunidad, vida urbana y rural [13.1]	CESSDA
Ocio, turismo y deporte [13.4]	CESSDA
Utilización del tiempo. [13.9]	CESSDA
Actividades culturales y participación [13.2]	CESSDA
Empleo [3.1]	CESSDA
Formación en el trabajo [3.2]	CESSDA
TRANSPORTES, VIAJES Y MOVILIDAD [11]	CESSDA
Actitudes y comportamiento social [13.6]	CESSDA
Cambio social [13.7]	CESSDA

Tecnologías de la Información y las Comunicaciones TIC, Comunicación, Apropiación, Tejido social, Educación, Empleabilidad, Transacciones, Uso del tiempo libre, Competencias, Acceso 1. EVALUACIÓN DE IMPACTO DE LA INICIATIVA PUNTOS VIVE DIGITAL (PVD)

Población urbana de los municipios beneficiados por las fases 0 y 1 de los PVD (Grupo Tratamiento) y Población urbana residente en barrios de los mismos municipios en donde existen los PVD y que no cuentan con PVD.

2. EVALUACIÓN DE IMPACTO DE LA INICIATIVA KIOSCOS VIVE DIGITAL (KVD)

Población rural de los municipios beneficiados por la fase 1 de KVD (Grupo Tratamiento) y Población rural de los centros poblados de los municipios en donde existenten los KVD y que no cuentan con KVD con 100 o más habitantes.

3. EVALUACIÓN DE IMPACTO DEL ACOMPAÑAMIENTO A BENEFICIARIOS DE LA INICIATIVA HOGARES DIGITALES (HD)

Población urbana beneficiaria de la iniciativa Hogares digitales.

(Informe Metodológico, 2014)

1. EVALUACIÓN DE IMPACTO DE LA INICIATIVA PUNTOS VIVE DIGITAL (PVD)

Hogares beneficiados por las fases 0 y 1 de los PVD

2. EVALUACIÓN DE IMPACTO DE LA INICIATIVA KIOSCOS VIVE DIGITAL (KVD)

Hogares beneficiados por la fase 1 de KVD

3. EVALUACIÓN DE IMPACTO DEL ACOMPAÑAMIENTO A BENEFICIARIOS DE LA INICIATIVA HOGARES DIGITALES (HD)

Grupo de 30.320 hogares que entraron en operación de la iniciativa meses después con respecto a la mayor parte de beneficiarios, para quienes el servicio se prestará hasta agosto de 2015.

(Informe Metodológico, 2014)

Nombre	Abreviación	Dependencia	Rol
Dayana Lorena Téllez Galeano	DT	UT Econometría S.A. - SEI S.A. (Firma Consultora)	Analista
Belén Eugenia Gómez Triana	BG	UT Econometría S.A. - SEI S.A. (Firma Consultora)	Directora de Gestión de Datos
Luisa Riveros	LR	UT Econometría S.A. - SEI S.A. (Firma Consultora)	Coordinadora de Proyecto - Analista
Johanna Caballero	JC	UT Econometría S.A. - SEI S.A. (Firma Consultora)	Asistente de Gestión de Datos
Jorge Luis Alvarez	JA	UT Econometría S.A. - SEI S.A. (Firma Consultora)	Coordinador de Captura y Procesamiento

2015-10-02COL-DNP-PVD-KVD-HD-2015