gestion por resultados

LOS ESTUDIOS DE BASE

FUNDAMENTOS DE UNAGESTIN POR RESULTADOS

PROGRAMA PARA EL FORTALECIMIENTODE LA CAPACIDAD REGIONAL DE SEGUIMIENTO YEVALUACION DE LOS PROYECTOS FIDA PARA LA REDUCCINDE LA POBREZA RURAL EN AMRICA LATINA Y EL CARIBE (PREVAL III)

Se permite la reproduccin SIEMPRE QUE SE CITE LA FUENTE

Serie: DOCUMENTOS DE TRABAJO

Primera edicin, junio 2007

ISBN: 978-9972-9373-5-4Depsito Legal: 2007-05731

EDITORES:Emma Rotondo Dall'OrsoJorge Rodrguez Sosa

AUTORES:Jorge Rodrguez SosaEmma Rotondo Dall'OrsoGloria Vela Mantilla

AGRADECIMIENTOS POR LOS COMENTARIOS Augusto Cavassa, Eduardo Centeno, Patrick Dumazert, Brbara Massler, Daniel Jess, Daniel Laguna, Antonio Pozo, Carmela Alicia Valle

Ilustraciones: Carlos Cruz

Diseo y Diagramacin: Renzo Espinel, Luis de la LamaInfografa: Ral Rodrguez Rodrguez

Impreso en el Per

CONTENIDO

SIGLAS Y ACRONIMOS ................................................................................................... 07

PRESENTACION .............................................................................................................. 09

INTRODUCCION ............................................................................................................. 11

CMO SE HACE UN ESTUDIO DE BASE? ...................................................................... 12

I) LINEAMIENTOS CONCEPTUALES ............................................................................... 15

Definiciones ............................................................................................................... 15 Qu son los Estudios de Base? ................................................................................ 15 Qu no son los Estudios de Base? ............................................................................ 17 Los EB en el Sistema de Seguimiento y Evaluacin ..................................................... 19

Requisitos .................................................................................................................. 21 Cundo llevarlos a cabo? ......................................................................................... 21 Qu hacer cuando no se ha realizado un EB? ........................................................... 22 Participantes y Roles ................................................................................................ 23

II) LINEAMIENTOS METODOLOGICOS .......................................................................... 25

FASE DE DISEO Y ORGANIZACIN ............................................................................. 25

Revisin de los Resultados ....................................................................................... 25 Qu es el ML? ........................................................................................................ 25 Revisin del ML y de sus indicadores ......................................................................... 26 Los indicadores del RIMS .......................................................................................... 28 Incorporacin del enfoque de gnero ........................................................................ 30

Organizacin y Contenidos de los EB ....................................................................... 31 Formular los objetivos .............................................................................................. 32 Definir el contenido y temas de los EB ....................................................................... 32 Elaborar la Matriz de Diseo y Anlisis ....................................................................... 35 Definir el Plan de Trabajo y Presupuesto .................................................................... 38 Redactar los Trminos de Referencia, Convocatoria y Adjudicacin .............................. 42

Marco Metodolgico ................................................................................................. 43 Criterios para la seleccin de tcnicas ........................................................................ 43 La encuesta de impacto y tcnicas complementarias .................................................. 44 Validacin de instrumentos complementarios ............................................................. 47

La participacin en la aplicacin de tcnicas ............................................................... 48 Capacitacin al personal ........................................................................................... 48

FASE DE RECOLECCIN Y ANLISIS ............................................................................. 49

Aplicacin de instrumentos ...................................................................................... 49 Logstica para la aplicacin de instrumentos ............................................................... 49 Verificacin y calidad de los datos recogidos .............................................................. 50

Anlisis de los Datos ................................................................................................. 51 Codificacin y ordenamiento ..................................................................................... 52 La disposicin de los datos para el anlisis ................................................................. 54 La obtencin de resultados ....................................................................................... 54

FASE DE COMUNICACIN Y USO DE RESULTADOS ...................................................... 54

Audiencias, contenidos y medios ............................................................................. 55 Las audiencias a quines comunicar? ....................................................................... 55 Los contenidos qu comunicar? ............................................................................... 56 Medios y formatos de comunicacin .......................................................................... 57 El Informe Maestro .................................................................................................. 58

El uso de los resultados ............................................................................................ 60 El uso de los hallazgos ............................................................................................. 61 El uso del proceso para el aprendizaje ....................................................................... 61

BIBLIOGRAFA .............................................................................................................. 63

Barlovento

CARD

CORREDORDesco

DOM HELDER CAMARA

EBFAT

FIDANGABE Y BUGLE

ODMONG

PADEMERPOA

PREVAL

PRISEPRODAP

PRODARIENPRODECOPPRODERCO

PRODERNEA

PRODESECPROPESUR

PROMARENA

PROSALAFA

RIMSRUTAPSESUGP

UNEPCA

URUGUAY RURALUSE

Proyecto de Desarrollo de Cadenas Agroproductivas en la regin de Barlovento Community Initiated Agriculture and Resource Management Rural Development ProjectProyecto de Desarrollo del Corredor Econmico Cusco-PunoCentro de Estudios y Promocin del Desarrollo Proyecto de Desarrollo Sostenible para Asentamientos de Reforma Agraria en el Semirido de la Regin Nordeste de BrasilEstudios de BaseFondo de Asistencia TcnicaFondo Internacional de Desarrollo AgrcolaProyecto de Desarrollo Rural Sostenible de la Comarca Ngbe y Bugl y Corregimientos Rurales Pobres Aledaos.Objetivos de Desarrollo del MilenioOrganizaciones no GubernamentalesProyecto de Apoyo al Desarrollo de la Microempresa RuralPlan Operativo AnualPrograma para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluacin de los Proyectos FIDA para la Reduccin de la Pobreza rural en Amrica Latina y El CaribePrograma Intensivo en Seguimiento y Evaluacin Proyecto de Desarrollo Rural en la Regin CentralProyecto de Desarrollo Rural Sostenible del DarinProyecto de Desarrollo de Comunidades Rurales PobresProyecto de Desarrollo Rural en el Centro OrienteProyecto de Desarrollo Rural de las Provincias del Noroeste ArgentinoPrograma de Desarrollo Econmico de la Regin Seca de NicaraguaProyecto para Pequeos Productores de la Regin Sur-OesteProyecto de Manejo de Recursos Naturales en el Chaco y Valles AltosProyecto de Apoyo a Pequeos Productores de las Zonas Semiridas de los Estados de Lara y FalcnSistema de Gestin orientado a Resultados e ImpactoUnidad Regional de Asistencia TcnicaPlaneamiento, Seguimiento, Evaluacin y SistematizacinUnidad de Gestin del ProyectoProyecto de Desarrollo de Criadores de Camlidos en el Altiplano AndinoProyecto Uruguay RuralUnidad de Seguimiento y Evaluacin

SIGLAS Y ACRONIMOS

PRESENTACIN

El Fondo Internacional de Desarrollo Agrcola (FIDA) propicia la adopcin de una gestin orientada al impacto y al aprendizaje, a fin de lograr un conjunto de cambios sostenibles en los medios y calidad de vida de la poblacin rural pobre, lo que significa bsicamente mejorar sus ingresos y activos, su seguridad alimentaria y nivel nutricional, as como fortalecer su acceso a conocimientos e informacin, sus capaci-dades tcnicas y contribuir a la equidad de gnero, al desarrollo social y a la sostenibilidad ambiental.

La comprobacin de tales resultados depender en gran parte de la adecuada elaboracin de los Estudios de Base (EB), que son el fundamento del manejo de la informacin en una gestin orientada al impacto y al aprendizaje, porque son sus primeros referentes, resultando indispensables para comparar y mostrar las evidencias del cambio, o sea la situacin del grupo objetivo durante y al trmino de la intervencin, en contraste con su situacin inicial.

Mediante una investigacin realizada por Patrick Dumazert durante la segunda fase del PREVAL, sobre una muestra de 17 Proyectos de Desarrollo Rural apoyados por el FIDA en Amrica Latina y el Caribe, se evidenciaron confusin y deficiencias en la manera de realizar los Estudios de Base, tanto en la me-todologa como en la conceptualizacin.

La poca utilidad de dichos estudios como referentes de comparacin para evaluaciones de impacto, llev a que PREVAL organice un documento sobre "Lineamientos Conceptuales y Metodolgicos para llevar a cabo Estudios de Base", cuya primera versin recibi aportes de Jorge Rodrguez Sosa y de Gloria Vela Mantilla, habiendo culminado la edicin Ada Ocampo, Coordinadora del PREVAL II al cierre de la segunda etapa, en junio del 2004.

En ese mismo ao, la Junta Ejecutiva del FIDA aprob una disposicin para que todos los proyectos que cofinancia incorporen indicadores comunes en sus marcos lgicos, para determinar el impacto en tres momentos del ciclo del proyecto: al inicio (Estudios de Base), a mitad de periodo y al final, teniendo como eje los lineamientos del Sistema de Gestin de los Resultados e Impacto (RIMS) e incluyendo en los Estudios de Base una encuesta estandarizada para medir el impacto registrado en los ingresos y activos, desnutricin crnica y seguridad alimentaria, en lnea con los Objetivos de Desarrollo del Milenio.

Recientemente, en noviembre de 2006 se emiti el documento de Poltica del FIDA titulado: "Focaliza-cin. Los pobres de las Zonas Rurales", que fortalece los procesos del RIMS y proporciona pautas para el diseo y ejecucin de una estrategia de focalizacin, de manera que sta se evidencie en todos los ejercicios de evaluacin (incluyendo los Estudios de Base), as como en las actividades de supervisin y de aplicacin del RIMS.

Con tales aportes se ha actualizado y ajustado el presente documento, que incluye nuevos textos, ejem-plos, enlaces y bibliografa, teniendo como marco conceptual la gestin orientada a resultados.

Este nuevo documento recoge contribuciones de Gloria Vela Mantilla, Jorge Rodrguez Sosa y Emma Rotondo DallOrso, as como las precisiones realizadas al texto por Antonio Pozo Sols y Daniel Jess Ccori. Asimismo, recibi la lectura crtica de un grupo de consultores y responsables de Unidades de Seguimiento y Evaluacin, entre ellos Eduardo Centeno (Nicaragua), Augusto Cavassa (Per), Brbara Massler (FIDA/Roma), Daniel Laguna (Bolivia) y Carmela Alicia Valle (El Salvador), cuyas indicaciones y sugerencias han enriquecido el contenido final.

"Los Estudios de Base: Fundamentos de una Gestin por Resultados" orienta respecto a qu son y cmo se llevan a cabo los EB en proyectos con gestiones dirigidas al logro de resultados, enfatizando el ca-rcter participativo de sus procesos. Asimismo, aclara de qu modo el manejo de informacin sobre el impacto comienza con estos estudios, y por qu es importante que los equipos tcnicos sean capaces de intervenir en ellos, conjuntamente con los dems actores.

Esperamos que este esfuerzo se refleje en mejoras visibles en la concepcin y ejecucin de tales estudios, tan tiles al desarrollo de una cultura de evaluacin y de gestin dirigida a resultados, ambos necesarios para aumentar la eficacia de la lucha contra la pobreza rural en Amrica Latina y el Caribe.

Paolo SilveriGerente de Operaciones

Divisin para Amrica Latina y el Caribe Fondo Internacional de Desarrollo Agrcola (FIDA)

INTRODUCCIN

Este documento, que tiene como antecedente una investigacin realizada en torno a la elaboracin de Estudios de Base en la regin1, incorpora los nuevos lineamientos de seguimiento y evaluacin del FIDA y plantea una oportuna hoja de ruta (ms como propuesta que como itinerario obligado) para guiar a profesionales, tcnicos e interesados en el desarrollo de estos estudios.

As, "Estudios de Base: Fundamentos de una Gestin por Resultados" busca cubrir parte del vaco biblio-grfico existente en el tema, ofreciendo definiciones y herramientas que orientan sobre la realizacin de estudios pertinentes para la evaluacin de impacto, a fin de mejorar las capacidades de consultores/as, directores/as de proyectos, responsables de Unidades de Seguimiento y Evaluacin, miembros de los equipos tcnicos y personal de gobierno encargados de la lucha contra la pobreza rural.

Reforzado con enlaces electrnicos que amplan y aclaran lo reseado en el texto, est organizado en dos captulos, el primero de los cuales aborda Lineamientos Conceptuales acerca de lo que son y no son los EB, incluyendo los requisitos para llevarlos a cabo, recomendndose que el equipo tcnico del proyecto participe en todo o en buena parte del proceso de investigacin.

El segundo captulo trata sobre los Lineamientos Metodolgicos, que incluyen tres fases: Diseo y Or-ganizacin; Recoleccin y Anlisis; y Comunicacin y Uso de Resultados.

La primera fase comienza con la revisin de los resultados esperados que se hallan en la Matriz del Marco Lgico2, con el propsito de ajustar los indicadores de efecto e impacto; contina con la determinacin de los objetivos, contenidos, temas y marco metodolgico (incluyendo como tcnica principal la encues-ta de impacto del RIMS); y culmina con pautas sobre cmo elaborar el Plan de Trabajo respectivo. La segunda fase, Recoleccin y Anlisis de los Datos, implica la aplicacin de los instrumentos y la obten-cin de resultados, verificando la calidad del dato. La tercera fase, Uso y Comunicacin de Resultados, explica cmo redactar el informe maestro y cmo identificar las audiencias de los EB para aprovechar los hallazgos con miras al aprendizaje de los/las usuarias interesados.

1 El estudio realiz un anlisis detallado de la experiencia de estudios de base en 17 proyectos co financiados por el FIDA: PRODAP I y II, PROCHALATE, PRODERNOR en El Salvador; PROSOC, PRODERCO y PRONADEL, en Honduras; TROPISEC, PROSESUR y FAT en Nicaragua; Ngbe-Bugl en Panam; PRODECOP y PROSALAFA en Venezuela; UNEPCA y PROSAT en Bolivia y Corredor Puno Cusco y MARENASS en Per.

2 Tambin puede usarse matrices causales

I. LINEAMIENTOS CONCEPTUALES

DEFINICIONES

QU SON LOS ESTUDIOS DE BASE?

Los Estudios de Base (EB)3 ofrecen un conjunto de evidencias y apreciaciones sobre la situacin inicial de la poblacin objetivo de un proyecto, as como de la dinmica del contexto en que interviene, para que esa infor-macin pueda compararse con mediciones posteriores de los cambios logrados. Por tanto, son un tipo de investigacin aplicada dirigida a obtener los referen-tes bsicos de la evaluabilidad del proyecto y contribuir as a una mejor toma de decisiones. En sntesis, representan una pri-mera evaluacin, cuya metodologa ha de replicarse al menos a la mitad y al final del ciclo del proyecto, por lo que han de ser muy precisos para facilitar la medicin exacta de los cambios.

Su objeto especfico es determinar la situacin de inicio de los indicadores de efecto e impacto del pro-yecto, levantando su primer valor mediante tcnicas como la encuesta de impacto del RIMS4, cuestiona-

rios y otras formas de medicin de carcter cuan-titativo. Los EB deben mostrar adems evidencias cualitativas de la situacin de la poblacin objetivo al inicio de la intervencin, recogidas a travs de entrevistas, talleres, grupos focales y reuniones de la comunidad, quedando registradas mediante textos, grabaciones, vdeos y fotografas.

3 Se los nombra en plural pues son varios estudios integrados y complementarios que se enfocan en los indicadores del ML del proyecto.

4 Para informarse sobre el RIMS (Results Impact Management System: Sistema de Gestin de los Resultados e Impacto) y sobre la encuesta de impacto estandarizada del FIDA puede consultarse en el Enlace N 1 Bibliografa sobre el RIMS, donde figura el documento "Lineamientos prcticos para la ejecucin del sistema de gestin por resultados".

15

LOS ESTUDIOS DE BASEFUNDAMENTOS DE UNA GESTIN POR RESULTADOS

16

Dicho en otras palabras, al ser multidimensional la pobreza rural (mayormente con rostro indgena) sus cambios han de apreciarse y registrarse mediante indicadores cuantificables referidos a malnutricin en la niez, nivel de ingresos y activos y seguridad alimentaria; y tambin desde dimensiones cuali-tativas como el grado de capacidad de hombres y mujeres para gestionar recursos, el nivel de con-solidacin de grupos comunitarios, la forma en que hacen valer sus derechos, la aptitud de las redes locales para llegar al mercado, cmo se manejan los recursos naturales, cmo se toman las decisiones, qu tecnologas se adoptan y por qu, etc. Ello a fin de conocer lo necesario para crear capacidades y empoderar a los grupos ms pobres y excludos, lo que constituye la piedra angular del enfoque programtico del FIDA5.

As, hay consenso que los Estudios de Base deben generar informacin cuantitativa y cualitativa para analizar y mostrar el siguiente contenido:

5 Tmese nota que el grupo objetivo del FIDA, tal como se define en su mandato, es la poblacin rural de los pases en desarrollo que vive en condiciones de pobreza y de inseguridad alimentaria. Vese en el Enlace N 2 el texto completo del documento "Focalizacin. Los pobres de las zonas rurales" (FIDA, noviembre 2006).

6 La poblacin objetivo del proyecto es determinada en el documento Ex Ante. No obstante, en el ejercicio de los EB ha de aclararse si esa poblacin est bien focalizada en los mas pobres.

CONTENIDO DE LOS EB

Caracterizacin de la poblacin objetivo antes de la intervencin.

La dinmica del contexto y su relacin con la situacin de la poblacin objetivo.

Anlisis de las oportunidades y riesgos del entorno que afectaran el logro de los resultados (supuestos del Marco Lgico).

El primer valor (punto de partida) de los indicadores de efecto e impacto.

ingresos y activos familiares, junto a la prevalencia de la malnutricin crnica, el acceso a agua segura y seguridad alimentaria del hogar, en lo esencial. Complementariamente, ha de analizarse la situacin inicial de otros indicadores de efecto e impacto propios del proyecto, mediante cuestionarios ad-hoc, entrevistas, grupos focales e informacin secundaria. Todo ello segn las caractersticas y posibilidades del proyecto.

La dinmica del contexto y su relacin con la poblacin objetivo es analizada por los EB para examinar el entorno institucional (rol de los go-biernos locales en la promocin econmica, el tipo y cantidad de instituciones que prestan asistencia tcnica y las modalidades de servicios de crdito existentes), al igual que las caractersticas de las organizaciones de productores de la zona y otros tems ligados a las causas subyacentes de la po-breza rural.

Para establecer los supuestos de los factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lgico) se debe levantar informacin relacionada con aspectos tales como medidas de poltica pblica, legislacin y factores medio ambientales y culturales. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto definir estrategias para aminorar y/o frenar sus posibles influencias negativas. Finalmente, los primeros valores de los indica-dores de efecto e impacto (tambin conocidos como lnea de base) son importantes pues dan apoyo a la gestin del proyecto en la toma de decisiones y ofrecen informacin relevante para los reportes anuales al FIDA y a otras instancias, quedando incorporados a la base de datos del sistema de Seguimiento y Evaluacin.

El FIDA valora la situacin inicial de la po-blacin objetivo6 para medir el nivel y tipo de


17

En sntesis, la idea fundamental a tener en cuenta es que los Estudios de Base son muy acotados (focalizados), pues slo recogen informacin que pueda ser comparada posteriormente con los re-sultados del proyecto, para determinar el antes y el despus. Como se sabe, un principio inherente a la evaluacin es la posibilidad de establecer com-paraciones, disponiendo de valores y valoraciones7 iniciales respecto a los indicadores de evaluacin. Por ello, la informacin al respecto debe estar es-trechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo anlisis ha de repetirse en las evaluaciones de mitad de periodo y al final.

Para concluir esta descripcin de las caractersticas de los Estudios de Base, es conveniente reiterar que su realizacin ofrece grandes ventajas para el xito de una gestin orientada al impacto y al aprendizaje, mientras que su ausencia o deficiencia afecta la evaluabilidad del proyecto. En breve, el uso adecuado de los EB permite: Disear las bases de un Sistema de PSES8 para

mltiples actores.

Afinar las estrategias y ajustar los indicadores de efecto e impacto.

Definir resultados y metas realistas dados los recursos y tiempos trazados.

Mayor conocimiento del equipo tcnico en los problemas de la poblacin objetivo abordados por el proyecto.

Desarrollar el compromiso y la participacin de los diferentes grupos de actores en el desarrollo de los sistemas de PSES.

7 Se entiende que el valor es el dato del indicador y la valoracin es el anlisis de ese valor, en relacin a la situacin de la poblacin objetivo, la dinmica del entorno y los supuestos.

8 PSES: Planificacin, Seguimiento, Evaluacin y Sistematizacin.

9 En los Informes de Evaluacin ex ante se encuentran diversas expresiones para referirse a los Estudios de Base, tipificndolos como Encuesta de Base (o encuesta socioeconmica y productiva), Diagnstico de Base, y Lnea de Base, por lo cual se requiere aclarar qu no es un Estudio de Base. Ver "Notas sobre Estudios de Base en proyectos financiados por el FIDA en la Subregin de Centroamrica, Panam y Belice", trabajo presentado por Jorge Len en el Mdulo II del Programa Intensivo en Seguimiento y Evaluacin (PRISE), Guatemala, julio 2002. Revisar al respecto la pgina web de PREVAL www.preval.org

QU NO SON LOS ESTUDIOS DE BASE? 9

Resulta clave precisar qu son y qu no son los Estudios de Base, pues suelen producirse errores conceptuales y metodolgicos que dejan al pro-yecto sin elementos comparadores eficaces para la atribucin del impacto. As, la revisin de los EB realizada por PREVAL en los proyectos FIDA de la regin, evidenci problemas en stos en las siguientes reas:

a. En la formulacin de de los objetivos de los EB (generalmente establecidos de manera incorrecta).

b. En el tipo de informacin recogida (muchos se asemejan a diagnsticos iniciales, con abun-dantes, detallados e innecesarios datos).

c. En su estructura (suelen presentarse slo como listados de valores iniciales de los indicadores o lnea de base).

d. En el enfoque (algunos proyectos los abor-dan como Evaluaciones Ex Ante).

e. En el uso de las herramientas (muchas veces se asocia los EB slo a la realizacin de encuestas).

Existen errores comunes en la formulacin de los objetivos, en el sentido de que unos los entienden como si pertenecieran a investigaciones generales de tipo acadmico, mientras otros yerran al deter-minar su foco, que no es otro que establecer los primeros referentes y favorecer la evaluabilidad del proyecto. En el siguiente ejemplo se contrasta una formulacin correcta de los objetivos de un EB con otra incorrecta.


18

FORMULACION DE OBJETIVOS EN LOS EB

Ejemplo de formulacin correcta:

Establecer un punto de partida a travs de una caracterizacin integral (cuantitativa y cualitativa) de las condiciones socioeconmicas, culturales, institucionales y agroecolgicas propias del rea de influencia del proyecto, as como de las instituciones relacionadas con la intervencin del mismo, que sirva de referencia en futuras evaluaciones para mostrar en el transcurso del tiempo los cambios, efectos e impactos debidos a la intervencin del Programa (Estudio de Base del PRONADEL).

Ejemplo de formulacin incorrecta:

Determinar las condiciones sociodemogrficas y econmicas existentes en las unidades familiares del rea de influencia del Proyecto, recopilando, procesando e interpretando la informacin de manera diferenciada, que responda a un enfoque de gnero. (Estudio de Base de PRODAP II).

Otro problema frecuente en la elaboracin de los EB radica en tomarlos como diagnsticos iniciales o como actualizaciones y/o ampliacio-nes de la situacin descrita en el documento ex ante10. Es menester aclarar que los diagnsticos son descripciones amplias y generales de una potencial zona de intervencin, realizados para identificar problemas, necesidades y soluciones,

10 En el estudio mencionado se observ que en 5 de los 17 proyectos analizados, lo que se considera Estudios de Base son en realidad un diagnstico general sin referencia a los indicadores de efectos e impactos definidos en el proyecto, y por tanto, sin utilidad para un Subsistema de Evaluacin orientado al impacto.

11 En varios de los proyectos analizados, los Estudios de Base fueron realizados como estudios para complementar el diagnstico y guiar la planificacin operativa, sin enmarcarlos en un concepto de evaluacin de efectos e impactos. En otros casos, se realizaron como "lneas de base", entendidas como "una radiografa instantnea" del dato inicial de los indicadores referidos a la poblacin objetivo, sin prever los mecanismos de evaluacin posterior que permitieran la comparacin. Estas lneas de base han adolecido de dos grandes defectos: fueron concebidas como diagnsticos externos y no fueron referidas a los indicadores de efectos e impactos de los proyectos, previamente definidos.

de modo que no se limitan a la poblacin objetivo, sino que incluyen a la poblacin total o a una parte significativa de ella. Por el contrario, los Estudios de Base tienen como foco a la poblacin objetivo de un proyecto y se circunscriben a la misma, describindola con relacin a los efectos e impac-tos esperados del proyecto11. Vase al respecto el siguiente recuadro.

RECUADRO N 1DIFERENCIAS ENTRE ESTUDIOS DE BASE Y DIAGNSTICOS INICIALES

Estudios de Base Diagnsticos Iniciales

Se realizan slo a partir de un proyecto ya formulado.

Muestran la situacin inicial de la poblacin objetivo, su zona de influencia y contexto.

Se enfocan en la poblacin objetivo, o sea la que rene los requisitos sealados en el proyecto. Entregan informacin para valorar los cambios atribuibles al proyecto.

Aportan elementos metodolgicos para revisar o redisear el sistema de PSES.

Son previos a la formulacin del proyecto: ayudan a definir su estrategia.

Describen y explican en forma general una potencial zona de intervencin.

Trabajan con una poblacin amplia, que no se limita a la probable poblacin objetivo.

Tratan problemas, necesidades y soluciones.

Definen qu hacer, cmo y con qu.

Caracterizan a la poblacin objetivo desde la poblacin general.

Fuente: PREVAL II (2004)


19

As como no son un diagnstico inicial, los estu-dios de base tampoco se reducen a una lnea de base, que es un listado con el primer valor de los indicadores de efectos e impactos, contemplados en el marco lgico del proyecto. Dicho listado cuan-tifica indicadores, resumiendo situaciones, pero no las explica ni permite ver su conexin con otros fenmenos. Por ello, una parte importante de los Estudios de Base est representada por la lnea de base, mas sta no los reemplaza.

Asimismo, en algunos proyectos los EB son tratados como Evaluaciones Ex Ante, que son anlisis cos-to-beneficio y de costo-efectividad elaborados para evaluar la viabilidad, pertinencia y eficacia de un proyecto, a fin de decidir si se lleva a cabo o no. Por ello, la Evaluacin ex ante presenta una descripcin breve del contexto y de las caractersticas generales de la poblacin, como sustento previo a los impactos del proyecto, mientras que los EB se desarrollan despus de formulado el proyecto y contienen in-formacin a partir de sus resultados esperados, no para determinar su conveniencia, sino para permitir su evaluabilidad. Por consiguiente, la Evaluacin ex ante difiere sustantivamente de los Estudios de Base, tanto en objetivos como en contenido.

Respecto a las encuestas de base cabe decir que constituyen una importante tcnica aplicada por los EB, pero tampoco son la nica, puesto que igualmente se pueden realizar grupos focales, talleres y entrevistas, como ya se ha indicado an-teriormente.

LOS EB EN EL SISTEMA DE SEGUIMIENTO Y EVALUACIN

Un Sistema de Planificacin, Seguimiento, Evalua-cin y Sistematizacin (sistema de PSES) es una herramienta utilizada por la gestin del proyecto para recolectar y procesar datos que permitan analizar y comunicar informacin sobre los cambios atribuibles a una intervencin para el desarrollo. En el caso de los proyectos cofinanciados por el FIDA, este Siste-ma gua la estrategia hacia resultados visibles en la reduccin de la pobreza rural, para lo cual propicia la rendicin de cuentas, la toma de decisiones y el apren-dizaje entre mltiples actores, todo ello en espacios de reflexin y comunicacin sobre los cambios.

En este marco, el Sistema de PSES es un medio para aprender de los problemas y errores, as como de las buenas prcticas y aciertos en la ejecucin del proyecto. Su foco son los cambios esperados, de modo que los Estudios de Base (al ser el primer referente de esos cambios) tienen un rol clave en la planificacin, seguimiento, evaluacin y siste-matizacin. Este rol se consolida cuando la gestin orientada al impacto exige contar con informacin oportuna para verificar y apreciar los resultados. Para ello es necesario garantizar criterios de comparacin homogneos y rigurosos entre el marco lgico del proyecto, el Estudio de Base y las posteriores evaluaciones, tarea que junto a otras compete al subsistema de evaluacin, uno de los cuatro que componen el sistema de PSES en su conjunto, como se ve en el siguiente cuadro.


20

De acuerdo con el PREVAL, es necesario que los cuatro subsistemas del PSES tengan objetivos li-gados entre s para dar respuesta articulada a las preguntas sobre los cambios. En general, el rol de los EB en cada subsistema es el siguiente.

El subsistema de planificacin levanta las hip-tesis de cambio del proyecto, establece metas, indicadores y resultados; qu debe hacerse y por quin, incluyendo la asignacin de recursos. Bsicamente, este subsistema utiliza tres herra-mientas: el planeamiento estratgico, la matriz del Marco Lgico y el Plan Operativo Anual o POA. Como se ha dicho, los EB proporcionan el valor inicial de los indicadores de efecto e im-pacto, datos que acompaan a la planificacin de manera permanente.

El subsistema de seguimiento se concentra en el desempeo de las intervenciones, valin-dose del POA como referente y revisando el cumplimiento de las actividades y productos. Ha de tenerse en cuenta que este subsistema se enfoca en los indicadores de primer nivel (producto), mientras que los EB lo hacen bsicamente en los de segundo y tercer nivel (efectos e impactos). Sin embargo, los EB se articulan al subsistema de seguimiento brindan-do datos que son los primeros comparadores de los cambios (punto de partida).

El subsistema de evaluacin es el ms vincula-do a los estudios de base, pues se encarga de llevarlos a cabo. En las evaluaciones de corte (por lo general a mitad de periodo y al final del ciclo) se retoma la metodologa de los EB para

SISTEMA DE PSES Y EL CICLO DEL PROYECTO

EVAL

EX

ANTE

EVAL

EX

POST

Etapa de Planeamiento

ESTUDIO DE

BASE

EVAL.FINAL

Etapa de Evaluacin finalEtapa de Ejecucin

Seguimiento

EVALUACIN INTERMEDIA

Planificacin

Sistematizacin

Evaluacin

EVALUACIN CONTINUA O DE PROCESO


21

comparar los cambios y auscultar las tendencias hacia el impacto. Cabe anotar que no obstan-te los avances observados en los proyectos cofinanciados por el FIDA, todava son pocos aquellos donde el concepto de Estudios de Base se maneja como parte de un subsistema de evaluacin enfocado a efectos e impactos. Una contribucin a la mejora de los EB se dio el 2003, al establecerse que los subsistemas de evaluacin de todos los proyectos cofinanciados por el FIDA cuenten con encuestas de impacto estandarizadas, en el marco del RIMS12.

Finalmente, el subsistema de sistematizacin analiza los procesos y experiencias de una intervencin de desarrollo, interpretando lo vivido por sus actores y ordenando la reflexin crtica, con miras a la socializacin de los apren-dizajes. Los EB aportan a este subsistema una informacin clave para reconstruir la situacin inicial, al contrastar el punto de partida de la experiencia con los resultados al momento de la sistematizacin.

REQUISITOS

CUNDO LLEVAR A CABO LOS EB?

Los EB sern tiles y cumplirn los propsitos previstos si se elaboran cuando ya estn dadas algunas situaciones clave, como por ejemplo:

Contar con una caracterizacin adecuada de la poblacin obje-tivo y la zona de influencia del proyecto (focalizacin).

Estar en el primer ao de ejecucin y disponer de personal tcnico en nmero suficiente y con capacidades para llevar a cabo los estudios.

Tener clara la estrategia de intervencin y los objetivos del proyecto.

Contar con el diseo del subsistema de plani-ficacin y tener avanzado el de evaluacin.

Se observa con frecuencia que para caracterizar a la poblacin objetivo, en algunos EB se levan-tan datos sobre poblaciones que no pertenecen al grupo de usuarios directos del proyecto, ya sea porque ello se hizo muy al inicio de la intervencin o porque la estrategia no termin de definirse y experiment muchos cambios. En una situacin como sta, resulta difcil cumplir con el propsito de facilitar las evaluaciones posteriores. Por ello, es fundamental que los EB respondan a la pregun-ta de si la poblacin objetivo est correctamente caracterizada en la evaluacin ex ante, y de no ser as, proceder a focalizarla13.

La experiencia indica que el primer ao de eje-cucin es necesario para contar con el personal contratado y comenzar con los arreglos logsticos y programticos que requieren las actividades. Claro est que ello depender en gran medida de las condiciones iniciales y de la estabilidad del entorno institucional del proyecto.

12 Para mayor informacin acerca del RIMS del FIDA ver el Enlace N 1.

13 En el punto "Establecer el contenido de los EB" se desarrolla en profundidad la caracterizacin de la poblacin objetivo.


22

Justamente, es necesario contar con tales con-diciones para que se retomen y actualicen las estrategias de intervencin y los objetivos del proyecto, en caso hayan cambiado algunos factores externos (favorables o desfavorables). Ello es posible en el marco del dilogo inicial necesario entre los miembros de los equipos tc-nicos y la poblacin objetivo, sentando las bases de una estrecha comunicacin que fortalezca la participacin.

Finalmente, para iniciar los EB debe estar avanzado el diseo del subsistema de planificacin, por-que los EB requieren de la previa elaboracin del Marco Lgico del proyecto (principal referente de este subsistema) a fin de establecer el primer valor de las hiptesis de cambio e indicadores. Asimismo, el diseo del subsistema de evaluacin ha de hallarse en proceso para que los EB se elaboren en coherencia con las posteriores evaluaciones de corte o temticas.

14 Se dice que los EB no son apropiados cuando yerran en la metodologa o en el enfoque, cuando se hicieron a destiempo (la poblacin objetivo ya tuvo contacto con el proyecto y por tanto ya no reflejan la situacin inicial) o cuando ya realizados los EB se hacen cambios sustantivos en los indicadores de efecto e impacto.

RECUADRO N 2EL MOMENTO ADECUADO PARA REALIZAR LOS ESTUDIOS DE BASE

Es comn encontrar proyectos con Estudios de Base prematuros y poco pertinentes para las evalua-ciones posteriores. Causa de ello suele ser la falta de involucramiento del equipo del proyecto (en muchos casos porque todava no se ha conformado ste y en otros, por una inestabilidad del personal inicial). Tambin ello se debe a los cambios de rumbo que se toman sobre la marcha, que desenfocan la evaluacin y obligan a volver a pensar cmo evaluar. Estos casos fueron: PROCHALATE, PRODERCO, UNEPCA y PROSALAFA.

Paradjicamente, cuando se ha logrado mayor capacidad y motivacin por la evaluacin de efectos e impactos por parte del equipo del proyecto, result ser demasiado tarde para reconstruir la situacin de partida hacindose, entonces, necesario apoyarse en otras fuentes de informacin a menudo ge-neradas por el subsistema de seguimiento, por cierto sin la calidad y precisin de un Estudio de Base. Este es el caso de PRODERCO y UNEPCA.

Luego hay dos proyectos que hicieron su Estudio de Base temprano y bien enfocado, aunque cierta-mente requieren complemento posterior en algunos aspectos de la intervencin; es el caso de PROSOC y PRODECOP. Mientras que PRODESEC (Nicaragua) realiz dos encuestas y desarrolla estudios de caso para seguimiento a los impactos. La primera encuesta fue la del RIMS, dirigida a una muestra de la poblacin, la segunda encuesta, aplicada en usuarios del proyecto segn ingresan al mismo (familias y organizaciones).

QU HACER CUANDO NO SE REALIZ UN EB?

En el caso de que un proyecto carezca de los EB o los tenga pero no del modo apropiado14, la pre-gunta por contestar viene a ser: resulta posible reconstruir los referentes iniciales y contar con ele-mentos de comparacin para evaluar? La respuesta es afirmativa (aunque a veces ello no se pueda lograr ms que de manera aproximada) mediante

la realizacin de estudios retrospectivos que sirvan de parmetro para las evaluaciones.

Por supuesto, sta no es una situacin ideal, pero s real. Los referentes para posteriores evaluaciones pueden obtenerse reconstruyendo los hechos a travs de la memoria de los grupos de actores, por medio de diferentes tcnicas y herramientas (en-trevistas individuales y grupales, historias de vida,

Fuente: Elaboracin propia e Informe de Consultora. Patrick Dumazert, 2002.


23

vdeos, cronologas y lneas de tiempo, as como revisin de informacin secundaria proveniente de instituciones y organizaciones locales). Para ello es importante conocer qu otras entidades trabajan en la zona y saber si realizan estudios que puedan ser aprovechados, adems de recurrir a las bases de datos nacionales y regionales sobre la reduccin de la pobreza rural y los ODM.

PARTICIPANTES Y ROLES

Es deseable que los EB tengan un proceso parti-cipativo, esto es que los actores del proyecto se involucren en sus diversas fases, sobre todo en el diseo del sistema PSES, especialmente en la revisin del marco lgico, como luego se ve en detalle en el punto 3. Elaborar un Mapeo de Ac-tores contribuye a definir mejor la participacin e intereses de stos, lo cual puede apreciarse en el Enlace N 3, "Mapeo de Actores Sociales".

La participacin ofrece mltiples ventajas a los sistemas de PSES, entre ellas el aprendizaje colectivo, que se traduce en empoderamiento de los actores y en la mejora de su capacidad para generar los cambios. Entre estas ventajas, cabe recordar que el trabajo en grupo promueve actitudes favorables a la resolucin de conflictos y a la construccin de acuerdos, fortaleciendo la disposicin de los participantes para comprome-terse en las acciones del proyecto. En la prctica, la accin colaborativa trae beneficios que van ms all de las necesidades de una evaluacin en particular, insertndose en los procesos locales de toma de decisiones.

Esta participacin se produce naturalmente cuando los equipos encargados del Seguimiento y Evalua-cin son mixtos, es decir, integrados por actores de los siguientes niveles:

el equipo tcnico y miembros de las USES (Unidades de Seguimiento y Evaluacin);

representantes de los actores locales (organiza-ciones de la poblacin objetivo, gobiernos locales y entidades gubernamentales y privadas); y

consultores externos.

Es conveniente que los grupos as formados se institucionalicen y participen integrando comits e instancias ad-hoc, incluso desde antes de la revisin del Marco Lgico, o de los Objetivos, resultados e indicadores.

En estos equipos mixtos, los roles deben estar cla-ramente definidos y ser reconocidos por todos, de modo que unos y otros se sepan complementarios en la gestin de los cambios. Puntualmente, tales grupos han de desempear los roles en la elabo-racin de los Estudios de Base, segn se describen en el Recuadro N 3.

Si bien la participacin es importante a lo largo de los procesos de evaluacin, hay algunos momentos en los que resulta indispensable, como es en el caso de la revisin del ML del proyecto. Este momento es clave para que todos los actores involucrados tengan claridad sobre los cambios buscados y sobre cmo se verificarn, sentando las bases de un sistema de PSES participativo. Saber qu y cmo se va a evaluar comienza por disear y organizar los Estudios de Base, de lo cual se trata a continuacin.


24

Consultores externos

Por lo general, los consultores participan en diversos momentos del proceso, para facilitarlo y prestar asistencia tcnica especializada. Es comn su participacin en los siguientes temas:

Facilitacin de procesos participativos, construccin de acuerdos y consensos, por ejemplo en la identificacin de indicadores del marco lgico.

Asistencia tcnica en la aplicacin de procedimientos estadsticos, especialmente en el diseo de marcos muestrales y el anlisis cuantitativo o en temas especializados como la medicin de la desnutricin crnica.

Asistencia tcnica en la aplicacin de procedimientos tecnolgicos (uso de software) para el procesamiento y anlisis de datos.

RECUADRO N 3ROL DE LOS ACTORES EN LOS EB

Unidades de SyE USES

Planificar y liderar los procesos de PSES.

Garantizar que el EB sea parte integral del Subsistema de Evaluacin, respondiendo a los indi-cadores del ML.

Facilitar la generacin de informacin y la produccin de reportes. Propiciar la participacin de diversos actores en los procesos de evaluacin, incluyendo a miembros del Equipo Tcnico del Proyecto.

Acompaar mediante supervisin directa la aplicacin de las diversas tcnicas de recoleccin, procesamiento y anlisis, especialmente en lo referido a la encuesta de medicin de impactos del RIMS.

Disear el plan de comunicacin y uso de los resultados, en consulta con los actores del proyecto.

Actores locales (coejecutores, organizaciones)

Participar en el proceso de planificacin de la evaluacin, principalmente en la revisin de los indicadores del ML y los otros componentes de la matriz.

Participar en la recoleccin de datos, ya sea como informantes y/o como operadores de las di-versas tcnicas, as como en la fase de anlisis.

Participar en el establecimiento de acuerdos sobre el uso que se le dar a la informacin.


Fuente: Elaboracin propia y PREVAL II (2004).


25

II. LINEAMIENTOS METODOLOGICOS

FASE DE DISEO Y ORGANIZACIN DE LOS EB

Es necesario planificar el desarrollo de los EB a partir de la revisin de los resultados esperados del proyecto, efectuando las enmiendas necesarias a la matriz del marco lgico y ajustando los indicadores para cimentar la medicin de los resultados. Ello permite pasar a la determinacin de los objetivos y contenido de los EB, luego de lo cual puede formu-larse el Plan de Trabajo, el Marco Metodolgico y la Matriz de Diseo y Anlisis, entre otros productos de esta etapa preparatoria.

De cmo realizar lo anterior trata el presente cap-tulo. Se busca lograr que los/las lectores estn en condiciones de participar en el diseo y organiza-cin de los EB, quedando en capacidad para ela-borar los productos mencionados y as forjar unos Estudios de Base tiles para evaluar los cambios y facilitar la gestin de los proyectos.

REVISIN DE LOS RESULTADOS

QU ES EL MARCO LGICO?

El ML es un instrumento de plani-ficacin que resume y organiza los cambios requeridos por una intervencin de desarrollo (programa o proyecto) para mejorar los medios y calidad de vida de la poblacin obje-tivo. Como herramienta me-todolgica sistematiza en una matriz los resultados esperados

de la intervencin, presentando en forma visual su funcionamiento terico, as como sus medios de verificacin. En ese sentido, la matriz del ML hace explcita la hiptesis central de todo proyecto al presentar grficamente la integracin de dos lgicas complementarias, una vertical y otra horizontal.

La lgica vertical muestra qu se va a hacer y qu cambios se esperan, evidenciando la relacin causal de los resultados (de primer, segundo y tercer nivel) con los supuestos. Responde a la lgica convencio-nal de una hiptesis causa-efecto en la investigacin social: si se realiza A (actividades) y se cumple B (condiciones y supuestos) se alcanza C (resultados de efecto) y si se produce D (nuevos supuestos), entonces es posible alcanzar E (impacto).

Por su parte, la lgica horizontal expresa cmo se van a medir y verificar los cambios, lo que signi-fica vincular resultados, indicadores (definiciones y


26

variables), medios de verificacin y supuestos15. Al identificar los indicadores y los medios de verifica-cin (columnas centrales en la matriz), esta lgica da forma al esquema bsico del sistema de PSES del proyecto, proporcionando elementos indispensables para la constatacin de los cambios.

Vale decir que la lgica horizontal del ML ayuda a determinar grficamente la coherencia de los in-dicadores y sus medios de verificacin respecto a los resultados. Para constatar tal concordancia hay que preguntarse: el indicador me permite medir o valorar el cambio deseado?, el medio de verifi-cacin me permite acceder a datos e informacin suficiente para observar la evolucin de lo medido por el indicador?

REVISIN DEL ML Y DE SUS INDICADORES

Recordemos que la matriz del ML no es un for-mato esttico, sino un proceso dinmico sujeto a permanente actualizacin e interpretacin, por lo cual debe revisarse el contenido de sus objetivos, indicadores, medios de verificacin y supuestos. Sin embargo, ello no supone desechar la matriz en uso y sustituirla por una radicalmente distinta, sino ms bien partir de la que ya se tiene para introducir ajustes y aadir elementos necesarios, como ocurre con los indicadores (obligatorios y opcionales) del RIMS16.

El resultado de la revisin es una reforzada matriz del ML que incorpora los citados indicadores e in-cluye actualizaciones y modificaciones en el listado de los dems que son propios de cada proyecto. Necesariamente reflexivo, este proceso implica facilitacin, dilogo grupal y construccin de con-senso, as como contar con el concurso de todos los grupos de actores del proyecto.

Son objetivos de la revisin del ML:

Ajustar los indicadores de efecto e impacto, precisar sus definiciones y mtodo de clculo.

Incluir los indicadores obligatorios del RIMS y tomar en cuenta los opcionales, si ello an no se ha hecho.

Actualizar los medios de verificacin y la colum-na de supuestos.

Esta revisin es necesaria para formular los objetivos, temas y contenidos de los EB, as como la estrategia metodolgica (complementaria a la encuesta de im-pacto del RIMS), tomando en cuenta que el ML del proyecto es el foco de estos estudios. Para ahondar en el tema puede consultarse el Enlace N 4 sobre "Elaboracin y Revisin del Marco Lgico", donde figura un kit de bibliografa bsica con definiciones y procedimientos al respecto.

Aspecto central en la revisin del ML es la defini-cin y concrecin de sus indicadores de efecto e impacto, resultando necesario precisar los trminos clave utilizados en la medicin. Por ejemplo, si formulamos el indicador como "porcentaje (%) de empresas comunales de turismo ecolgico que operan servicios y productos de forma rentable y sostenible", es necesario detallar qu se entiende por rentable y sostenible. Al proceso mediante el cual se descompone al indicador en dimensiones y variables17 (lo que facilita la verificacin de las caractersticas observables), se le llama operacio-nalizacin, pues as el indicador se vuelve opera-cional (se puede medir) a efectos de evaluar los resultados.

Como parte del proceso de armonizacin de la cooperacin para el desarrollo, se ha logrado es-tablecer algunas definiciones y estndares para la medicin de indicadores, especialmente los que forman parte de los ODM y sobre todo para los indicadores de impacto. Por ejemplo, desnutricin crnica en menores de 5 aos tiene una definicin establecida internacionalmente, al igual que seguri-

15 Algunas matrices del ML incluyen el valor de la lnea de base por indicador, metas y rea geogrfica, lo cual es opcional.

16 Sobre los indicadores del RIMS se tratar ms adelante, en este captulo.

17 Para aclarar la diferencia entre dimensin y variable puede consultarse el texto de Ruiz-Bravo Patricia y Barrig, Maruja que se encuentra en el Enlace N 5 "Lineamientos Metodolgicos para la incorporacin del enfoque de Gnero en el Seguimiento y Evaluacin de proyectos".


27

dad alimentaria, acceso a agua segura, etctera.

Para el ajuste de los indicadores ha de tomarse en cuenta que segn su variable de medicin stos pueden ser cuantitativos, cualitativos o mixtos.

i. Indicadores cuantitativos son enunciados que permiten evaluar cambios referidos a cantidades y que manejan informacin bsicamente referi-da a nmeros, tasas y porcentajes, expresando medidas, cantidad y frecuencias. Los principales mtodos y tcnicas utilizadas para verificarlos son los censos y encuestas; los cuestionarios y entrevistas estructuradas, modelos matemticos y economtricos. Un ejemplo de indicador de impacto cuantitativo es el porcentaje de hogares que han mejorado sus activos fsicos.

ii. Indicadores cualitativos son aquellos que eva-lan cambios expresados en cualidades y por tanto manejan informacin cualitativa (grado, nivel, tipo). Importantes tcnicas para verificar estos indicadores son las entrevistas grupales e individuales, las historias de vida y las tcnicas grupales (talleres, grupos focales, reuniones con la comunidad).

iii. Indicadores mixtos18 son aquellos que verifican cambios cualitativos y determinan en cuntos individuos /poblaciones se presentan esos cam-bios. Un ejemplo de indicador de efecto mixto sera el siguiente:

Nmero de organizaciones segn grado de desa-rrollo de su capacidad tecnolgica en trminos de si aplican:

tecnologas agrcolas convencionales;

tecnologas para proteccin de suelos;

tecnologas para optimizar uso del agua;

tecnologas que preservan la biodiversidad de la zona (recursos genticos).

Respecto a la relacin que existe entre indicado-res cualitativos y cuantitativos puede decirse que constituyen "dos caras de una misma moneda", expresando dimensiones complementarias (ningu-na es mejor que la otra). Por ello es fundamental que los Estudios de Base comprendan informacin que combine ambas. Para ver cmo se construyen los indicadores (incluyendo los mixtos) se sugiere revisar el Enlace N 5.

Aspecto favorable de los procedimientos de revisin y definicin es que propician el entendimiento entre los actores del proyecto, quienes as comparten una misma visin y se familiarizan en el manejo de un lenguaje comn, todo ello necesario para que los EB produzcan los frutos buscados.

Junto a la definicin del indicador19 hay que esta-blecer cmo se calcular el mismo, procedimiento registrado en la Matriz de Diseo y Anlisis (ver subttulo respectivo). Algunos pasos para revisar el ML y cada una de sus columnas se presentan a continuacin20.

1. Comenzar con describir el concepto y las di-mensiones del hecho a medir a travs de una lluvia de ideas u otra dinmica de construccin grupal de conocimiento.

2. Ubicar el indicador segn el nivel de resultado (primer, segundo y tercer nivel), comenzando con la formulacin del indicador de tercer nivel.

3. Traducir la definicin en dimensiones y variables verificables.

18 La formulacin de indicadores mixtos es una propuesta metodolgica desarrollada por la Fundacin Synergia, ONG colombiana, en el Sistema de PSES de proyectos de Cordaid.

19 Como parte del proceso de armonizacin de la cooperacin para el desarrollo, se ha logrado establecer algunas definiciones y estndares para la medicin de indicadores, especialmente los que forman parte de los ODM y sobre todo para los indicadores de impacto. Por su parte, el FIDA ha establecido claramente el grupo objetivo y ha dado una definicin conceptual compartida de la focalizacin sobre la poblacin rural pobre.

20 Adaptado de Rotondo, Emma y Vela, Gloria "Lineamientos para construir Indicadores de Gnero" PREVAL 2003.


28

4. Listar tales variables y determinar la unidad de anlisis, o sea quines sern el objeto de la medicin (si son familias, instituciones, orga-nizaciones o grupos).

5. Identificar la unidad de medida: el nmero y la proporcin, sin son cuantitativos, nivel, existencia y grado, si son cualitativos.

6. Definir un indicador para cada dimensin con sus variables y redacten en forma simple y directa, para la comprensin de todos. Es pre-ciso determinar si los aspectos sealados son "observables" directamente desde la realidad.

7. Preguntarse una y otra vez qu evidencias de-bern encontrar sobre la existencia del resulta-do, hasta llegar a una definicin de consenso.

8. Seleccionar pocos indicadores para hacer ma-nejable la recoleccin de datos.

9. Pregntarse cmo y quines recogern los datos para cada indicador. Si no encuentran respuestas viables deben descartar ese indicador.

10. Revisar y complementar los medios de verificacin.

11. Ajustar los supuestos, empezando por los re-sultados de primer nivel (producto) para subir hacia los niveles ms altos.

LOS INDICADORES DEL RIMS

En el ao 2003 se dispuso que los proyectos de lucha contra la pobreza rural cofinanciados por el FIDA cuenten con un Sistema de Gestin por Resul-tados e Impacto (RIMS) donde el ML sea la principal herramienta de gestin. La implementacin de tal Sistema, que se vale de indicadores comunes a los distintos tipos de proyectos, fue acordada para evaluar dimensiones estrechamente ligadas a los Objetivos de Desarrollo del Milenio (ODM).

En efecto, el RIMS incluye un men de indicadores dirigidos a medir temas claves de la pobreza rural,

clasificados de la siguiente manera, segn el nivel de resultado.

Indicadores de primer nivel (producto): Miden los avances financieros y materiales, mayor-mente cuantitativos (cifras y porcentajes, por ejemplo: N de sistemas de irrigacin rehabilitados) y generalmente se planifican e implementan sobre una base anual. Estos indicadores constituyen la medicin de los resultados, ya sea a nivel de actividad o de producto del marco lgico.

Indicadores de segundo nivel (efecto): Miden la mejora de la funcionalidad y/o los cambios de comportamiento. Son de naturaleza ms cualitativa (por ejemplo, sostenibilidad de las juntas de regantes) y por lo general tardan ms tiempo en alcanzarse. Este nivel se corresponde ya sea con el nivel de productos o de objetivos especficos del marco lgico del proyecto.

Indicadores de tercer nivel (impacto): Miden los efectos combinados de los resultados de primer y segundo nivel. Son de naturaleza cuantitativa (por ejemplo, hogares que repor-tan un aumento de sus activos) y se miden en intervalos especficos a lo largo del ciclo de vida del proyecto. Pueden referirse al nivel de metas del marco lgico y, en algunos casos, al nivel de objetivos especficos.

Entre obligatorios y opcionales, dichos indicadores contemplan aspectos centrales de la pobreza ru-ral, de modo que su aplicacin resulta clave para los alcances del proyecto y para las polticas que existan en torno al tema a nivel local, nacional y regional. Por supuesto, no se trata de indicadores nicos, sino slo de aquellos que el FIDA exige en cumplimiento de su mandato institucional21.

As, en los proyectos del FIDA es obligatorio evaluar estos cuatro indicadores:

21 Los indicadores del RIMS reflejan las necesidades de informacin de al menos una parte interesada: el FIDA. Informar sobre los indicadores del RIMS no socava o reemplaza los procesos participativos que apuntan a promover la participacin de las partes interesadas, ya sea en trminos de la seleccin de los indicadores de resultados o del seguimiento de los mismos. Ms bien, complementa la participacin de las partes interesadas, al definir de forma explcita las necesidades de informacin del FIDA, que en muchos casos sern las mismas que las de las contrapartes y otras partes interesadas. Los indicadores identificados por otras partes interesadas que no figuren en el sistema de informes del RIMS deben ser incluidos en el sistema de SyE del proyecto. (Extracto de "Lineamientos prcticos para la ejecucin del Sistema del FIDA de Gestin de los Resultados y el Impacto") el documento completo se encuentra en el Enlace N 1.


29

(i) nmero de hogares que acusan mejora del ndi-ce de propiedad de activos familiares22, en base a los activos adicionales (bienes productivos, bicicletas, radios, viviendas mejoradas, techos de hojalata, etc.);

(ii) reduccin porcentual de la prevalencia en des-nutricin infantil;

(iii) nmero de hogares que acusan mejora en seguridad alimentaria;

(iv) nmero de personas que reciben servicios del proyec-to (beneficiarios directos y beneficiarios totales).

Los tres primeros se deben medir en momentos claves del ciclo del proyecto: al inicio (Estudios de Base), a la mitad y al final, mediante la aplica-cin de una encuesta estandarizada23, mientras que la evolucin del cuarto indicador (N de personas que reciben servicios del proyecto) se reportar anualmente junto a los indicadores opcionales.

El siguiente cuadro muestra a los mencionados indicadores del RIMS segn su tipo (obligatorio u opcional), dimensiones y niveles:

22 La metodologa utilizada para este ndice toma en cuenta la experiencia de otras organizaciones internacionales, como UNICEF (Encuesta por Conglomerados a nivel de Hogares) y el Banco Mundial (Estudios sobre Medicin de Niveles de Vida). Para mayores informes sobre su definicin y mtodo de clculo dirigirse a la web www.ifad.org

23 En la seccin "Marco Metodolgico" se profundiza sobre las caractersticas de esta encuesta. Al respecto es oportuna la lectura del documento "Directrices Prcticas" Enlace N 1.

RECUADRO N 4 SELECCIN DE INDICADORES DEL RIMSIndicadores

Obligatorios OpcionalesDimensiones

Tercer nivel (impacto)Pobreza Hogares que acusan una mejora del ndice de propiedad de activos familiares, con base en los activos adicionales *

Caresta / hambre Reduccin de la prevalencia de desnutricin infantil *

Universalizacin de Tasa neta de matrcula en primaria la enseanza

Gnero Tasa de analfabetismo (por gnero)

Razn de mujeres alfabetizadas / varones alfabetizados

Morbilidad Reduccin de incidencia de enfermedades infecto contagiosas

Medio ambiente Personas con acceso a saneamiento mejorado

Personas con acceso sostenible a una fuente de agua mejorada (agua potable)

Indicadores "ancla". Indicadores esenciales basados en datos objetivos y comparables- vinculados a las Metas de Desarrollo del Milenio.

Segundo nivel (efecto)

Seguridad alimentaria Nmero de hogares que mejoran su seguridad alimentaria

Primer nivel (producto)Cobertura del proyecto Nmero de personas que reciben servicios del proyecto


30

INCORPORACIN DEL ENFOQUE DE GNERO

La estrategia del FIDA reconoce la necesidad de incorporar la perspectiva de gnero en los pro-yectos que cofinancia, dando especial nfasis a la bsqueda de la "equidad de gnero", por la cual se entiende un trato y oportunidad para mujeres y hombres segn sus necesidades respectivas. Tal perspectiva los equipara en relacin a sus derechos, beneficios, obligaciones y posibilidades.

En este marco, "la incorporacin de los aspectos de gnero supone evaluar las consecuencias para mujeres y hombres de las medidas previs-tas en todos los sectores, incluida la legislacin y asegurarse de que tanto las preocupaciones y experiencias de las mujeres como las de los hombres se tengan plenamente en cuenta al disear, ejecutar, supervisar y evaluar todas las actividades de desarrollo. El objetivo es elabo-rar actividades dirigidas a superar las barreras que impiden que hombres y mujeres tengan un acceso equitativo a los recursos y servicios que necesitan para mejorar sus medios de vida" (tomado del texto "Incorporacin de una pers-pectiva de gnero en las actividades del FIDA. Puesta en marcha del marco estratgico 2002 2006". Roma, 2003).

En este sentido, la eliminacin de las desigual-dades de gnero es uno de los objetivos o ejes transversales que caracterizan la accin de los proyectos FIDA. Por ello, un Estudio de Base que incorpora el enfoque de gnero debe contener un anlisis sobre las inequidades y desigualdades de gnero que afectan en forma diferenciada a mujeres y hombres, es decir, debe traer informa-cin sobre:

Situacin diferenciada de mujeres y de hombres tanto en el mbito domstico (unidad familiar) como en el comunitario y organizacional, y en el mercado.

Diferencias en situacin y posicin de las mu-jeres y los hombres en el marco de las leyes y

polticas relativas al propsito y estrategias del proyecto.

Diferencias entre mujeres y hombres en el acceso a servicios bsicos.

Diferencias entre mujeres y hombres en el ac-ceso y control sobre los recursos productivos

Situacin y posicin de las mujeres en las ins-tituciones y organizaciones involucradas en la ejecucin del proyecto, incluyendo el anlisis de la capacidad institucional de los oferentes de servicios y dems organizaciones involucradas en el mismo, para aplicar adecuadamente el enfoque de gnero.

Es importante tener en cuenta que la incorporacin del enfoque de gnero en los Estudios de Base no se da slo por recoger y analizar la informacin diferenciada por sexo (cuntas mujeres y cuntos hombres), ni slo por aplicar procedimientos que faciliten la participacin de ellas en la recoleccin de la informacin, sino que es fundamental, garantizar la participacin de las mujeres en todo el proceso, de forma que se garantice recoger explcitamente las perspectivas y opiniones diferenciadas de las mujeres y los hombres frente a las situaciones encontradas.

Lo anterior es un aspecto que deber tenerse en cuenta especialmente cuando se toma como unidad de anlisis la familia/hogar. En este caso, por ejemplo, deber hacerse entrevistas conjun-tas a ambos miembros de la pareja y recoger, a travs del instrumento que se est utilizando, las diferencias de roles y, sobre todo, las diferencias de opiniones y percepciones de los dos miembros de la pareja sobre los mismos temas o preguntas. Asimismo, en los anlisis se deber diferenciar la situacin de los hogares con mujeres como jefas de familia, respecto a aquellas cuyos jefes son hombres.

A continuacin se presenta el ejemplo del Estudio de Base del FAT (Fondo de Asistencia Tcnica) en Nicaragua, donde se colocaron en forma explcita los criterios mencionados.


31

RECUADRO N 5EJEMPLO SOBRE GNERO EN EL FONDO DE ASISTENCIA TCNICA FAT

Segn la gerencia del FAT, es posible estimar que alrededor de un 33 por ciento de los clientes beneficiarios van a ser mujeres, tanto por la existencia de una discriminacin positiva a su favor, como por la presencia de mujeres, su grado de organizacin y por la propensin creciente a la inclusin de mujeres en las propuestas grupales de los productores (la cual a su vez resulta del conocimiento que stos tienen del sesgo positivo antes mencionado). Se produce por lo tanto un mecanismo de tipo 'aprendizaje institucional' que podra establecer la participacin de mujeres en la poblacin beneficiaria en este nivel, el cual sin duda es superior a su representatividad numrica.

Por tales razones, se considerara necesario establecer una cuota equitativa (50 / 50), para ga-rantizar la misma confiabilidad en la estimacin de impactos en ambos gneros.

ORGANIZACIN Y CONTENIDO DE LOS EB

Para desarrollar los EB es necesario seguir algunos procedimientos apropiados y elaborar herra-mientas que ayuden a organizarlos, como parte de las acciones previas a la salida al campo. La propuesta de planificacin presentada en estos lineamientos comprende cinco pasos articulados y consecutivos:

1 Formular los objetivos

2 Definir el contenido y los temas de los EB

3 Elaborar la Matriz de Diseo y Anlisis

4 Definir el Plan de Trabajo y estimar el Presupuesto

5 Redactar los Trminos de Referencia, convocar y adjudicar

Fuente: PREVAL II (2004).


32

Es importante recordar que los objetivos de los EB deben construirse participativamente, involucrando en el proceso a las USES, a coejecutores y a la po-blacin usuaria, sobre todo al momento de revisar el ML. Aqu la participacin es importante no slo para apreciar distintas perspectivas, sino fundamental-mente para generar compromisos y forjar visiones comunes sobre la gestin del cambio.

Los objetivos de los EB no tienen por qu ser muy diferentes de un proyecto a otro, pues enuncian propsitos metodolgicos comunes a varios de ellos, como los siguientes:

Generar informacin sobre la poblacin objetivo del proyecto, la zona de influencia del mismo, la dinmica del contexto en que se inserta y los supuestos con los que se trabaja, en articula-cin con el marco lgico.

Obtener informacin mixta (cualitativa y cuan-titativa) confiable y suficiente sobre los indica-dores de efecto e impacto del proyecto, con la finalidad de establecer el primer referente de comparacin (primer valor de los indicadores en el momento inicial de la intervencin).

Usar la informacin para ajustar las estrategias de intervencin del proyecto.

Sentar las bases del subsistema de evaluacin del proyecto.

DEFINIR EL CONTENIDO Y TEMAS DE LOS EB

La pregunta qu resultados del proyecto vamos a evaluar? conduce a los temas que forman par-te de los EB, en tanto que la pregunta con qu evidencias vamos a evaluar? lleva a establecer sus indicadores y medios de verificacin.

Un espacio de dilogo y reflexin participativa con los actores del proyecto, suele ser el origen de las mejores respuestas a tales preguntas, de modo que teniendo como referente el Marco Lgico del pro-yecto, junto a la previa definicin de los objetivos de los EB, es posible establecer el contenido de estos estudios y delimitar su campo de accin.

Tomar en cuenta las dimensiones y variables de la pobreza rural, es clave para determinar el contenido de los EB a efectos de poder demostrar los cambios, producto de las intervenciones. El siguiente cuadro presenta estas dimensiones y variables.

RECUADRO N 6 EJEMPLO DE OBJETIVOS PARA LOS EB

Establecer las caractersticas principales / situacin de la poblacin objetivo del proyecto, segn la estrategia y marco lgico.

Establecer las caractersticas de la dinmica del contexto de la poblacin objetivo, en lo econmico productivo, social, cultural e institucional, identificando las relaciones de estos elementos con la poblacin objetivo. Se analizar tomando en cuenta el captulo de focalizacin de la Evaluacin ex ante.

Determinar un valor inicial para los indicadores de efecto e impacto.

Establecer la situacin de los supuestos o factores de riesgo del entorno en relacin a los indi-cadores de efecto e impacto.

Aportar en la revisin y ajuste de los resultados previstos, los indicadores y, en general, de las estrategias de intervencin del proyecto.

FORMULAR LOS OBJETIVOS

El primer paso en el diseo de los EB consiste en definir sus objetivos. Unos objetivos bien elegidos y redactados permitirn tener claro para qu hacer

los EB, qu informacin se va a levantar y qu usos se dar a esa informacin.

En el siguiente recuadro presentamos un ejemplo de formulacin de objetivos de un EB:


33

RECUADRO N 7DIMENSIONES Y VARIABLES DEL IMPACTO EN PROYECTOS DE DESARROLLO RURAL

DIMENSIONES VARIABLES

A nivel del hogar (tierra, agua, ganado, ahorro en dinero, vivienda) En el acceso a infraestructura fsica (transporte, comunicaciones, acceso

a internet) Servicios financieros (crdito, ahorro, seguros) Redes de acceso a mercados

Acceso de las personas a agua potable Servicios de salud Educacin primaria Informacin Cambios en las tasas de enrolamiento escolar, etc.

Cambios en la produccin Tecnologa agropecuaria Ingresos Duracin de las temporadas de hambre Estatus nutricional, etc.

Capacidades para logro de objetivos en las organizaciones e institucio-nes

Relaciones y capacidades de negociacin con el sector pblico, local y nacional; mercado y otras instancias

Empoderamiento de las mujeres y de otros grupos culturalmente pos-tergados y excludos.

* Ntese que el ndice de ingresos activos del RIMS incorpora el tipo de vivienda, nmero de habitaciones, tipo de abaste-cimiento de agua potable y saneamiento, as como activos del hogar (telfono, medio de transporte, combustible usado, parcelas, herramientas de labranza, etc.

Adaptado de "Directrices para el examen interno a la terminacin de proyectos". Departamento de Administracin de Programas. FIDA, Junio 2006.

ACTIVOS FISICOS Y FINANCIEROS*

ACTIVOS HUMANOS*

SEGURIDAD ALIMENTARIA

CAPITAL SOCIAL Y EMPODERAMIENTO

Como ya se ha indicado, el desarrollo de los EB gira alrededor de cuatro grandes temas, los mismos que deben figurar y detallarse (al lado de otros tems) en el Informe Maestro24. En lo fundamental, estos temas centrales son:

(a) Caracterizacin de la poblacin objetivo en relacin al impacto

(b) Dinmica del contexto (articulada a la poblacin objetivo)

(c) Supuestos del entorno institucional y poltico que afectan al impacto.

(d) Situacin inicial de los indicadores (de efecto e impacto)

(a) Caracterizacin de la poblacin objetivo

Para la utilidad de los EB es esencial contar con una buena caracterizacin de la poblacin objetivo, que resee clara y concretamente su situacin inicial

24 Ver su contenido completo en la Fase de Comunicacin y Uso de Resultados, pg. 59.


34

respecto a los resultados esperados del proyecto25. Tambin es muy importante asegurarse de que esta caracterizacin tenga en cuenta a los ms pobres y se gue por una estrategia de focalizacin segn los principios rectores del FIDA26.

En los EB la poblacin objetivo es caracterizada atendiendo a los criterios ya definidos en el Do-cumento de Evaluacin Ex Ante, para lo cual han de tomarse en cuenta las dimensiones y variables de la pobreza rural (con las que se construyen indicado-res y se establecen sus valores iniciales, segn sea el proyecto) tal como se resume en el Recuadro N 7, considerando que tales dimensiones y variables tambin atraviesan el anlisis de los dems temas centrales de los EB.

El FIDA ha establecido que en cualquier contexto y en colaboracin con sus asociados, la poblacin objetivo ser identificada "mediante un anlisis de la pobreza y los medios de vida (con una perspec-tiva de gnero), utilizando los datos disponibles, colmando lagunas cuando sea necesario y teniendo siempre en cuenta las opiniones de las mujeres y de los hombres pobres, enunciadas por ellos direc-tamente o a travs de sus organizaciones"27.

Para orientar la estrategia de focalizacin debe establecerse un marco de diagnstico que gue la estrategia respectiva y que sea parte de los EB, ya que el mismo se "calibrar en todos los ejercicios de evaluacin, incluidos las revisiones y evaluacio-nes a mitad de periodo, tambin en el marco del RIMS".

De otro lado, queda la pregunta sobre cmo se-leccionar los casos y observaciones en un proyecto con enfoque de demanda, es decir, con usuarios que se van vinculando progresivamente al proyecto, ya sea porque se contempla su "auto-seleccin" y/o porque son parte de ampliaciones de la zona

de intervencin. La respuesta es que en proyectos de este tipo es conveniente una incorporacin escalonada de tipos de usuarios, abierta a recoger situaciones iniciales distintas segn se produce el ingreso de cada nuevo grupo. Ello es necesario al inicio de la intervencin para valorar posteriormente los efectos e impactos alcanzados.

(b) Dinmica del contexto

Las dimensiones y variables reseadas en el Recuadro N 7 permiten analizar tambin la influencia del contexto en la poblacin objetivo. Atendiendo a ellas ser posible evitar el recojo de informacin innecesaria y centrarse en lo esencial. Para esto es importante hacerse la pregunta: el contexto puede influir en las dimensiones del impacto buscado por el proyecto? O en otras pala-bras: de qu manera pueden verse afectados los activos fsicos y financieros, los activos humanos, la seguridad alimentaria, el capital social y el em-poderamiento de la poblacin objetivo, por parte del entorno institucional y organizacional?

En el marco de los EB, analizar la dinmica del con-texto significa examinar el rol de las instituciones (municipios, dependencias del Estado y entidades que brindan promocin econmica, asistencia tcnica y/o servicios de crdito) as como de las organizaciones locales y regionales (agrupaciones de productores, gremios, redes de comercializacin, circuitos econmicos, potencialidades locales, etc.) que puedan tener injerencia sobre los resultados del proyecto.

Finalmente, es vital tener en cuenta que la infor-macin sobre el contexto debe estar muy ligada a la situacin inicial de los indicadores de efecto e impacto del proyecto, para que el mismo anlisis pueda replicarse puntualmente y sus resultados ser comparados en las evaluaciones de mitad de periodo y al final.

25 Esta es una diferencia muy clara de los EB en relacin a los diagnsticos situacionales, donde la poblacin objetivo es descrita de manera ms amplia y general (ver distinciones en el Recuadro N 1).

26 Ver Enlace N 2 a (Resumen Operativo).

27 Ver Enlace N 2 a (Resumen Operativo).


35

(c) Supuestos de los factores de riesgo no controlables

Estos supuestos, que se encuentran establecidos en la matriz del Marco Lgico, suponen recabar informacin relativa a medidas de poltica pblica, legislacin, factores medio ambientales y cultura-les que puedan gravitar sobre las dimensiones del impacto. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto para definir estrategias que reduzcan o frenen sus influencias negativas. Igualmente, estos supuestos deben articularse a las dimensiones y variables relacionadas con el impacto (Recuadro N 7).

Los supuestos considerados como oportunidades pueden consistir en la dacin de una ley beneficio-sa, en la apertura de mercados en determinados rubros, en la construccin de carreteras, en la llegada de mejores servicios de salud, educacin, comunicaciones, etc. Los riesgos, por su parte, se vinculan al grado de vulnerabilidad de las loca-lidades donde habitan los pobres rurales, pudiendo provenir de desastres naturales, de cambios en las polticas pblicas, de transformaciones ambienta-les o de hechos ligados a la existencia de brechas sociales y econmicas.

(d) Situacin Inicial de los Indicadores

Es fundamental establecer los valores iniciales de los indicadores de efecto e impacto del proyecto, a travs de informacin mixta (cualitativa y cuantitati-va) que permita contar con los primeros referentes de comparacin. Este valor inicial de los indicadores puede presentarse en grficos y tablas, en torno a lo cual habr de hacerse un anlisis somero de los hallazgos y las tendencias.

La lista de indicadores o lnea de base del proyecto puede organizarse en bases de datos cuantitativas y cualitativas. Las bases de datos cuantitativas for-man parte del sistema PSES y son aprovechables para los reportes al FIDA y al gobierno, como es el caso de los indicadores de impacto del RIMS que se articulan a los ODM y reflejan aspectos sustantivos de la pobreza rural. Por su parte, las bases de datos cualitativas estarn compuestas por fotografas, audios y documentos que sean evidencia de la situacin inicial de los indicadores de efectos e impactos, agrupados por niveles de resultado.

El valor inicial de tales indicadores se recoge me-diante encuestas, cuestionarios y otras tcnicas. Por ejemplo, podemos obtener el valor inicial del nmero de hogares (variable) que mejora su segu-ridad alimentaria (dimensin) mediante la encuesta de impacto del RIMS aplicada a una muestra de la poblacin en tres momentos del ciclo del proyecto, lo que permitir comparar los avances en el logro de los efectos e impactos.

ELABORAR LA MATRIZ DE DISEO Y ANLISIS

Las matrices de diseo y anlisis son herramientas de planificacin dirigidas a presentar de manera visual la coherencia entre las distintas tcnicas y elementos de los EB. Toman como insumo la matriz de ML del proyecto, respondiendo concretamente a la pregunta: cmo se verificarn y medirn los indicadores?

A continuacin presentamos un cuadro con la co-rrelacin existente entre la Matriz del ML y la de Diseo y Anlisis:


36

Como se puede observar, las dos matrices operan con la misma lgica, aunque la matriz de diseo y anlisis de los EB es ms detallada. Cabe formular las siguientes puntualizaciones.

En ambas matrices se mantienen las dos pri-meras columnas (Jerarqua de Resultados e Indicadores) mas el indicador es claramente tipificado mediante la columna Definicin y Variables.

La columna de medios de verificacin se des-agrega en tres renglones (sobre informantes, fuentes y tcnicas, estas ltimas con el mtodo de clculo del indicador).

La columna de supuestos no se utiliza como tal, pues, como se ha visto, estos supuestos ya forman parte del contenido de los EB y se detallan aparte, en el Informe Maestro.

Un elemento nuevo de la matriz de los EB tiene que ver con el anlisis, para el cual se incluyen dos columnas: procedimientos y participantes.

A continuacin se describen los procedimientos ne-cesarios para el llenado de las nuevas columnas.

(a) Definir el Indicador y Unidad de Medida

En este tem se aclaran conceptos y trminos sobre la informacin deseada, como el significado de expresiones con carcter difuso (desarrollo de capa-cidades, empoderamiento, participacin, poblacin pobre, etc.), indicndose la unidad de medida, como por ejemplo, porcentajes en relacin al total de los datos. Al respecto ver el Enlace N 5 sobre "Linea-mientos para construir indicadores y variables".

(b) Identificar a informantes y fuentes

Una vez definidos los contenidos y temas de los EB (in-dicadores del ML, contexto, supuestos y otros temas puntuales) se podr establecer con mayor claridad qu informacin se necesita para qu aspecto, en qu cantidad y con qu nivel de profundidad. Como es lgico, las necesidades de informacin resultan de las necesidades del anlisis, es decir, de la provisin de informacin suficiente para la valoracin de cada indicador con sus variables, pregunta y tema.

La identificacin de los informantes y fuentes en relacin a cada necesidad concreta de informacin responde a interrogantes como las siguientes: dnde podemos

GRAFICO DE LA MATRIZ DEL MARCO LOGICO

Jerarqua Indicadores Medios de Supuestos de resultados verificacin

No se utilizaSe desagrega en:

MATRIZ DE DISEO Y ANLISIS DE LOS EB

Jerarqua Indica- Definicin Infor- Fuentes Tcnicas y de dores y Variables mantes mtodo de resultados clculo

Anlisis

Nuevas columnas

Partici-pantes

Procedi- mientos

Fuente: Elaboracin propia.


37

encontrar los datos necesarios? cmo los podemos obtener? La respuesta a estas interrogantes nos lleva a considerar informantes y/o fuentes, y los procedi-mientos necesarios para trabajar con uno u otro.

Los informantes son personas entre los actores lo-cales que por sus experiencias tienen conocimiento sobre los contenidos y temas de los EB y que por esa razn pueden aportar precisiones valiosas. Por su parte, las fuentes son recipientes de datos (archivos, libros, bibliotecas) que compendian infor-macin relativa a todos o algunos de los temas.

Aspecto importante vinculado a lo anterior es el carcter de los datos existentes. Los datos con que

se trabaja en evaluacin son de dos tipos: prima-rios y secundarios. Los primarios son aquellos que no existen antes de los procesos de observacin, por lo cual se recogen preguntando a las personas vinculadas con las experiencias a ser evaluadas (los informantes).

Los secundarios pre-existen a los procesos de ob-servacin, estando almacenados en fuentes como bibliotecas especializadas, bancos de datos, data institucional y pginas web de programas y proyec-tos. Por tanto, slo deben ser ubicados.

A continuacin, un cuadro comparativo de ambos tipos de datos:

RECUADRO N 8 DIFERENCIAS ENTRE DATOS PRIMARIOS Y SECUNDARIOS

Tipos de datos

Primarios Secundarios

Criterios de comparacin

Desde cundo existen? Se producen con la ejecucin del EB Existen desde antes de la ejecucin del EB

Dnde se encuentran? En personas (informantes) vinculadas En fuentes diversas, por lo general a la experiencia que se evala data producida en distintas instituciones

Cmo se los obtiene? Se aplican instrumentos a Se los recolecta de fuentes informantes identificados reconocidas

Los datos ya sean primarios o secundarios- se con-vierten en informacin cuando son organizados de alguna manera lgica para los fines de anlisis y va-loracin. Desde ese punto de vista, toda informacin supone un sistema de datos particular y cada evalua-dor puede desarrollar rutas de anlisis particulares, incluso frente a una misma "masa" de datos.

Cuestin clave es la elaboracin de un registro de los datos secundarios existentes entre los que necesitamos- y las fuentes que los contienen, para establecer qu necesidades de informacin se pue-den cubrir con ellos, al menos parcialmente.

(c) Seleccionar las tcnicas de recoleccin de datos

En una columna de la matriz se indicar la manera de obtener la informacin, considerando en primer lugar las obligaciones como la encuesta de impacto estandarizada y otras tcnicas complementarias como entrevistas, encuestas, grupos focales, etc. El instrumento de recoleccin precisar cmo ha de calcularse el indicador (mtodo y frmula).

En el paso anterior se propone la elaboracin de un registro de los datos secundarios y de sus fuentes

Fuente: Elaboracin propia.


38

ya existentes, para establecer las necesidades de informacin o parte de ellas que puedan ser cu-biertas de inicio. El resto de la informacin necesaria debe obtenerse por la aplicacin "en campo" de tcnicas sobre diversos informantes, previamente identificados.

Las tcnicas a utilizar en los EB tienen relacin muy estrecha con los indicadores, preguntas y temas con los que se trabaja, as como con el anlisis de los indicadores especficos de efecto e impacto. En ese sentido, el evaluador o evaluadora puede tomar la decisin de utilizar una u otra tcnica o emplearlas combinadamente, siempre dependiendo de la na-turaleza de los hechos a observar y la perspectiva desde la que se desea observar.

La seleccin de tcnicas responde a interrogantes como las siguientes: qu necesidades de infor-macin tenemos? qu rutas de anlisis son ne-cesarias para cubrirlas? qu tcnicas son las ms adecuadas para producir los datos pertinentes? Todas estas interrogantes deben ser respondidas asumiendo que existe una relacin directa entre el hecho (naturaleza y mbito de manifestacin), la perspectiva de observacin (marco de referencia del evaluador) y el tipo de tcnica a utilizar.

(d) Identificar a los participantes en el anlisis

La participacin es entendida como el proceso de involucrar a distintos actores vinculados a los proyectos en los distintos momentos del desarro-llo de los EB y por supuesto en el anlisis, con la finalidad de promover diversas perspectivas y miradas. En ese marco, los participantes tpicos son los siguientes:

Miembros de las USES y de los equipos tcnicos de los proyectos.

Representantes de los actores locales, sean coejecutores, beneficiarios y responsables de entidades gubernamentales vinculadas con la ejecucin de las acciones.

Consultores externos, convocados para apoyar la ejecucin y evaluacin de los proyectos.

En el Enlace N 6 se puede observar un ejemplo de Matriz de Diseo y Anlisis.

DEFINIR EL PLAN DE TRABAJO Y EL PRESUPUESTO

Como se ha indicado, llevar a cabo los EB re-quiere de un conjunto de actividades articuladas, consecutivas y programadas con oportunidad. A tal propsito ayuda mucho la elaboracin de un Plan de Trabajo o Programa de Actividades, donde se aclare la relacin entre actividades, insumos y tiempos.

(a) El Plan de Trabajo o Programa de Actividades

Toda actividad implica la provisin de recursos de distinta ndole, entre los que podemos identificar recursos humanos (responsables en trminos de la ejecucin de los proyectos), logsticos (traslados, ambientes para reuniones o entrenamientos, pro-visin de equipos, m

gestion por resultados

Documents