EVO - Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos (Marco Lógico)-3/97

I

LA EVALUACIÓN EN EL BANCO

A. UNA NUEVA ERA DEL DESEMPEÑO DE LOS PROYECTOS Y LA EVALUACIÓN EN EL BANCO

El Banco Interamericano de Desarrollo está entrando en una nueva era en la que se destaca el desempeño de los proyectos. El Banco se ha comprometido a mejorar el desempeño y los resultados de las inversiones para el desarrollo. A esos fines, está definiendo medios para mejorar tal desempeño/resultados en sus estrategias y políticas globales, así como en los proyectos y programas de países; particularmente los que se dirigen a beneficiarios de bajos ingresos, la mujer en el desarrollo, el ordenamiento ambiental y apoyo a microempresarios.

El "Informe sobre el Octavo Aumento General de los Recursos del BID" de la Asamblea de Gobernadores del Banco, señala que éste "comenzará a trabajar en forma más sistemática con los prestatarios para evaluar la sustentabilidad financiera de los proyectos de los sectores sociales..." Para ello las evaluaciones vinculadas estratégicamente a todas las etapas del ciclo del proyecto realizadas eficazmente, con la participación de gerentes y profesionales, prestatarios y agencias ejecutoras, pueden ser herramientas vitales para mejorar el desempeño de los proyectos patrocinados por el BID.

Las buenas evaluaciones pueden ayudar a mejorar el desempeño de un proyecto en todas las etapas de su ciclo y también proporcionar información para mejorar las políticas y procedimientos del Banco. Las evaluaciones planeadas y ejecutadas cuidadosamente también pueden: 1) ayudar a analizar el desempeño del Banco en las etapas de definición y planificación de los proyectos y en la supervisión de su ejecución; 2) medir el progreso obtenido en la consecución de los objetivos de los proyectos, esencial para una buena gestión; 3) respaldar el desempeño de las agencias ejecutoras mediante el monitoreo y la capacitación en métodos de evaluación; 4) medir hasta qué punto se alcanzan los resultados previstos y analizar los factores que obstaculizaron o contribuyeron a este logro; y 5) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios.

Asimismo, la evaluación de proyectos genera productos que ayudan a los gerentes y directores a:

  • mejorar el desempeño de proyectos nuevos y en ejecución
  • escoger entre varias alternativas de desarrollo
  • conocer las prácticas óptimas en un campo determinado
  • mejorar la sustentabilidad de los proyectos

 

 

B. LA EVALUACIÓN COMO DISCIPLINA

La evaluación implica la aplicación de métodos rigurosos para determinar el progreso de un proyecto en el proceso de alcanzar su objetivo durante su ejecución, o bien para determinar si logró y cómo logró, o no, dicho objetivo. El proceso de evaluación combina diferentes tipos de información con los criterios y puntos de vista de las personas participantes o afectadas. Utiliza herramientas de campos tales como la estadística, economía y antropología, y está basada fundamentalmente en los conceptos y procedimientos de la metodología de investigación científica. No obstante, más que nada, la evaluación interna en una institución como el Banco también se basa en un contexto de evaluación institucional proporcionado por los involucrados en el Sistema de Evaluación del Banco (BES).

 

1. La evaluación como concepto

Aunque existen varias definiciones de la evaluación, todas incorporan los tres principios siguientes:

 

 

 

Definición de la Evaluación por la OCDE/CAD

El grupo de expertos en Evaluación de Programas de Asistencia Internacional de la Organización de Cooperación y Desarrollo Económico/Comité de Asistencia para el Desarrollo (OCDE/CAD), ha definido la evaluación de la manera seguiente: "un escrutinio -- lo más sistemático y objetivo posible -- de un proyecto, programa o política en ejecución o terminado, y sus dimensiones de diseño, ejecución y resultados. El propósito es determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad, impacto y sustentabilidad del desarrollo." Una evaluación debe proporcionar información que sea creíble y útil, para permitir la incorporación de la experiencia adquirida en el proceso de adopción de decisiones tanto del prestatario como de los donantes. (OCDE/CAD, 1991).

 


2. La evaluación como proceso dinámico

Tradicionalmente se ha considerado que la evaluación de proyectos se concentra en el análisis ex-post. La práctica actual considera a la evaluación como una actividad vital de tipo continuo que no solo proporciona información correctiva a nivel de los proyectos, sino también un entendimiento de los problemas a nivel de programa, política y estrategia. Además, mientras más se aproxima la evaluación a la dimensión política, más se aleja de un enfoque cuantitativo y se acerca a uno cualitativo.

 

 

C. EVOLUCIÓN DE LA PRACTICA DE LA EVALUACIÓN

En los últimos cien años, la evaluación ha evolucionado desde un enfoque unidimensional llevado a cabo por un solo evaluador, que generalmente provenía del campo técnico que se estaba evaluando, hasta convertirse en una actividad multidimensional concentrada en múltiples niveles de un proyecto, en la que participa una gran variedad de generadores de productos de evaluación, así como usuarios de los resultados de una evaluación. En la actualidad, en lugar de basarse únicamente en los puntos de vista de un solo evaluador en distintas etapas, ungrupo mucho mayor de involucrados ayuda a dar forma a la evaluación y a interpretar sus hallazgos.

Estas "etapas" solo deben tomarse aquí como conceptos introductorios, pues la realidad es más compleja, particularmente en la actualidad porque la evaluación comienza a evolucionar de una actividad en su mayor parte ex-post para convertirse en una herramienta utilizada cada vez con más frecuencia para fines de monitoreo. La meta de la evaluación básicamente ha pasado de la auditoría y culpabilidad a la meta actual del entendimiento y el aprendizaje en función de experiencias adquiridas.

 

ETAPAS EN LA CONCEPCIÓN DE LA EVALUACIÓN

ETAPA

INTERÉS

Primera generación
Medición
(fines del Siglo XIX)

Identificación del nivel de logro de ciertos objetivos específicos, mediante la medición cuantitativa con instrumentos unimodales.

Segunda generación
Descripción/Comparación
(Décadas de 1920 a 1950)

Identificación del nivel de conjuntos de aspectos optimizadores y limitantes con respecto a ciertos objetivos estabelecidos; comparación de enfoques usando métodos experimentales, o de fenómenos, en grupo y situaciones, de ocurrencia natural.

Tercera generación
Servicios de Valor
(Décadas de 1950 a 1980)

Comparación de resultados múltiples con metas y normas estabelecidas a priori; evaluación normativa relacionada con datos de referencia e indicadores.

Cuarta generación
Transparencia, responsabilidad ejecutiva y desempeño
(Década de 1980 a la fecha)

Tranparencia, responsabilidad ejecutiva y desempeño coordinados por medio del análisis de todos los datos disponibles, usando una variedad de métodos y mediciones múltiples, e incorporando el conocimiento, las perspectivas y los valores de todos los involuncrados.

 

 

3. Modelos lógicos


Desde fines de los años setenta, las agencias internacionales de desarrollo han integrado algunos aspectos de la evaluación en el diseño de proyectos, particularmente por medio del método de Análisis del Marco Lógico. Esto ha hecho avanzar el uso de modelos de evaluación que vinculan el desempeño a la planificación, diseño, ejecución, monitoreo y terminación de proyectos. El Banco cada día utiliza más el sistema del marco lógico para vincular la evaluación a los proyectos, tal como se explica en el Capítulo IV de este manual.

 

D. TIPOS DE EVALUACIONES

En base a las relaciones que existen entre el ciclo de proyectos y las herramientas y los productos de evaluación aquí descritos, en el cuadro siguiente se presentan los dos tipos principales de evaluación: "formativa", que ocurre durante las etapas de preparación y ejecución del proyecto, y "sumativa", que se realiza al terminar, y después de terminado el proyecto.

En el cuadro siguiente se muestran los ciclos y etapas de evaluación de proyectos y sus correspondientes herramientas formales de evaluación. Los productos finales de la evaluación constan de los "documentos" propiamente dichos, tal como son producidos en cada etapa; y los "resultados del proceso", según se generan de las decisiones sobre estrategia y política del Directorio y la Administración del Banco. El cuadro revela que los informes de evaluación no tienen que limitarse al aprendizaje "sumativo" después de la ejecución del proyecto. La evaluación formativa(1) también juega un papel muy importante. Los servicios de evaluación se deben extender más eficazmente a las etapas de preparación e implantación del ciclo del proyecto mediante métodos y técnicas de evaluación formativa.

 

Cuadro No. 1: EVALUACIÓN, CICLO, HERRAMIENTAS Y PRODUCTOS DEL PROYECTO

Tipo de Evaluación

Ciclo del Proyecto

Herramientas Formales de Evaluación

Productos

Documentos

Resultados del Proceso




Aprendizaje formativo:

"Durante"

Preparación Evaluación
ex-ante

- Marco Lógico
- Instrumentos de análisis económico, financiero e institucional
- Diagnóstico de evaluabilidad
- Listado de datos de referencia

Documento de Préstamo

Documento de Proyecto

Diseño de proyectos mejorado y "evaluable"

Ejecución Evaluación Concurrente

- Seguimiento de Ejecución y Monitoreo.
- Evaluación intermedia de ejecución

Informes semestrales de Proyecto

Gestión de Cartera

Ejercicios de Proyectos Mejorado

Mejor desempeño de los proyectos

Aprendizaje sumativo:

"Después"

Terminación Evaluación
ex-post

- Evaluación ex-post
- Evaluación de impacto de desarrollo

El BID utiliza "cuatro documentos formales"(2) PCR/BEP/PPR/
OER
(todos los cuales contribuyen a los resultados del proceso)

"Pipeline" mejorado;

Diseño de Proyectos;

Políticas y Estrategias.

+ Las evaluaciones de impacto examinan efectos e impactos tecnológicos, institucionales, económicos, políticos,

 

 

E. LA INVERSIÓN EN LA EVALUACIÓN A LO LARGO DEL CICLO DEL PROYECTO

La evaluación no tendrá mucho impacto en el mejoramiento del desempeño de los proyectos a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Si se respalda adecuadamente y se administra como es debido, la evaluación debería producir una mejor participación de la responsabilidad ejecutiva y del desempeño de proyectos y programas.

 

LA EVALUACIÓN A LO LARGO DEL CICLO DEL PROYECTO

PREPARACIÓN DEL PROYECTO

El proceso de evaluación genera información sobre experiencia adquirida y prácticas óptimas que pueden sugerir mejores enfoques para el diseño de nuevos proyectos.

En esta etapa, un proyecto debe incluir datos de referecia e indicadores de desempeño que son esenciales para el trabajo futuro de monitoreo y evaluación del desempeño de los proyectos. A este nivel, la introducción de los principios de evaluación se considera "formativa", pues sienta las condiciones para la evaluación futura.

EJECUCIÓN DEL PROYECTO

En esta etapa el proceso de evaluación adopta la forma de monitoreo continuo, aunque en ciertos casos el Banco, y algunas veces los prestatarios, también hacen evaluaciones formales operativas durante la ejecución del proyecto. La evaluación durante la ejecución es considerada "formativa", porque su propósito es respaldar la mejora continua de la ejecución del proyecto.

TERMINACIÓN DEL PROYECTO

El proceso de evaluación después de la terminación del proyecto reexamina la identificación y diseño original e indaga sobre su ejecución y desempeño de desarrollo. En esta etapa, la evaluación se considera "sumativa".

 

El proceso descrito de la evaluación a lo largo del ciclo del proyecto generalmente requiere que los recursos internos y externos que contribuyen a una operación se combinen adecuadamente para contribuir a un desempeño del proyecto que auténticamente contribuya a sus objetivos de desarrollo. Los costos de los recursos necesarios para efectuar evaluaciones continuas de proyectos no deben subestimarse y deben ser adecuadamente programados en los presupuestos anuales del Banco. Sin tal programación, el tiempo que requieren los involucrados principales que participan en la realización de una evaluación puede convertirse en una costosa inversión. Aplicando los principios del Sistema de Evaluación del Banco (BES)(3), la generación de proyectos "evaluables" estaría garantizada desde el inicio del proyecto.

 

 

F. CARACTERÍSTICAS DE UN BUEN PROCESO DE EVALUACIÓN

Si se busca que el proceso de evaluación contribuya al desempeño e impacto de desarrollo de los proyectos, debe asegurarle a los involucrados o grupos interesados que dicho proceso sea:

1. Imparcial

Ello supone neutralidad, transparencia y equidad en el proceso de análisis y generación de conclusiones de evaluación. La unidad evaluadora y el evaluador no puede tener ningún interés personal o conflicto de interés, la imparcialidad debe prevalecer en todos los aspectos del proceso de evaluación.

2. Creíble

Lo más esencial de la credibilidad es la confianza que los involucrados y/o interesados tienen en la experiencia e imparcialidad del evaluador y el reconocimiento de la calidad del trabajo de la unidad evaluadora. Una buena evaluación debe aplicar normas claras y estrictas a la calidad del diseño de la evaluación, la confiabilidad y validez de los datos, asegurar el rigor del análisis de tales datos y hacer explícita la conexión lógica entre las conclusiones y las recomendaciones. Además, debe tener en cuenta las necesidades y perspectivas de los diversos involucrados/interesados en la evaluación.

3. Útil

La medida cabal del éxito de un proceso de evaluación es su efecto sobre las personas y organizaciones que aprenden de dicho proceso. No puede esperarse que los efectos de los resultados de una evaluación en los destinatarios de la evaluación sean positivos a menos que tales resultados sean contribuciones oportunas al proceso de adopción de decisiones, y sean presentadas en un lenguaje claro y conciso que los involucrados/interesados puedan entender fácilmente.

4. Participativo

La práctica contemporánea de la evaluación hace mucho hincapié en la participación de todos los involucrados e interesados, incluyendo compartir la experiencia entre ellos. Así pues, la evaluación debe reflejar los diferentes intereses, necesidades y percepciones de los involucrados.

5. Retroalimentador

La evaluación debe generar información que contribuya a retroalimentar al proceso de toma de decisiones y el aprendizaje organizacional. Por consiguiente, el encargado de una evaluación también debe asegurar la diseminación sistemática de los resultados obtenidos entre los involucrados, incluyendo los diseñadores de proyectos y la alta administración encargada de formular políticas.

6. Costo/Eficaz

Como inversión institucional, las evaluaciones deben ponderar la relación entre las exigencias del rigor y la validez de la información y de su análisis con la obtención de un resultado o producto efectivo. Las evaluaciones deben agregar valor a la experiencia del interesado en el respectivo proyecto, y buscar que este resultado sea proporcional a la inversión que hacen los involucrados con sus propios recursos.

 

 

G. PAPEL QUE DESEMPEÑAN LOS INVOLUCRADOS EN LAS EVALUACIONES DE PROYECTOS DEL BID

El modelo emergente de evaluación de proyectos implica una asociación entre los productores y los consumidores del proceso y productos de evaluación. Estos involucrados son grupos que han participado en el diseño y/o ejecución del proyecto, como así también quienes participan en el proceso de producir, ejecutar y utilizar los resultados de la evaluación. Debe considerarse que estos involucrados también pueden verse afectados en forma positiva o negativa por los resultados de la evaluación y que distintos involucrados pueden tener distintas posiciones, inquietudes y problemas. La tarea del evaluador consiste en identificar los intereses de estos involucrados y tenerlos en cuenta en el proceso de evaluación.

Los involucrados en las evaluaciones de proyectos del BID pueden dividirse en tres grupos: el patrocinador o promotor de la evaluación, compuesto por el Directorio Ejecutivo, la Administración, el prestatario y la Oficina de Evaluación (EVO); los involucrados primarios, incluyendo los beneficiarios, las Representaciones del BID, los organismos ejecutores y los Gobernadores del BID; y los involucrados secundarios u otras agencias de desarrollo, grupos de interés sectoriales y grupos de investigación.

 

INVOLUCRADOS EN EVALUACIONES DEL BID

PATROCINANTES DE LA EVALUACION

- Directorio Ejecutivo del BID
- Administración del BID
- Prestatario
- EVO

INVOLUCRADOS PRIMARIOS

- Beneficiarios
- Representación del BID
- Organismos Ejecutores
- Gobernadores del BID

INVOLUCRADOS SECUNDARIOS

- Asociados en el proceso de desarrollo
- Gestores
- Asociados en Investigaciones

 

Figura 1

 

Los que deben participar más activamente en las evaluaciones de proyectos son los "involucrados primarios" (ver diagrama). Generalmente, entre estos involucrados figuran la organización que administra o patrocina la evaluación (normalmente el Banco y/o el prestatario) y las personas y organizaciones que son los destinatarios del informe de evaluación. Los "involucrados secundarios" son muchos y variados, dependiendo del proyecto y el foco de la evaluación. Tal como ocurre cuando se planifica cualquier proyecto de desarrollo, el evaluador debe analizar las características de los involucrados.

 

 

H. LA EVALUACIÓN COMO SISTEMA DENTRO DEL BANCO

 

La evaluación en el BID es un sistema de múltiples involucrados integrado por generadores de productos (proyectos) evaluables, generadores de evaluaciones y usuarios de productos de evaluación. Dinámicamente este sistema comienza con la formulación del proyecto, continúa durante la ejecución del proyecto, determinando su eficacia e impacto, y concluye después de haber terminado el proyecto, con una evaluación de su impacto de desarrollo y la integración de los resultados de esta evaluación en la formulación de nuevos proyectos.

En la práctica, este sistema dinámico se basa en:

  • las etapas del ciclo del proyecto (según se expresan en los objetivos, procedimientos y actividades del Banco);
  • la estructura operativa del Banco y sus responsabilidades departamentales;
  • las acciones requeridas de los diferentes involucrados en cada momento donde una etapa del ciclo de un proyecto se vincula con una determinada responsabilidad operativa.

Estos tres elementos constituyen la "matriz" del Sistema de Evaluación del Banco (BES). En el cuadro siguiente se presenta la estructura conceptual de este sistema dinámico.

 

 

Cuadro No. 2: MARCO OPERACIONAL DEL BES

GRUPOS

FUNCIONES

SEDE

REPRESENTACIONES Y PRESTATARIOS

EVO

Evaluación Ex-ante

(Formativa)

Estrategias y políticas operativas

Programas de país

Diseño y aprobación de proyectos

Marcos y lineamientos de las metas del Octavo Aumento de Capital, Desarrollo de programas de país, identificación de proyectos y preparación de proyectos con indicadores para evaluación.

 

Establecen lineamientos y puntos de referencia a nivel de país, mantienen diálogos de política con los prestatarios y contribuyen a programas de países y al diseño de proyectos.

Contribuye a la generación de hitos de base, monitoreo y producto e indicadores; proporciona insumos sobre experiencia adquirida, propone criterios de seguimiento para proyectos, ofrece apoyo en el uso del marco lógico.

Evaluación

Operativa

(Formativa)

Administración de Operaciones, Modificaciones a proyectos, PCR, Administración de la Cartera, Examen de Programas de países y políticas/estrategias.

Respalda a las Represen-taciones en el seguimiento de la ejecución y reformulación de proyectos, examen de los PCRs y preparación de estudios de carteras de países. Seguir/informar sobre el progreso alcanzado y proporcionar información sobre el desempeño de programas y estrategias de países.

Siguen proyectos, producen informes de progreso, negocian y presentan modificaciones a proyectos, (si es necesario), producen PCRs, y preparan análisis de carteras, evaluaciones operativas de proyectos y evaluaciones de programas de países.

Ofrece apoyo a actividades de seguimiento de proyectos, respalda y/o ejecuta evaluaciones (formativas) de seguimiento de proyectos y programas / estrategias de país, respalda mejoras a la producción de PCR y apoya el ejercicio de gestión de carteras. Evalúa ciertas operaciones críticas.

Evaluación

ex-post

(Sumativa)

De resúmenes sectoriales, proyectos (PCR, BEP, PPR, OER), administración y procedimientos, estrategias y políticas.

Evalúa programas de países, sectores y proyectos específicos, procedimientos de evaluación.

Contribuyen a evaluaciones a nivel de programas de países y de proyectos; contribuyen a los BEP y a examinar procedimientos operacionales.

Produce evaluaciones de estrategias, políticas, programas específicos de países y proyectos, contribuyendo a los BEP y produciendo PPRs y OERs; evalúa procedimientos.

Diseminación

Metodologías, Capacitación y Apoyo Técnico.

 

Examina metodologías de diseño de proyectos, contribuye a la capacitación y aplica prácticas óptimas y herramientas de evaluación en el diseño de proyectos.

Aseguran la aplicación de metodologías de diseño y seguimiento en programas y proyectos.

Produce metodologías de evaluación y manuales de capacitación, ayuda en campos,

ejecutivos del Banco y a prestatarios en técnicas de evaluación, asiste en el diseño de proyectos específicos.

 

 

 

I. LA EVALUACIÓN Y EL DESEMPEÑO

El Banco se ha comprometido a utilizar la evaluación para desarrollar su capacidad para verificar el desempeño de sus acciones en todas las etapas del ciclo del proyecto. El diagrama siguiente muestra el ciclo de los proyectos, las contribuciones de la función de evaluación en cada etapa del ciclo, y la función principal del desarrollo de esta capacidad de desempeño.

 

 


2. Matrices de evaluación del BID

En el Banco se utilizan tres matrices básicas de evaluación en las actividades de evaluación:

  • El Marco Lógico (ver página 16) y lineamientos para datos de referencia (ver páginas 20 y 21), utilizados en la etapa de preparación (o diseño) del proyecto;
  • Un marco que incorpora los conceptos de continuidad de la justificación, eficiencia, eficacia, efectos/impactos y experiencia adquirida, que se utilizan durante la etapa de ejecución/terminación y posterminación o evaluaciones ex-post;
  • Un marco con campos de evaluación sumativa (estrategia, política, programa, diseño, monitoreo y ejecución, procedimientos, desempeño, poder de sustentación) usados en la etapa ex-post para evaluar los impactos.

 

3. Importancia del BES

Estas funciones de evaluación son más fáciles de realizar si, en los niveles de diseño ex-ante y de monitoreo de la ejecución, se generan datos de referencia y sistemas de generación de datos e informes de estado de gestión apropiados. La participación de todos los involucrados en el BES (ver página 10) es esencial para asegurar que estas funciones se cumplan.

 

PUNTOS IMPORTANTES

  • El proceso de evaluación mejora el desempeño de desarrollo de los proyectos.
  • La evaluación incluye a todos los involucrados.
  • La evaluación debe ser pertinente para todos los involucrados primarios de los proyectos.
  • Las evaluaciones eficaces son imparciales, creíbles, útiles, participativas, retro-alimentadoras y costo eficientes

 

1Véase el cuadro intitulado "Evaluación, Ciclo, Herramientas y Productos del Proyecto en la página 4. (back)

2PCR Informe de Terminación de Proyecto - determinación sistemática de la cartera del Banco de operaciones terminadas según mandatos de los Manuales de las Representaciones.

BEP Informe Ex-post del Prestatario, también llamado Informe de Evaluación del Prestatario - (el BID ya no lo requiere) respalda la capacidad de evaluación del prestatario, así como la consolidación institucional y análisis de nuevos préstamos.

PPR Análisis de Ejecución de Proyectos - examina con alcances y metodologías más indagatorias que el PCR: un proyecto, un programa, un sector, lecciones aprendidas y/o mejores prácticas.

OER Informe de Evaluación de Operaciones - compara las proyecciones con los logros obtenidos, estudia los impactos económicos y sociales, hipótesis originales y factores que contribuyen al éxito del proyecto o lo obstaculizan. (back)

3 Más adelante se ofrece información sobre el Sistema de Evaluación del Banco. (back)


[TOPE]