LA EVALUACIÓN EN EL BANCO

El Banco Interamericano de Desarrollo está entrando en una nueva era en la que se destaca el desempeño de los proyectos. El Banco se ha comprometido a mejorar el desempeño y los resultados de las inversiones para el desarrollo. A esos fines, está definiendo medios para mejorar tal desempeño/resultados en sus estrategias y políticas globales, así como en los proyectos y programas de países; particularmente los que se dirigen a beneficiarios de bajos ingresos, la mujer en el desarrollo, el ordenamiento ambiental y apoyo a microempresarios.

El "Informe sobre el Octavo Aumento General de los Recursos del BID" de la Asamblea de Gobernadores del Banco, señala que éste "comenzará a trabajar en forma más sistemática con los prestatarios para evaluar la sustentabilidad financiera de los proyectos de los sectores sociales..." Para ello las evaluaciones vinculadas estratégicamente a todas las etapas del ciclo del proyecto realizadas eficazmente, con la participación de gerentes y profesionales, prestatarios y agencias ejecutoras, pueden ser herramientas vitales para mejorar el desempeño de los proyectos patrocinados por el BID.

Las buenas evaluaciones pueden ayudar a mejorar el desempeño de un proyecto en todas las etapas de su ciclo y también proporcionar información para mejorar las políticas y procedimientos del Banco. Las evaluaciones planeadas y ejecutadas cuidadosamente también pueden: 1) ayudar a analizar el desempeño del Banco en las etapas de definición y planificación de los proyectos y en la supervisión de su ejecución; 2) medir el progreso obtenido en la consecución de los objetivos de los proyectos, esencial para una buena gestión; 3) respaldar el desempeño de las agencias ejecutoras mediante el monitoreo y la capacitación en métodos de evaluación; 4) medir hasta qué punto se alcanzan los resultados previstos y analizar los factores que obstaculizaron o contribuyeron a este logro; y 5) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios.

Asimismo, la evaluación de proyectos genera productos que ayudan a los gerentes y directores a:

• mejorar el desempeño de proyectos nuevos y en ejecución
• escoger entre varias alternativas de desarrollo
• conocer las prácticas óptimas en un campo determinado
• mejorar la sustentabilidad de los proyectos

La evaluación implica la aplicación de métodos rigurosos para determinar el progreso de un proyecto en el proceso de alcanzar su objetivo durante su ejecución, o bien para determinar si logró y cómo logró, o no, dicho objetivo. El proceso de evaluación combina diferentes tipos de información con los criterios y puntos de vista de las personas participantes o afectadas. Utiliza herramientas de campos tales como la estadística, economía y antropología, y está basada fundamentalmente en los conceptos y procedimientos de la metodología de investigación científica. No obstante, más que nada, la evaluación interna en una institución como el Banco también se basa en un contexto de evaluación institucional proporcionado por los involucrados en el Sistema de Evaluación del Banco (BES).

Aunque existen varias definiciones de la evaluación, todas incorporan los tres principios siguientes:

2. La evaluación como proceso dinámico

Tradicionalmente se ha considerado que la evaluación de proyectos se concentra en el análisis ex-post. La práctica actual considera a la evaluación como una actividad vital de tipo continuo que no solo proporciona información correctiva a nivel de los proyectos, sino también un entendimiento de los problemas a nivel de programa, política y estrategia. Además, mientras más se aproxima la evaluación a la dimensión política, más se aleja de un enfoque cuantitativo y se acerca a uno cualitativo.

En los últimos cien años, la evaluación ha evolucionado desde un enfoque unidimensional llevado a cabo por un solo evaluador, que generalmente provenía del campo técnico que se estaba evaluando, hasta convertirse en una actividad multidimensional concentrada en múltiples niveles de un proyecto, en la que participa una gran variedad de generadores de productos de evaluación, así como usuarios de los resultados de una evaluación. En la actualidad, en lugar de basarse únicamente en los puntos de vista de un solo evaluador en distintas etapas, ungrupo mucho mayor de involucrados ayuda a dar forma a la evaluación y a interpretar sus hallazgos.

Estas "etapas" solo deben tomarse aquí como conceptos introductorios, pues la realidad es más compleja, particularmente en la actualidad porque la evaluación comienza a evolucionar de una actividad en su mayor parte ex-post para convertirse en una herramienta utilizada cada vez con más frecuencia para fines de monitoreo. La meta de la evaluación básicamente ha pasado de la auditoría y culpabilidad a la meta actual del entendimiento y el aprendizaje en función de experiencias adquiridas.

3. Modelos lógicos

Desde fines de los años setenta, las agencias internacionales de desarrollo han integrado algunos aspectos de la evaluación en el diseño de proyectos, particularmente por medio del método de Análisis del Marco Lógico. Esto ha hecho avanzar el uso de modelos de evaluación que vinculan el desempeño a la planificación, diseño, ejecución, monitoreo y terminación de proyectos. El Banco cada día utiliza más el sistema del marco lógico para vincular la evaluación a los proyectos, tal como se explica en el Capítulo IV de este manual.

En base a las relaciones que existen entre el ciclo de proyectos y las herramientas y los productos de evaluación aquí descritos, en el cuadro siguiente se presentan los dos tipos principales de evaluación: "formativa", que ocurre durante las etapas de preparación y ejecución del proyecto, y "sumativa", que se realiza al terminar, y después de terminado el proyecto.

En el cuadro siguiente se muestran los ciclos y etapas de evaluación de proyectos y sus correspondientes herramientas formales de evaluación. Los productos finales de la evaluación constan de los "documentos" propiamente dichos, tal como son producidos en cada etapa; y los "resultados del proceso", según se generan de las decisiones sobre estrategia y política del Directorio y la Administración del Banco. El cuadro revela que los informes de evaluación no tienen que limitarse al aprendizaje "sumativo" después de la ejecución del proyecto. La evaluación formativa⁽¹⁾ también juega un papel muy importante. Los servicios de evaluación se deben extender más eficazmente a las etapas de preparación e implantación del ciclo del proyecto mediante métodos y técnicas de evaluación formativa.

La evaluación no tendrá mucho impacto en el mejoramiento del desempeño de los proyectos a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Si se respalda adecuadamente y se administra como es debido, la evaluación debería producir una mejor participación de la responsabilidad ejecutiva y del desempeño de proyectos y programas.

El proceso descrito de la evaluación a lo largo del ciclo del proyecto generalmente requiere que los recursos internos y externos que contribuyen a una operación se combinen adecuadamente para contribuir a un desempeño del proyecto que auténticamente contribuya a sus objetivos de desarrollo. Los costos de los recursos necesarios para efectuar evaluaciones continuas de proyectos no deben subestimarse y deben ser adecuadamente programados en los presupuestos anuales del Banco. Sin tal programación, el tiempo que requieren los involucrados principales que participan en la realización de una evaluación puede convertirse en una costosa inversión. Aplicando los principios del Sistema de Evaluación del Banco (BES)⁽³⁾, la generación de proyectos "evaluables" estaría garantizada desde el inicio del proyecto.

Si se busca que el proceso de evaluación contribuya al desempeño e impacto de desarrollo de los proyectos, debe asegurarle a los involucrados o grupos interesados que dicho proceso sea:

Ello supone neutralidad, transparencia y equidad en el proceso de análisis y generación de conclusiones de evaluación. La unidad evaluadora y el evaluador no puede tener ningún interés personal o conflicto de interés, la imparcialidad debe prevalecer en todos los aspectos del proceso de evaluación.

Lo más esencial de la credibilidad es la confianza que los involucrados y/o interesados tienen en la experiencia e imparcialidad del evaluador y el reconocimiento de la calidad del trabajo de la unidad evaluadora. Una buena evaluación debe aplicar normas claras y estrictas a la calidad del diseño de la evaluación, la confiabilidad y validez de los datos, asegurar el rigor del análisis de tales datos y hacer explícita la conexión lógica entre las conclusiones y las recomendaciones. Además, debe tener en cuenta las necesidades y perspectivas de los diversos involucrados/interesados en la evaluación.

La medida cabal del éxito de un proceso de evaluación es su efecto sobre las personas y organizaciones que aprenden de dicho proceso. No puede esperarse que los efectos de los resultados de una evaluación en los destinatarios de la evaluación sean positivos a menos que tales resultados sean contribuciones oportunas al proceso de adopción de decisiones, y sean presentadas en un lenguaje claro y conciso que los involucrados/interesados puedan entender fácilmente.

4. Participativo

La práctica contemporánea de la evaluación hace mucho hincapié en la participación de todos los involucrados e interesados, incluyendo compartir la experiencia entre ellos. Así pues, la evaluación debe reflejar los diferentes intereses, necesidades y percepciones de los involucrados.

5. Retroalimentador

La evaluación debe generar información que contribuya a retroalimentar al proceso de toma de decisiones y el aprendizaje organizacional. Por consiguiente, el encargado de una evaluación también debe asegurar la diseminación sistemática de los resultados obtenidos entre los involucrados, incluyendo los diseñadores de proyectos y la alta administración encargada de formular políticas.

6. Costo/Eficaz

Como inversión institucional, las evaluaciones deben ponderar la relación entre las exigencias del rigor y la validez de la información y de su análisis con la obtención de un resultado o producto efectivo. Las evaluaciones deben agregar valor a la experiencia del interesado en el respectivo proyecto, y buscar que este resultado sea proporcional a la inversión que hacen los involucrados con sus propios recursos.

El modelo emergente de evaluación de proyectos implica una asociación entre los productores y los consumidores del proceso y productos de evaluación. Estos involucrados son grupos que han participado en el diseño y/o ejecución del proyecto, como así también quienes participan en el proceso de producir, ejecutar y utilizar los resultados de la evaluación. Debe considerarse que estos involucrados también pueden verse afectados en forma positiva o negativa por los resultados de la evaluación y que distintos involucrados pueden tener distintas posiciones, inquietudes y problemas. La tarea del evaluador consiste en identificar los intereses de estos involucrados y tenerlos en cuenta en el proceso de evaluación.

Los involucrados en las evaluaciones de proyectos del BID pueden dividirse en tres grupos: el patrocinador o promotor de la evaluación, compuesto por el Directorio Ejecutivo, la Administración, el prestatario y la Oficina de Evaluación (EVO); los involucrados primarios, incluyendo los beneficiarios, las Representaciones del BID, los organismos ejecutores y los Gobernadores del BID; y los involucrados secundarios u otras agencias de desarrollo, grupos de interés sectoriales y grupos de investigación.

Figura 1

Los que deben participar más activamente en las evaluaciones de proyectos son los "involucrados primarios" (ver diagrama). Generalmente, entre estos involucrados figuran la organización que administra o patrocina la evaluación (normalmente el Banco y/o el prestatario) y las personas y organizaciones que son los destinatarios del informe de evaluación. Los "involucrados secundarios" son muchos y variados, dependiendo del proyecto y el foco de la evaluación. Tal como ocurre cuando se planifica cualquier proyecto de desarrollo, el evaluador debe analizar las características de los involucrados.

La evaluación en el BID es un sistema de múltiples involucrados integrado por generadores de productos (proyectos) evaluables, generadores de evaluaciones y usuarios de productos de evaluación. Dinámicamente este sistema comienza con la formulación del proyecto, continúa durante la ejecución del proyecto, determinando su eficacia e impacto, y concluye después de haber terminado el proyecto, con una evaluación de su impacto de desarrollo y la integración de los resultados de esta evaluación en la formulación de nuevos proyectos.

En la práctica, este sistema dinámico se basa en:

• las etapas del ciclo del proyecto (según se expresan en los objetivos, procedimientos y actividades del Banco);
• la estructura operativa del Banco y sus responsabilidades departamentales;
• las acciones requeridas de los diferentes involucrados en cada momento donde una etapa del ciclo de un proyecto se vincula con una determinada responsabilidad operativa.

Estos tres elementos constituyen la "matriz" del Sistema de Evaluación del Banco (BES). En el cuadro siguiente se presenta la estructura conceptual de este sistema dinámico.

El Banco se ha comprometido a utilizar la evaluación para desarrollar su capacidad para verificar el desempeño de sus acciones en todas las etapas del ciclo del proyecto. El diagrama siguiente muestra el ciclo de los proyectos, las contribuciones de la función de evaluación en cada etapa del ciclo, y la función principal del desarrollo de esta capacidad de desempeño.

2. Matrices de evaluación del BID

En el Banco se utilizan tres matrices básicas de evaluación en las actividades de evaluación:

• El Marco Lógico (ver página 16) y lineamientos para datos de referencia (ver páginas 20 y 21), utilizados en la etapa de preparación (o diseño) del proyecto;
• Un marco que incorpora los conceptos de continuidad de la justificación, eficiencia, eficacia, efectos/impactos y experiencia adquirida, que se utilizan durante la etapa de ejecución/terminación y posterminación o evaluaciones ex-post;
• Un marco con campos de evaluación sumativa (estrategia, política, programa, diseño, monitoreo y ejecución, procedimientos, desempeño, poder de sustentación) usados en la etapa ex-post para evaluar los impactos.

3. Importancia del BES

Estas funciones de evaluación son más fáciles de realizar si, en los niveles de diseño ex-ante y de monitoreo de la ejecución, se generan datos de referencia y sistemas de generación de datos e informes de estado de gestión apropiados. La participación de todos los involucrados en el BES (ver página 10) es esencial para asegurar que estas funciones se cumplan.