Política General
En el Banco la evaluación ex post de las operaciones tiene por objeto apreciar la medida en la que se han alcanzado los objetivos de desarrollo de las operaciones financiadas, como también apreciar la eficiencia con la cual se han conseguido tales objetivos. Se denomina evaluación ex post porque tiene por objeto calificar los resultados de una operación, particularmente en términos de sus efectos directos o impacto producido, una vez concluida la actividad.
Las evaluaciones ex post de las operaciones están a cargo de:
La Administración, que es responsable de la evaluación en tiempo real de todas las operaciones de préstamo hasta el momento de la conclusión del proyecto. A tales fines, la Administración elabora un Informe de Terminación del Proyecto (PCR) para todas las operaciones de préstamos del BID ya concluidas.
La Oficina de Evaluación y Supervisión (OVE), que se ocupa de efectuar revisiones independientes de los PCR elaborados por la Administración y de generar evaluaciones independientes de los proyectos terminados.
Cualquier prestatario, que decida efectuar una evaluación ex post de las operaciones, teniendo en cuenta su capacidad institucional para realizar el trabajo. Las actividades de seguimiento y evaluación en el BID son una responsabilidad compartida entre el Banco y el país prestatario. Dentro del Banco, la atención primordial de la Administración es la evaluación en tiempo real, hasta el momento de la terminación. Como parte de esta función, la Administración elabora el PCR al cabo de la ejecución de cada proyecto, incluyendo en él información sobre los productos y resultados, y calificaciones sobre el desempeño, la sostenibilidad y la probabilidad de alcanzar los objetivos de desarrollo.
OVE realiza una revisión independiente de los PCR correspondientes a todos los proyectos terminados, incluida una validación de las calificaciones presentadas en la autoevaluación de la Administración. Igualmente, OVE realizará, a modo de muestra, minuciosas evaluaciones ex post de los resultados (impactos y/o resultados) de las operaciones financiadas por el BID a dos años o más de su conclusión. Como parte de esta muestra, OVE elaborará:
Evaluaciones de resultados y sostenibilidad ex post de al menos un 20% de los proyectos terminados, con el fin de examinar los resultados del proyecto y la continuidad de los beneficios a dos años o más de su conclusión
Informes de evaluación del impacto ex post al menos en dos proyectos terminados durante los cuatro años anteriores o más. Tales evaluaciones procuran establecer los beneficios a largo plazo que siguen emanando del proyecto, y estimar el valor que ha agregado el Banco a los resultados obtenidos en el largo plazo.
OVE produce evaluaciones de país, temáticas, de estrategias y de políticas sobre la base, entre otras cosas, de los resultados de la evaluación ex post de operaciones ejecutadas en diversos ámbitos. Además, los informes anuales de OVE ofrecerán información sobre la evaluación ex post de las operaciones llevadas a cabo durante el año.
Conforme al principio de la responsabilidad compartida en las actividades relacionadas con el seguimiento y la evaluación de las operaciones, los prestatarios tienen la responsabilidad principal de recopilar la información básica necesaria para la preparación del PCR y las evaluaciones ex post. Tal información se reúne sistemáticamente para todos los proyectos hasta el nivel de resultados. La información adicional que se requiere para la evaluación ex post minuciosa y a más largo plazo de los resultados debe identificarse, toda vez que sea posible, durante el diseño del proyecto, y la capacidad para recopilarla debe establecerse durante la ejecución. Como parte integrante de la ejecución de todos los proyectos del Banco, el organismo ejecutor debe recopilar la información y los indicadores para las actividades de seguimiento y evaluación acordadas durante el diseño del proyecto. La calificación de los proyectos debe justificarse a base de información confiable correspondiente a las distintas etapas, información que debe incrementar la objetividad de dicha calificación.
El Banco provee igualmente asistencia técnica a los prestatarios para que éstos incrementen su capacidad evaluativa y los alienta a emprender evaluaciones ex post de sus proyectos. El Banco dispone de varios instrumentos para asistir a los países prestatarios en la ampliación de su capacidad institucional para realizar evaluaciones ex post, entre ellos proyectos de modernización del Estado, así como asistencia técnica para las evaluaciones ex post de las operaciones. OVE coordina también con la Administración y con los prestatarios la planificación y programación de las evaluaciones ex post de las operaciones que han de llevarse a cabo.
Propósito
La evaluación ex post de las operaciones forma parte del sistema de evaluación del Banco, cuyo objetivo es establecer la evaluación como instrumento para el aprendizaje institucional y para la evaluación sistemática de la efectividad de la política del Banco en el desarrollo y de sus programas y procedimientos conexos. Los principales objetivos de la evaluación ex post de las operaciones son:
Proporcionar a los países prestatarios servicios de autoevaluación y evaluación independiente de los resultados de los programas y proyectos, y ayudarles a fortalecer sus sistemas de seguimiento y evaluación.
Aprovechar las lecciones de la experiencia obtenida a través de la ejecución de los programas y proyectos a fin de que las recomendaciones formuladas sean incorporadas en la preparación, el análisis y la ejecución de nuevos proyectos.
Proporcionar al Banco y a los países prestatarios análisis e información básicos a fin de evaluar la efectividad para el desarrollo de las actividades del Banco.
Proporcionar una herramienta de evaluación adecuada que respalde el proceso de toma de decisiones del Banco y de los países prestatarios.
Directrices Básicas
El sistema de evaluación es un proceso participativo que debe involucrar a las partes interesadas, con el fin de generar un valor agregado que contribuya a atender las necesidades de los prestatarios y del Banco. La selección de operaciones que será objeto de evaluación ex post minuciosa y a más largo plazo de los resultados (impacto y/o efectos directos) por parte del Banco se discutirá anualmente durante la preparación del plan de trabajo de OVE. Este plan de trabajo identificará cada año los proyectos que se evaluarán y las metodologías que se utilizarán.
Las evaluaciones ex post varían desde un estudio documental concentrado en efectos directos a corto plazo, impacto preliminar y continuidad de los beneficios, realizado a los dos años de terminado el proyecto, hasta una evaluación minuciosa a más largo plazo de los resultados, llevada a cabo varios años después de la terminación. En el caso de estas últimas, OVE procurará identificar operaciones que estarán sujetas a este tipo de evaluación lo más pronto posible durante el ciclo de proyectos (v.g., durante la programación y el diseño de las operaciones). La información necesaria para emprender satisfactoriamente este tipo de evaluación requiere que se haga el esfuerzo durante la preparación del proyecto a fin de asegurarse de que sea recopilada durante la ejecución y operación del proyecto, especialmente para fines de estimar los beneficios y llevar a cabo análisis de casos hipotéticos. A tales efectos, es preciso que haya coordinación con la administración y los prestatarios.
Los criterios para decidir qué proyectos estarán sujetos a evaluación ex post y la metodología específica que se aplicará en cada caso son, entre otros, los siguientes:
Las prioridades de OVE según las áreas seleccionadas para evaluación.
Los aspectos innovadores de la operación y su potencial para generar lecciones.
La pertinencia estratégica en el ámbito del Banco, del sector o del país.
El interés particular y la capacidad del prestatario, especialmente considerando que el ejercicio de evaluación puede contribuir a fortalecer la capacidad evaluativa del país.
Cuando un prestatario decide realizar una evaluación ex post, su contenido, el tipo de información requerida y los indicadores que se usarán se definirán en conjunto con el Banco, y éste debe determinar si el prestatario cuenta con la capacidad para realizar la evaluación; de no tenerla, el Banco deberá establecer la asistencia que requerirá el prestatario para tal propósito.
Cuando un prestatario decida emprender una evaluación o se comprometa a recopilar información adicional para la evaluación que realizará el Banco, la propuesta de préstamo incluirá una sección sobre evaluación ex post, en la que se especificará, en cada caso particular, lo siguiente:
Las partes que se responsabilizarán de recopilar los datos y llevar a cabo la evaluación.
La metodología que se usará, en términos del método analítico y de la aplicación de otros instrumentos de evaluación, como los grupos de examen por homólogos, grupos focales, grupos de control, encuestas, etc.
Los requisitos de información y las medidas para adecuadamente recopilarla en el momento en que se requiera la información.
El tiempo que demorarán todas estas actividades.
Las medidas que se hayan de tomar para verificar que el prestatario disponga de una adecuada capacidad para recopilar la información y cumplir el compromiso de realizar la evaluación ex post, cuando sea necesario.
Una estimación prudente de los costos involucrados y de las fuentes que han de financiarlos.
Las conclusiones de las evaluaciones y las lecciones aprendidas de ellas deben incorporarse directa y sistemáticamente en la programación, identificación, preparación, análisis, aprobación y ejecución de los proyectos. Todas las actividades y productos de evaluación que genera el sistema de evaluación del Banco deben constar en los informes que analizan los temas y que proveen información a un nivel más agregado, tales como los informes sobre países, sectores, estrategias y políticas e informes anuales sobre actividades de evaluación, y debe incorporarse un resumen de sus conclusiones y recomendaciones en estos documentos. En términos de los informes anuales, las evaluaciones individuales deben aportar elementos básicos para la evaluación general de la eficacia de las intervenciones del Banco en función del desarrollo de los países prestatarios.
Informes
Informe de terminación del proyecto (PCR) preparado por la Administración con el fin de evaluar todos sus programas o proyectos terminados en los respectivos países. Contiene un resumen general de la ejecución del proyecto y sirve de base para examinar los problemas técnicos, financieros y administrativos surgidos en un programa o proyecto, sus logros y las lecciones aprendidas. También incluye información sobre productos y efectos directos, y calificaciones sobre su desempeño, sostenibilidad y probabilidad de alcanzar los objetivos de desarrollo, informando sobre la decisión de llevar a cabo una evaluación ex post de la operación.
Revisión de los PCR, efectuada por OVE de todos los PCR preparados por la Administración dentro de un año de su entrega. Este documento proporciona una visión independiente de la autoevaluación realizada por la Administración en términos de su congruencia y conclusiones principales y validar las calificaciones contenidas en el PCR.
Evaluación de resultados y sostenibilidad ex post que elaborará OVE, a modo de muestra, dos años o más después de concluido el proyecto con el objeto de evaluar el desempeño y los resultados a corto y mediano plazo de un programa o proyecto, especialmente en términos de sus efectos directos, la sostenibilidad institucional y la continuación del flujo de beneficios. También examina las calificaciones asignadas por la Administración al Informe de Terminación del Proyecto (PCR) y la anterior validación de la revisión del PCR.
Informes de evaluación ex post del impacto elaborados selectivamente por OVE, de preferencia cuatro años o más después de concluido el proyecto con el objeto de evaluar los resultados a plazo más largo y la sostenibilidad de un programa o proyecto, incluido su impacto o sus efectos directos, así como la eficacia y eficiencia alcanzadas en la consecución de los objetivos de desarrollo y en la obtención de lecciones para futuras operaciones. También incluye un análisis profundo del desempeño del proyecto y una validación adicional de las clasificaciones asignadas al proyecto en el PCR y validadas en la revisión de éste.
Evaluación ex post por el prestatario, elaborada por los prestatarios en forma voluntaria, de preferencia cuatro años o más después de la terminación del proyecto con el objeto de evaluar los resultados y la sostenibilidad de un programa o proyecto, incluidos su impacto y/o efectos directos, y la eficacia y eficiencia en la consecución de los objetivos de desarrollo, generando lecciones para futuras operaciones.
Normas
Las directrices concretas para las evaluaciones ex post se enuncian en el Manual de Administración de Operaciones y en el Manual de las Representaciones.
________________________________________________________________
1/ No obstante, la Administración no tiene prohibición de realizar estudios o incluso evaluaciones ex post de proyectos terminados que no corresondan a este marco de política, como parte de sus propios estudios y aprendizaje de lecciones, que también podrían complementarse con el trabajo que realizan OVE y los prestatarios.
2/ Basado en el número total de proyectos terminados en 2003 o posteriormente.
________________________________________________________________
Documentos de referencia vigentes:
GN-2254-5, Septiembre 2003
Resolución DE-23/94, Marzo 1994
GA-151-1, Marzo 1994
Memorándum CON/OEO-84/93: “Modifications to the Borrower’s Ex-Post Evaluation System”, marzo de 1993
RE-238 Corr.: “Fortalecimiento de la supervisión y reconstrucción del proceso de evaluación del Banco”, junio de 1999.