INFORMES DE TERMINACIÓN Y DE EVALUACIÓN DE PROYECTOS

Además de las actividades de monitoreo y de evaluación formales ejecutadas durante la ejecución de los proyectos en el ciclo de evaluación, también se producen evaluaciones de terminación y de pos-terminación o ex-post. Tal continuidad en el ciclo de evaluación asume que la terminación de un proyecto no significa el final de las contribuciones del mismo al proceso de desarrollo. Aún cuando, durante su ejecución, un proyecto haya tenido éxito en generar sus componentes o productos generalmente falta mucho para alcanzar los objetivos de contribución directa a la calidad de vida de los beneficiarios (a nivel de propósito) y de impacto de desarrollo (a nivel de fin). Ello ocurre porque todavía hay que confirmar muchos de los supuestos planteados para estos niveles (propósito y fin) del proyecto. Estas evaluaciones también son importantes porque un aspecto del desempeño de un proyecto, que cada vez cobra más importancia, es su contribución a futuras operaciones del Banco y a lo aprendido por el prestatario en base a la experiencia adquirida.

Según se indicó en el primer capítulo de esta guía, la inversión para el desarrollo debe mejorar su desempeño y resultados. Uno de los principales medios para lograr estos objetivos es mediante la aplicación de la experiencia adquirida en el diseño y ejecución de nuevos proyectos. Por ello, cada vez adquiere más importancia en el diseño de los proyectos la inclusión, hitos e indicadores para medir el impacto económico, financiero, ambiental y social de un proyecto. Un ejemplo de ello es el documento de política del Banco (OP-761) sobre La Mujer en el Desarrollo (WID) que específicamente señala que "los lineamientos y criterios para la evaluación ex-post... deben ser revisados para que reflejen las cuestiones principales" esquematizadas en la política.

La adquisición de conocimiento institucional emergente de la experiencia adquirida se puede lograr por medio de los: Informes de Terminación de Proyectos (PCRs) bien preparados, terminados dentro de los 2 a 3 meses siguientes al desembolso final y diseminados oportunamente; los Análisis de Ejecución de Proyectos (PPR); y las Evaluaciones Ex-Post del Prestatario (BEP), normalmente ejecutados entre 1 y 2 años después de haber concluido el proyecto; y los Informes de Evaluación de Operaciones (OER) o evaluaciones de impacto en el desarrollo, que se hacen entre 3 y 4 años después de terminado el proyecto.

En este capítulo se presenta un resumen de los instrumentos que pueden ser usados para las evaluaciones vía informes de terminación de proyectos y ex-post.

El PCR realiza dos funciones. Es al mismo tiempo el último eslabón del monitoreo y el primer eslabón de la evaluación ex-post del proyecto. Es preparado por la Representación con información proporcionada por el equipo encargado de la ejecución del proyecto dentro de los tres meses subsiguientes a la fecha del desembolso final. El informe incluye una sección sobre la experiencia adquirida con el proyecto, que puede ser transmitido a los Directores Ejecutivos y demás involucrados/interesados.

En el ejemplo siguiente se describen los tipos de información que se pueden incluir en un PCR según se indica en los lineamientos de 1991 (CON/OVE,1991).

Las evaluaciones operativas y ex-post de proyectos deben tener en cuenta cinco conjuntos importantes de cuestiones generales. Estas se deben adaptar, evidentemente, a las características específicas de evaluación de cada proyecto:

• Continuidad de la justificación del proyecto
• Eficiencia del proyecto
• Efectividad del proyecto
• Efectos e impactos del proyecto
• Experiencia adquirida con el proyecto

Los primeros cuatro conjuntos de cuestiones de evaluación están vinculados a grupos específicos de intersecciones o "ventanas" del marco lógico. El quinto conjunto, la experiencia adquirida, puede abarcar la totalidad del marco lógico.

Un evaluador debe estar familiarizado con este marco de trabajo y con los tipos de preguntas que se formulan dentro de su contexto. En el Anexo I se incluye una breve descripción del marco lógico.

Indica la búsqueda por parte del evaluador

La continuidad de la justificación se refiere al grado hasta el cual las condiciones de arranque y el diseño del proyecto:

• continúan siendo compatibles con las prioridades de desarrollo del país y sus políticas macro y de sector;
• continúan reflejando el marco de política del BID; y
• contribuyen a las prioridades, del prestatario y del BID, para el desarrollo.

Algunos ejemplos de preguntas de evaluación relacionadas con la continuidad de la justificación del proyecto podrían ser:

• ¿Continúa siendo el proyecto compatible con el marco de políticas en el BID? (por ej., reducción de la pobreza; medio ambiente; modernización de estructuras de producción, sectores públicos y el estado; integración de mercados regionales y subregionales)?
• ¿Continúa siendo compatible con las prioridades de desarrollo del país beneficiario?
• ¿En caso de cambiar las condiciones iniciales de justificación siguen siendo pertinentes los objetivos?
• ¿Entre las alternativas para alcanzar los objetivos del proyecto, la presente es apropiada?
• ¿Se alcanzarán los objetivos de nivel de propósito y fin una vez generados los componentes del proyecto?
• ¿Siguen siendo válidos los supuestos del proyecto, tal como figuran en el marco lógico?
• ¿Existe algún supuesto no especificado que sea problemático, o que pudiera serlo?

Indica la búsqueda inicial por parte del evaluador.

Indica la búsqueda adicional por parte del evaluador.

La eficiencia se relaciona con el nivel de actividades y componentes del proyecto durante su ejecución y se refiere al grado hasta el cual:

• se suministraron y administraron los insumos a través de
• acciones que se organizaron de la manera más apropiada
• se hizo lo anterior al menor costo posible para generar los componentes esperados

Algunas de las posibles preguntas de evaluación relacionadas con la eficiencia son:

• ¿Cuán bien se administró la ejecución del proyecto?
• ¿Cuán apropiadas fueron las actividades para la generación de componentes? ¿se administraron de manera eficaz en función del costo?
• ¿Podría haber habido mejores maneras de alcanzar los mismos resultados a menor costo o en menor tiempo?
• ¿Se emplearon las alternativas más eficaces en función del costo de administración del proyecto?
• ¿El proyecto se superpuso y/o duplicó el trabajo de otras organizaciones de desarrollo?
• ¿Hubo coordinación adecuada con otras intervenciones?
• ¿La inclusión de las prioridades de desarrollo del BID afectó la eficiencia del proyecto?
• Si no se lograron los componentes ¿qué cambios en la ejecución de actividades pudieron haberse hecho para remediar esto?
• ¿Qué mejoras en el uso de los componentes obtenidos hubieran mejorado el logro del propósito y del fin del proyecto?
• ¿Qué debería hacerse para modificar o mejorar el proyecto? Con qué repercusiones financieras?
• Las actividades del proyecto, ¿complementan, duplican o conflictúan con otros proyectos o programas patrocinados por el BID, el prestatario u otros organismos de desarrollo?

Los indicadores para este análisis pueden encontrarse principalmente a nivel de las actividades y los componentes del marco lógico. Deben también verificarse los supuestos para determinar hasta qué grado su comportamiento puede haber afectado la eficiencia de la ejecución del proyecto.

Indica la búsqueda inicial por parte del evaluador.

Indica la búsqueda adicional por parte del evaluador.

La efectividad se relaciona fundamentalmente con el propósito y el fin después de la terminación del proyecto aunque también, si existen indicadores apropiados, puede referirse a los productos o componentes del proyecto. Se ocupa del grado hasta el cual:

• el proyecto produjo los componentes esperados.
• los componentes obtenidos conducen al logro del propósito del proyecto.
• el logro del propósito contribuyó al fin.

A continuación se presentan ejemplos de algunas preguntas relacionadas con la efectividad:

• ¿En función del costo, cuán oportuno y eficaz ha sido el desempeño del suministro de actividades?
• ¿Cuán bien se desempeñó el proyecto desde el punto de vista de producir los componentes esperados y en que medida, estos fueron entregados a los beneficiarios en plazos adecuados?
• ¿Cuán bien se desempeñó el proyecto para alcanzar el propósito?
• ¿Hasta qué grado ha contribuido el proyecto al fin o del impacto de desarrollo en el programa de política o sector productivo que apoya?

Las pruebas de efecto e impacto y sus posibles causas se pueden encontrar en las columnas de indicadores y supuestos del marco lógico.

Indica la búsqueda inicial por parte del evaluador.

Indica la búsqueda adicional por parte del evaluador.

Si bien la efectividad (vista arriba) se relaciona con el universo de los objetivos propios del proyecto, los efectos e impactos se refieren a su influencia en otros ámbitos. Los efectos e impactos del proyecto tienen que ver tanto con las consecuencias planificadas como con las imprevistas del proyecto. En general:

• los efectos se relacionan con las consecuencias planificadas y/o imprevistas a nivel de propósito.
• el impacto se relaciona con las consecuencias planificadas y/o imprevistas a nivel de fin.

A continuación se dan ejemplos de preguntas relacionadas con los efectos e impactos:

• ¿Qué cambios se produjeron, en el universo inmediato y mediato del proyecto como resultado del mismo?
• ¿Cuáles fueron los efectos e impactos sobre las prioridades de desarrollo priorizadas por los mandatos del BID?
• ¿Cuáles han sido los efectos e impactos imprevistos del proyecto?
• ¿Cuáles fueron los probables efectos a largo plazo del proyecto sobre el programa de políticas y el sector productivo correspondientes?
• Si fuera el caso, ¿porqué no se materializaron los efectos esperados?

Para entender los efectos e impactos, además de los indicadores de la segunda columna del marco lógico, se podría generar información útil examinando algunos de los supuestos del proyecto. A este nivel, la evaluación también debe relacionarse con los objetivos del programa de país al menos dentro del programa, sector, o sectores, relacionados con el proyecto en evaluación. El estudio de estas cuestiones es muy importante a nivel de Informe de Evaluación de Operaciones (OER) o de evaluación de impactos.

Indica las áreas de búsqueda por parte del evaluador.

La experiencia adquirida y el nivel de aprendizaje que emerge de ella es de dos tipos: Aprendizaje operativo, que tiende a estar relacionado con la eficiencia y la eficacia, y aprendizaje de desarrollo, que se concentra en los efectos e impactos. En el método del marco lógico, las primeras figurarían en las seis intersecciones, o "ventanas" inferiores, mientras que las segundas estarían en las seis superiores. El aprendizaje emergente de la experiencia adquirida se registra en conclusiones (que pueden convertirse en parámetros de diseño y/o supuestos de futuros proyectos). Estas se basan en las constataciones de una evaluación determinada que puede ser útil para una futura política o práctica. Este campo es tan amplio (como puede observarse, cubre la totalidad del marco lógico), que desde un principio la evaluación debe establecer criterios y objetivos claros para el análisis e identificar las incógnitas para las cuales hay que encontrar respuestas. De lo contrario, el análisis podría ser interminable en este capítulo de la evaluación (aunque este principio de finitud del campo de análisis debería aplicarse en todos los capítulos).

A continuación se presentan algunos ejemplos de preguntas de evaluación relacionadas con el aprendizaje emergente de la experiencia adquirida:

• ¿Cuáles son las lecciones emergentes sobre la relación entre la pertinencia del proyecto y el objetivo de desarrollo originalmente identificado?
• ¿Qué se aprendió sobre el desempeño de la ejecución del proyecto en cuanto a alcanzar estos objetivos?
• ¿Qué se aprendió sobre la eficiencia del proyecto para utilizar los recursos asignados?
• ¿Qué se aprendió sobre la utilidad y/o posibilidad de replicar este tipo de proyecto?
• ¿Qué se aprendió de las contribuciones de las técnicas de evaluación de las áreas operativas, y/o las de EVO, al proyecto y su evaluación?

Hasta la fase ex-post, los procesos de evaluación tienden a concentrarse en los niveles de actividades y componentes del marco lógico. La función especial de una evaluación ex-post es efectuar un examen sistemático también sobre los niveles del propósito y del fin del proyecto.

Los BEPs y PPRs cuidadosamente realizados pueden proporcionar mucha información valiosa sobre el desempeño del proyecto (y por ende del Banco) en cuanto al desarrollo. En el Capítulo VI se examina con más detalle la especificación desglosada de los procedimientos y normas para efectuar los BEPs y PPRs.

En el Cuadro 14 se presenta un ejemplo de evaluación ex-post, a nivel de PPR o BEP.

A diferencia del BEP y el PPR, que se interesan en el proyecto propiamente dicho, el OER o evaluación del impacto es para el Banco una manera vital de entender sus efectos sobre el proceso de desarrollo y usar este conocimiento para confirmar sus éxitos, e incluso aprovechar la experiencia adquirida para aprender de proyectos cuyo impacto fue modesto o negativo. Independientemente de cuán sensato haya sido el diseño ni cuán exitosa haya sido la ejecución de un proyecto, únicamente estudiando el impacto a más largo plazo, se podrá entender cabalmente su desempeño de impacto de desarrollo. Las evaluaciones de impacto siguen procedimientos similares a los de otras evaluaciones formales discutidas en el Capítulo VI, aunque el análisis se extiende a cuestiones que van más allá de la ejecución para ocuparse del logro del propósito del proyecto y sus contribuciones al fin, u objetivo último de desarrollo del proyecto.

El marco de evaluación del impacto sugerido para el uso del Banco se concentra en seis tipos importantes de impactos:

• Tecnológico
• Institucional
• Económico
• Político
• Social y cultural
• Ambiental

En el Cuadro 15 se sugiere un ejemplo de como tratar estos asuntos en la práctica:

[TOPE]