Este capítulo está destinado a quienes tengan que supervisar evaluaciones formales operativas y ex-post (PCR, PPR, BEP y OER); estas evaluaciones pueden ser efectuadas por evaluadores internos pero, algunas veces, pueden ser hechas por evaluadores externos, contratados con este fin. En ambos casos, esta sección proporcionará pautas al supervisor de evaluación, y/o al evaluador, para ayudarle a controlar la calidad de la evaluación, asegurando así un resultado provechoso y eficaz. El nivel de formalidad de los términos de referencia dependerá del origen externo o interno del evaluador y del tipo de evaluación. En el caso de una evaluación interna, más o menos rutinaria, se pueden utilizar términos de referencia menos formales. Siendo estas necesariamente más formales en el caso de una evaluación delicada y externa. Por tanto, el lector adaptará el método aquí presentado, a las necesidades de evaluación de la situación específica en la cual se encuentre.

Toda evaluación exitosa requiere el contexto de un BES operacional y la experiencia combinada de evaluadores, supervisores e involucrados. El evaluador del proyecto es responsable del contenido y presentación del informe de evaluación. El supervisor de la evaluación es el encargado de administrar el proceso de evaluación. Otros involucrados proporcionarán datos y (se espera) responderán constructivamente a los resultados de la investigación, a las recomendaciones y a las lecciones que emerjan de la experiencia adquirida, que se presentan en el informe de evaluación.

Algunas veces en el proceso de diseño y aprobación de un proyecto se indica (en los documentos pertinentes) la necesidad de hacer una evaluación del mismo. En algunas oportunidades, la necesidad de una evaluación surge en respuesta a problemas que se presentan durante la ejecución. En otros casos, la necesidad de hacer una evaluación puede ser consecuencia de la responsabilidad formal de EVO de evaluar ciertos tipos de proyectos. Cualquiera sea su origen, una vez establecida la necesidad de una evaluación es preciso supervisarla eficazmente.

Los evaluadores profesionales cuentan con los métodos y técnicas de evaluación necesarios tales como diseños de evaluación, métodos de investigación, técnicas de recopilación de datos y análisis apropiados. Pero su experiencia y conocimientos deben ajustarse a los procesos existentes en el BID. Asegurar este ajuste es una tarea importante del supervisor de la evaluación (que puede ser un profesional de CON, un profesional de un departamento operativo de la Sede, un especialista de EVO, un especialista de una Representación, etc.). La supervisión de la evaluación es necesaria en todas las etapas de ésta: durante el diseño, para identificar y estimar los recursos humanos y financieros para hacer la evaluación; durante la evaluación, para asegurar el control de calidad y, una vez terminada la evaluación, para asegurar que los resultados sean diseminados a los involucrados primarios y secundarios.

Una supervisión eficaz del proceso de evaluación es vital para producir evaluaciones de alta calidad.

El supervisor de una evaluación necesita plantearse algunas preguntas básicas antes de pasar a una descripción precisa en los términos de referencia formales:

¿PORQUÉ SE ESTÁ HACIENDO LA EVALUACIÓN?

• ¿Cuáles son las cuestiones más importantes a las que debe responder la evaluación?

¿QUIÉNES SON LOS INVOLUCRADOS PRIMARIOS Y SECUNDARIOS DE LA EVALUACIÓN?

• ¿Quién necesita que la evaluación le proporcione respuestas, y de qué tipo?

¿CUÁLES SON LAS CUESTIONES PRINCIPALES DE EVALUACIÓN RELACIONADAS CON LOS MARCOS DE TRABAJO DEL BANCO PARA LAS EVALUACIONES OPERATIVAS Y EX-POST?

• ¿Cómo se insertan las preguntas más importantes en los marcos de trabajo del BID y el Sistema de Evaluación del Banco (BES)?

¿QUIÉN HARÁ LA EVALUACIÓN?

• ¿Qué tipo de experiencia y conocimientos se requieren para hacer la evaluación? ¿La hará un equipo interno o uno externo?

¿QUIÉN PARTICIPARÁ EN LA EVALUACIÓN?

• ¿Existen necesidades especiales de tiempo y recursos del prestatario, ejecutores y/o beneficiarios?

¿CUÁNDO TENDRÁ LUGAR LA EVALUACIÓN?

• ¿Para cuándo se necesita la información? ¿Cuándo es factible hacer la evaluación dados los calendarios de los participantes, los efectos estacionales en los viajes y el acceso a los beneficiarios?

¿CUÁNTO COSTARÁ LA EVALUACIÓN EN HONORARIOS, OTROS GASTOS Y TIEMPO DE LOS PARTICIPANTES?

• ¿Qué nivel de esfuerzo se requiere dados los beneficios previstos de la evaluación? ¿Cuánto tiempo y esfuerzo puede exigirsele razonablemente a los involucrados?

Los términos de referencia (TDR) definen la evaluación y son los principales controles contractuales sobre sus productos y su calidad. Los TDR los pueden preparar diversas personas. En esta sección se aclara qué deben incluir los términos de referencia formales. Al evaluador (ya sea un individuo o un equipo) algunas veces se le pide comentar sobre TDR preliminares, por lo que necesitará discutirlos y aclararlos antes de tratar de preparar un plan de trabajo como el que se presenta más adelante en este capítulo.

1.0 ANTECEDENTES DEL PROYECTO

Esta sección de los términos de referencia debe incluir:

• El fin y el propósito del proyecto tomados del marco lógico (si no existe, el Marco Lógico se debe "reconstruir").
• El contexto y justificación del proyecto.
• Las actividades por tipo y valor monetario.
• Los componentes generados y sus contenidos.
• Fechas previstas de comienzo y terminación, de cada objetivo (actividad, componente, propósito, fin).

2.0 JUSTIFICACIÓN DE LA EVALUACIÓN

Esta sección debe presentar las razones principales por las que se está haciendo la evaluación:

• Mejorar el desempeño durante la ejecución del proyecto.
• Analizar el diseño después de incurrir en cambios significativos en el contexto del proyecto.
• Rendir informes al concluir una etapa importante, por ejemplo, al completar una etapa de un "time-slice" al completarse un tramo de desembolso de un proyecto de ajuste de sector, al producirse el desembolso final del proyecto, etc.
• Entender los efectos e impactos a largo plazo del proyecto.
• Aprender de los éxitos y fracasos del proyecto para futuros diseños.

3.0 INVOLUCRADOS EN LA EVALUACIÓN

En esta sección se debe identificar a los involucrados primarios y secundarios. Generalmente, entre los involucrados primarios figuran los beneficiarios, la Representación, los organismos ejecutores, la Alta Administración, el Directorio Ejecutivo y la Asamblea de Gobernadores del BID. Entre los involucrados secundarios se encuentran otros grupos tales como otras agencias de desarrollo, grupos de investigación, grupos de intereses de sector, organizaciones no gubernamentales, etc.

4.0 ALCANCE Y FOCO

Esta sección debe identificar cuáles aspectos del proyecto deben ser considerados en la evaluación, y las cuestiones principales que emergen dentro de diversos aspectos. Estas cuestiones normalmente se reflejan en el marco de evaluación (ver Capítulo IV), ajustado específicamente para expresar las razones de esta evaluación.



5.0 EJECUCIÓN DE LA EVALUACIÓN

Aquí se identifican los requisitos que deben seguir los evaluadores para hacer la evaluación. Estos requisitos deben referirse al:

• Tipo de actividad y cronograma del plan de trabajo.
• Metodología para cada aspecto.

6.0 COSTO

Los términos de referencia deben incluir una estimación del costo de la evaluación por etapa y actividad.

7.0 PERFIL DE LOS EVALUADORES REQUERIDOS

Las calificaciones requeridas (por ej., experiencia en sectores, en tipos de evaluación, etc.) del evaluador. Cuando éste va a ser un grupo de personas, en los términos de referencia también debe indicarse su número, funciones y actividades de cada miembro.

8.0 CALENDARIO

Se debe esbozar un calendario para la evaluación, que incluya:

• La duración de la evaluación.
• La asignación de tiempo a las diversas misiones a ejecutar.

9.0 AUTORIDAD Y RESPONSABILIDAD

Se deben indicar las funciones y niveles de autoridad de los evaluadores:

• Funciones del personal del Banco.
• Función del evaluador (interno y/o externo).
• Procedimientos para enmendar los términos de referencia.
• Relaciones de supervisión y entrega de informes.

10.0 PRODUCTOS DE LA EVALUACIÓN

En los términos de referencia se deben indicar los productos que se obtendrán del proceso de evaluación. Estos suelen incluir:

• Un plan de trabajo
• Informe preliminar
• Una sesión participativa sobre el contenido de la evaluación
• Un informe final

Es obvio que la clave para lograr que se haga bien un trabajo es asignárselo a una persona competente. A medida que las evaluaciones del BID se hacen más complejas, las técnicas requeridas para llevarlas a cabo serán cada vez más numerosas y especializadas.

Un buen evaluador deberá cubrir el siguiente perfil:

EXPERIENCIA Y CONOCIMIENTOS TÉCNICOS

• Entendimiento de las metodologías requeridas para la evaluación y experiencia en su uso.

EXPERIENCIA Y CONOCIMIENTOS EN EL SECTOR

• Experiencia en el sector del proyecto que se está evaluando (educación, saneamiento, medio ambiente, etc.)

EXPERIENCIA Y CONOCIMIENTOS DE GESTIÓN DE PROYECTOS

• Experiencia en la problemática de gestión técnica e institucional del Banco y de análisis institucional para el diseño y ejecución de proyectos.

CREDIBILIDAD

• Reconocimiento como experto por los involucrados principales del proyecto y de su evaluación.

IMPARCIALIDAD

• Ningún conflicto de interés con ninguna de las partes involucradas en la evaluación del proyecto.

COMUNICACIÓN

• Capaz de comunicar los resultados de la evaluación de manera que todas las partes puedan entenderlos fácilmente.

DON DE GENTES

• Capaz de llevarse bien con todas las partes en una forma sensible y eficaz.

DISPONIBILIDAD

• Estar disponible para hacer la evaluación con el grado de rigor requerido y dentro del período de tiempo especificado.

Debido a su naturaleza compleja, algunos proyectos pueden requerir un equipo de expertos. En tales casos, el equipo de evaluación necesita:

LIDERAZGO

Contar con un jefe de equipo reconocido por sus pares que se haga responsable de los resultados del proyecto en todos los niveles de control de calidad.

COMPLEMENTARIEDAD DE CONOCIMIENTOS

Los equipos de evaluación deben estar integrados por evaluadores de diferentes orígenes técnicos que cubran los requisitos de diversidad del proyecto en evaluación.

ESPÍRITU DE CUERPO

A menos que se sepa que los miembros del equipo ya han trabajado juntos, siempre existe el riesgo de que las ventajas individuales de los miembros de un equipo se vean disminuidas por desacuerdos u otras disfuncionalidades que resultan en informes incoherentes.

MECANISMOS EFICACES PARA LA COORDINACIÓN Y COMUNICACIÓN

Cuando los miembros del equipo están físicamente dispersos, se deben elaborar procedimientos para asegurar que mantengan una buena comunicación y pasen períodos de trabajo en grupo para la planificación, análisis y preparación de informes.

Tanto los evaluadores internos como externos son útiles para un sistema de evaluación como el del BID. La utilidad de ambos no se puede discutir en términos abstractos. Por consiguiente, su asignación o contratación debe considerarse en el marco del BES. En tal contexto es obvio que el evaluador interno no sólo entiende el proceso y los procedimientos que culminan en la identificación, diseño y ejecución del proyecto, sino que también participa en garantizar la operación del sistema de evaluación del Banco y, por lo tanto, en la generación de proyectos evaluables en las etapas de aprobación y ejecución. No obstante, la diversidad de campos técnicos potenciales de evaluación, la necesidad frecuente de asignar recursos con carácter intensivo en diversos campos especializados, y de encontrar métodos innovadores para solucionar problemas nuevos, pueden llevar a justificar el uso de evaluadores externos. El criterio de objetividad por sí solo no puede ser razón para contratar un evaluador externo, pues ello daría a entender que un evaluador interno es parcial y que no se puede confiar en él.

Los evaluadores necesitan dominar varias técnicas, según se indicó previamente. Además, el evaluador seleccionado (ya sea un equipo o un individuo, interno o externo) debe llenar los requisitos siguientes:

1. Conocer el Banco, sus programas, operaciones y procedimientos de evaluación.
2. Carecer de prejuicio contra la institución y servir de árbitro/facilitador entre las partes involucradas en la evaluación.
3. Asegurar que se sigan las recomendaciones y las lecciones emergentes de la experiencia adquirida.
4. Estar disponible para trabajar intensamente dentro de los períodos requeridos.
5. Aportar perspectivas, percepciones y experiencias frescas, así como conocimiento "de punta".
6. No rehuir la búsqueda de datos o la formulación de conclusiones negativas o que reflejen negativamente sobre el Banco.
7. Ser consciente de las limitaciones de factibilidad de sus recomendaciones.
8. No ser percibido como un adversario por los involucrados, creando en sí ansiedades innecesarias.
9. No verse limitado por conflictos de roles organizacionales.
10. Estar familiarizado con el ambiente político, cultural y socio-económico del proyecto.

El plan de trabajo para la evaluación normalmente es el primer producto que genera el evaluador. Es la respuesta de éste a los términos de referencia y su propuesta para hacer la evaluación.

Para preparar adecuadamente un plan de trabajo, el evaluador debe examinar los términos de referencia con el supervisor de la evaluación a fin de aclarar los requisitos. Además, necesitará información básica sobre el proyecto, para los cual examinará los documentos principales del mismo y consultará con la Representación respectiva.

El plan de trabajo será presentado al supervisor de la evaluación para que lo apruebe. Una vez aprobado, el plan sirve para dirigir el proceso de evaluación, aunque tal vez haya que apartarse algo de él a medida que avanza la evaluación. Los procedimientos para aprobar tales desviaciones se deben establecer cuando se aprueba el plan de trabajo.

1.0 RESEÑA DEL PROYECTO

El plan de trabajo debe comenzar con una reseña del proyecto, de una a dos páginas, en la que se:

• Resumen los antecedentes y el contexto del proyecto.
• Identifican el fin, el propósito, los componentes y las actividades del proyecto, haciendo referencia a su marco lógico (si el proyecto se diseñó/ejecutó sin un marco lógico, la evaluación debe tratar de reconstruir uno basándose en los documentos disponibles sobre el proyecto/préstamo).
• Incorporan los resultados del examen preliminar, que hará el equipo de evaluación a través de consultas con los involucrados primarios y el examen de los principales documentos del proyecto.

2.0 MANDATO DE LA EVALUACIÓN

Esta sección esencialmente reitera la justificación de la evaluación, su alcance y foco, tal como se identificó en los términos de referencia. Esta información se incluye en el plan de trabajo con el objeto de proporcionar, en un solo documento, una síntesis completa de los resultados de la evaluación.

3.0 MATRIZ DE EVALUACIÓN

Una de las funciones principales del plan de trabajo consiste en volver a conceptualizar los términos de referencia en un marco más operativo que se aplique directamente a la evaluación del proyecto. El plan de trabajo convierte las preguntas de evaluación introducidas en los términos de referencia (en la sección "Alcance y Objeto" de los términos de referencia de este capítulo, se presentan ejemplos de esas preguntas) en una matriz de evaluación más resumida y específica para el proyecto, según se muestra a continuación.

Siguiendo la evaluación de los interrogantes con el Marco Lógico, como se indicara en el Capítulo IV:

i) Los interrogantes principales deberían relacionarse en cada nivel de cuestión con una diferente área del marco lógico así:

ii) Los interrogantes adicionales deben emerger o bien como posibilidades de preguntas, como consecuencia de los resultados esperados de las principales (por lo cual en una primera etapa son muy especulativas), o bien como resultado de características sectoriales y/o técnicas específicas del proyecto

La matriz de evaluación resume el alcance de toda la evaluación identificando:

• Las cuestiones a tratar de acuerdo a los términos de referencia.
• Las preguntas principales y adicionales sugeridas por los términos de referencia.
• Los indicadores (que son "objetivamente verificables").
• Las fuentes de datos y los métodos de recopilación de datos.
• La base sobre la cual se tomarán las decisiones sobre la evaluación.

Esta matriz ayudará a preparar el registro de las experiencias adquiridas como resultado del proyecto, y facilitará el intercambio de información: (i) en la fase de evaluación operativa, para determinar la posibilidad de rediseñar el proyecto; y (ii) en la fase de evaluación ex-post, para considerar como se diseñan proyectos futuros.

4.0 METODOLOGÍA DE TRABAJO

Algunos planes de trabajo resumen el enfoque general de la evaluación en la introducción a la sección de metodología. En un párrafo o dos, se plantea el diseño o tipo general de evaluación y los métodos principales de recopilación y análisis de datos. También se ofrece un fundamento para seleccionar la metodología.

Las subsecciones deben ofrecer más detalles sobre la recopilación y análisis de datos, a saber:

• Fuentes de datos: Aunque estas se incluyen en la matriz de evaluación, también se deben resumir aquí.
• Instrumentos: Se deben describir los instrumentos de recopilación de datos que se usarán en la evaluación.
• Procedimientos para la recopilación de datos: Aunque en la matriz de evaluación se enumeran los métodos de recopilación de datos, en el plan de trabajo se deben dar detalles sobre la estrategia general empleada.
• Análisis de datos: Se deben describir los métodos principales de análisis de datos cualitativos y cuantitativos.

5.0 EQUIPO DE EVALUACIÓN

Cuando el "evaluador" es un equipo, y no un individuo, se debe indicar el nombre, función y responsabilidad de cada miembro.

6.0 ANÁLISIS DE ACTIVIDADES/ESFUERZO

El plan de trabajo debe indicar las actividades requeridas para la evaluación, así como una estimación del nivel de esfuerzo necesario (en días/persona) para completar cada una de ellas.

7.0 CALENDARIO DE ACTIVIDADES

En el plan de trabajo se debe proponer un calendario de evaluación. Por supuesto, el calendario debe estar vinculado al análisis de actividades y esfuerzo presentado en el plan de trabajo. Deben indicarse claramente las fechas de las etapas importantes (visitas fuera de la sede, presentación del plan de trabajo e informe de evaluación, etc.). El calendario se puede desglosar más, por miembros del equipo de evaluación, si es necesario.

8.0 PRESUPUESTO

En el plan de trabajo se debe incluir un presupuesto en el que se desglosen los honorarios, gastos de viaje y de otra índole. Debe estar vinculado a la estrategia para la recopilación y análisis de datos, así como al análisis de actividades y esfuerzo.

9.0 ESQUEMA DE INFORME

En el plan de trabajo también se debe incluir un esquema para la presentación del informe de evaluación. Aunque éste invariablemente cambia durante el proceso de evaluación, el esquema al menos indica lo que se va a discutir en el informe y da una idea de cómo se van a presentar las cuestiones.

Las evaluaciones satisfactorias informan sobre sus conclusiones de varias maneras. Suelen incorporar sesiones informativas con los involucrados, oportunidades para confirmar conclusiones y recomendaciones, distribución electrónica de conclusiones, recomendaciones y lecciones aprendidas. Sin embargo, prácticamente todas las evaluaciones profesionales producen un informe de evaluación escrito. Éste se convierte en el registro oficial de lo que sucedió y en él se hacen constar las decisiones tomadas. El informe también es el principal estímulo oficial para reformular proyectos y para mejorar los sistemas de datos, que colectivamente contribuyen al conocimiento adquirido sobre el desempeño del desarrollo. Por estas razones, el informe de evaluación es el producto más importante del proceso de evaluación.

Las normas internacionales de una buena práctica de evaluación sugieren que los informes deben ajustarse a las normas especificadas a continuación. Si bien algunas evaluaciones muy buenas quizá no tengan todos los elementos requeridos, es poco probable que una evaluación cuyo informe carezca de muchos de estos elementos sea considerada buena por evaluadores profesionales competentes.

1. Normas de lenguaje y presentación

• Carátula indicando el nombre del proyecto, autor y fecha.
• Indice con los números de páginas correspondientes en el informe.
• Resumen en el que se esbozan los resultados, conclusiones y recomendaciones principales.
• Capítulos y/o secciones que guarden relación con el índice.
• Escrito de manera clara y sucinta y en buen estilo.
• El resumen, las recomendaciones y las lecciones emergentes de la experiencia adquirida de la evaluación son subcapítulos, redactados conforme los requisitos del BID.
• Las cifras, gráficos y cuadros se presentan claramente con títulos y rótulos completos y apropiados
• Información completa y exacta sobre toda referencia efectuada.

2. Normas técnicas

• Describe el propósito de la evaluación y anexa los términos de referencia
• Contesta las preguntas planteadas en los términos de referencia
• Describe la metodología empleada para recopilar y analizar los datos
• Indica las limitaciones de la evaluación o su metodología
• Indica la confiabilidad y validez de los datos utilizados
• Describe cualquier muestra tomada por el método de muestreo, número de elementos seleccionados y disponibles.
• Incluye los datos principales, debidamente analizados, en que se basan las conclusiones

Existen tres tipos de usos de los resultados de la evaluación:

• aplicación de recomendaciones específicas;
• diseminación de información; y
• combinación de los dos precedentes.

1. Aplicación de recomendaciones

Las recomendaciones se incorporan más fácilmente en las actividades de proyectos futuros, cuando tienen algún vínculo directo con la evaluación. En una evaluación operativa, cuando es del caso, las recomendaciones se deben incorporar en la documentación sobre rediseño/planificación e implementación del proyecto. Debe haber pruebas en la documentación que demuestren cómo se deben incorporar las recomendaciones en el proyecto reformulado.

En el Banco, la aplicación de recomendaciones se refiere a las medidas tomadas por la Administración en respuesta a: a) decisiones de política tomadas por el Directorio del Banco que emanaron de recomendaciones de informes de evaluación, o b) sugerencias y recomendaciones de evaluaciones operativas que la Administración decidió incluir en el diseño y planificación de proyectos o programas. En la documentación deben incluirse pruebas que demuestren cómo se incorporan estas recomendaciones y sugerencias en proyectos nuevos o reformulados.

2. Diseminación

La diseminación de los métodos de evaluación es el vínculo con otros proyectos y Representaciones, y se aplica en particular a las evaluaciones al final del proyecto y de impacto. La diseminación apropiada de los resultados es importante para todas las evaluaciones. Es esta actividad del ciclo del proyecto la que debe transmitir las lecciones pertinentes aprendidas de las evaluaciones para utilizarlas en proyectos subsiguientes. Por tanto, la eficacia del proceso de diseminación es importante y se mide en función de su utilización y disponibilidad para proyectos futuros.

La diseminación de resultados, lecciones aprendidas y prácticas óptimas casi siempre se refiere a sugerencias sobre la preparación, diseño, implementación y desempeño de proyectos. También puede referirse a impactos y logro general del fin. Los resultados diseminados pueden emerger también de proyectos o programas de otro país y/o donantes de naturaleza general, con repercusiones para las políticas y estrategias del Banco.

La ética cada vez adquiere más importancia a medida que la gente se ve sometida con más frecuencia a todo tipo de evaluación. Los evaluadores del Banco (o usados por el Banco) deben ser respetuosos de:

1. Diferencias culturales

Ser sensibles a las creencias, maneras y costumbres de las personas que intervinieron en la ejecución del proyecto, la recopilación de datos de evaluación y/o preparación de informes de evaluación en etapas anteriores del proyecto.

2. Anonimidad/confidencialidad

Respetar el derecho de los demás a suministrar información con carácter confidencial y asegurar que los datos no puedan ser vinculados a sus fuentes.

3. Compartir responsabilidad por las conclusiones

Para no poner a los evaluadores locales en una situación en la que se les considere críticos de su propia realidad, se requiere responsabilidad compartida en el equipo.

4. Omisiones

Desde el punto de vista ético, los evaluadores tienen la responsabilidad de traer a la luz cuestiones y conclusiones significativas que tal vez no estén relacionados directamente con los términos de referencia originales.

5. Evaluación de individuos

Los exámenes del desempeño individual normalmente no forman parte de las evaluaciones de proyectos; la evaluación de las funciones administrativas de los ejecutores debe respetar este principio general.

6. Prueba de malversación

Las evaluaciones algunas veces descubren pruebas de malversación. Esta debe ser denunciada ante los funcionarios responsables del prestatario o el Banco.

7. Validación de datos

Los datos se deben validar utilizando medidas y/o fuentes rigurosas.

8. Publicidad de los resultados

Los evaluadores deben hacer un esfuerzo razonable por compartir los resultados de la evaluación con quienes tengan derecho a conocerlos, sin violar su lealtad al patrocinador de la evaluación.

[TOPE]