"PLANIFICACIÓN DE LOS PROCEDIMIENTOS DE SUPERVISIÓN Y EVALUACIÓN"

I. INTRODUCCIÓN

Este anexo es una parte del enfoque global adoptado por EVO para mejorar el desempeño de los proyectos por medio de evaluaciones, y se enmarca en el enfoque lógico que se presenta más adelante en forma sucinta y esquemática.

El anexo brinda una serie de instrumentos para ayudar a los equipos responsables de los proyectos a planificar la supervisión y la evaluación de los mismos a lo largo de todas las etapas del ciclo, y a incorporar este plan al diseño de los proyectos.

En cuanto a los responsables de la aprobación de los préstamos, el anexo proporciona un análisis de los datos que han de buscar en la documentación de los préstamos para poder realizar una evaluación.

El resultado debería ser una mayor eficiencia en la planificación de la supervisión y la evaluación en la documentación de los préstamos.

El anexo se divide en siete secciones. En la sección II se presenta un breve análisis de los procedimientos de supervisión y evaluación, y de las ventajas que reportan. En la sección III se ofrece una panorámica de los elementos que debe incluir todo el plan en esta materia y se incluye un ejemplo. Las secciones IV a VI se dedican a ayudar a los responsables del diseño a asegurarse de que los proyectos incluyan todos los elementos necesarios para poder ser evaluados en cada una de las etapas del ciclo.

II. PROCEDIMIENTOS DE SUPERVISIÓN Y EVALUACIÓN: GENERALIDADES

Desafortunadamente, en un gran número de préstamos del Banco se observan problemas relacionados con el desempeño, problemas que van desde de la dificultad de ejecutar préstamos que ya han sido aprobados hasta la activación de préstamos que siguen financiando proyectos que no están dando el resultado previsto.

Las actividades de supervisión y evaluación --si se administran como es debido y cuentan con la suficiente provisión de fondos-- pueden producir un alto rendimiento de la inversión en la medida en que mejoran el desempeño, tanto en lo que se refiere a la participación y la responsabilidad como al desarrollo. Para que sean eficaces, dichas actividades han de abarcar todo el ciclo del proyecto, desde el diseño a la terminación.

En la etapa de diseño, los proyectos deben planificarse de tal manera que puedan supervisarse y evaluarse más adelante. Desafortunadamente, son relativamente pocas las propuestas de préstamo que incluyen los elementos básicos necesarios para supervisar los progresos realizados o para poder determinar más adelante si se han alcanzado o no los objetivos. En el presente manual se analiza el concepto de incorporar un Plan de Supervisión y Evaluación al diseño de los proyectos.

En la etapa de aprobación, todos los que participan en el examen de los préstamos y la aprobación de los proyectos son responsables de velar por que los futuros procesos de evaluación beneficien a cada uno de los nuevos proyectos. En esta etapa, un análisis de evaluabilidad ayudará a confirmar si el diseño del proyecto es acertado y --sobre la base de un análisis sustentable del marco lógico-- si incorpora las enseñanzas y las prácticas óptimas aprendidas en base a la experiencia reciente y contiene criterios específicos para la supervisión y la evaluación a lo largo de todo el ciclo. Uno de los elementos del proceso de aprobación del préstamo ha de ser un estudio de la evaluabilidad del proyecto. Al respecto, se incluye en el presente manual una lista de factores que los miembros del directorio habrán de tener en cuenta a la hora de aprobar los préstamos.

La función crucial en esta etapa es asegurarse de que se activen los prestamos aprobados.

No basta con que el diseño de los proyectos sea válido: es necesario, además, ejecutarlos eficazmente. Parecería, no obstante, que muchos de los préstamos otorgados por el Banco tienen problemas en la etapa de ejecución. Cuando tanto el director del proyecto como quien lo financia utilizan como herramienta los procedimientos de supervisión y evaluación, la ejecución del proyecto puede ser más eficaz. Entre las actividades concretas de planificación cabe señalar la programación y la asignación de recursos para actividades estándar de supervisión y evaluación, así como la planificación del seguimiento. También es importante contar con un plan para hacer frente a problemas imprevistos de desempeño deficiente: condiciones, por ejemplo, para indicar que es necesario efectuar una evaluación a mitad del período de ejecución si ésta no formara parte del plan original.

La información acumulada a efectos de evaluación en la etapa de terminación del proyecto es una fuente indispensable de conocimientos para futuros proyectos. Planificar la obtención y la divulgación de las conclusiones globales es un elemento importante del ciclo continuo de proyectos y préstamos. Una evaluación eficaz --tanto la evaluación a posteriori como la evaluación del impacto del proyecto-- es una herramienta muy valiosa para ayudar a mejorar el desempeño a largo plazo.

III. UN PLAN APROPIADO DE SUPERVISIÓN Y EVALUACIÓN

Todo buen plan de supervisión y evaluación debe estar concluido antes de que finalice la etapa de diseño de un proyecto. El proceso de planificación en esta materia conlleva un escrutinio detallado de cada etapa del proyecto --diseño, iniciación, ejecución, terminación-- y un análisis detallado de las correspondientes necesidades en cada una de esas etapas.

• En la etapa de diseño, lo más importante con respecto a la supervisión y la evaluación es diseñar un proyecto que pueda ser evaluado más adelante.
• En la etapa de ejecución del proyecto, se necesitan mecanismos de seguimiento del desempeño del préstamo: que el proyecto siga siendo relevante, eficaz y eficiente.
• En la etapa final, corresponde a las funciones de supervisión y evaluación la medición y la valoración de los resultados del proyecto, su impacto y la extracción de conclusiones que sirvan de experiencia en el futuro.

En la sección 4 se analiza cómo diseñar un proyecto que pueda evaluarse. En la sección 5 se describe paso a paso la función que desempeñan la supervisión y la evaluación en cada etapa de desarrollo de un proyecto. Estas secciones le brindarán al lector las herramientas y las listas de verificación necesarias para completar un análisis detallado.

Una planificación detallada ha de materializarse en un plan conciso que cumpla los cinco requisitos estándar de las actividades de supervisión y evaluación:

1. Controles a tener en cuenta

Todo plan eficaz incluye controles estándar y especiales que abarcan toda la vida del proyecto. El tipo de controles que utiliza el BID son:

• Diseño -- Estudios de referencia; análisis del marco lógico e incorporación de la experiencia adquirida.
• Iniciación -- Seguimiento de los retrasos en la iniciación; conclusión de la base de datos de referencia conforme a lo previsto.
• Ejecución -- Informes semestrales sobre la marcha de los proyectos; informes de alerta anticipada; evaluaciones a mitad de período.
• Terminación -- Informes de terminación de proyectos; evaluaciones a posteriori, y evaluaciones del impacto de los proyectos.

2. Funciones y responsabilidades con respecto a la supervisión y la evaluación

Para ayudar al país a que se responsabilice de un préstamo, en el plan de supervisión y evaluación deberá indicarse a quién competen estas dos funciones. Esta responsabilidad puede variar de un país a otro, pero siempre debe estipularse la función que habrán de desempeñar una amplia gama de agentes: miembros de los equipos encargados del proyecto, recursos externos y otras partes interesadas en el proyecto.

3. Asignación de recursos para las actividades de supervisión y evaluación

Para garantizar que las actividades de supervisión se lleven a cabo conforme a lo previsto, es necesario asignar recursos a dichas actividades como un gasto más del proyecto en el diseño inicial. El costo de la supervisión y la evaluación a lo largo de todo el ciclo incluye los honorarios, los gastos y el tiempo de los participantes.

EVO puede proponer una gama de gastos aceptables --o también pueden hacerlo los responsables de la planificación-- basándose en:

• el promedio histórico observado en proyectos de ese tipo, o
• en un presupuesto real para el proyecto, que incluya un análisis de los días/persona necesarios.

No es fácil generalizar qué volumen de recursos requieren las actividades de supervisión y evaluación como porcentaje del presupuesto del proyecto, ya que ello depende en gran medida del sector afectado, del ámbito geográfico del proyecto, de su complejidad, etc. Las evaluaciones de mitad de período suelen ser eficaces desde el punto de vista de los costos, ya que brindan la oportunidad de reorientar el proyecto y de hacer las correcciones necesarias a mitad de camino. En el diseño de los proyectos deben asignarse, como mínimo, recursos suficientes para una evaluación a mitad de período. Como orientación, puede decirse que una evaluación de esta naturaleza requiere aproximadamente cien días/persona en tiempo de trabajo de consultores.

4. Presentación de informes

Es importante no sólo recopilar información sobre las actividades de supervisión y evaluación, sino también transmitirla a los grupos pertinentes. ¿Quién recibe este tipo de información? ¿Cuándo? ¿Qué hacen con la información que reciben? Los informes que se presenten sobre estas actividades deben ajustarse a los formatos estándar de declaración del BID y de EVO.

Con respecto a la supervisión y la evaluación existen informes estándar e informes sobre situaciones especiales. En el plan de actividades deben indicarse el momento y la distribución de los informes estándar, así como las condiciones en que será necesario presentar algún tipo especial de informe de supervisión.

5. Medidas correctivas

La validez de las actividades de supervisión y evaluación está en función de la información que generen y de las medidas que fomenten. Los proyectos necesitan mecanismos que permitan corregirlos y ajustarlos para mantener los niveles de desempeño. En el plan de supervisión y evaluación debe indicarse el seguimiento que se hará del proyecto en base a la información que se aporten las actividades de supervisión.

El plan de supervisión y evaluación ha de formar parte del diseño del proyecto y debe presentarse en la documentación del préstamo. También debe ser lo suficientemente detallado y presentarse de tal forma que al Directorio le resulte fácil entenderlo y evaluarlo. Se presenta, a continuación un plan modelo de supervisión y evaluación, en forma narrativa, con los elementos que deben incluirse en una propuesta de préstamo.

1. Estudios para recabar datos de referencia

Los estudios disponibles son una encuesta sobre nutrición, un estudio del BID sobre la pobreza y un análisis del inventario escolar. El estudio sobre la pobreza se actualizará incluyendo la región de Parador, de Qualiquó, que antes se había omitido. A tal efecto, el organismo de ejecución contratará los servicios pertinentes a un costo de US$50.000 que se financiarán con cargo al préstamo y se declararán en el primer informe semestral sobre la marcha del proyecto.

2. Experiencia adquirida

El diseño del proyecto responde a una importante lección extraída de anteriores proyectos educativos realizados en Qualiquo: no es posible aumentar los niveles de equidad sin incorporar la enseñanza privada, que representa alrededor del 20% de la educación que reciben los niños de bajos ingresos.

3. Informes semestrales sobre la ejecución del proyecto

El organismo de ejecución informará sobre los desembolsos realizados hasta la fecha y durante el período en el marco del proyecto, y presentará semestralmente las proyecciones correspondientes al ejercicio fiscal.

4. Informes alertivos

Los únicos planes por el momento se refieren a la obligación del Ministerio de Educación de informar al BID un año después de la fecha de aprobación del préstamo si no se hubiera iniciado aún la ejecución del proyecto. En este informe, se incluiría un análisis completo de los motivos del retraso y se recomendarían las medidas oportunas.

5. Informe de evaluación de la cartera (ISDP)

El Banco presentará todos los años un informe para evaluar cómo se está llevando a cabo la ejecución de los proyectos, centrado en la consecución de los objetivos, conforme a lo establecido en el marco lógico de cada operación. Los informes proporcionarán información sobre la cantidad y la naturaleza de las asignaciones presupuestarias anuales para gastos ordinarios y de inversión, incluida la obligación del prestatario de asignar recursos al mantenimiento preventivo de las escuelas rehabilitadas.

6. Evaluación intermedia

Está prevista una evaluación intermedia una vez transcurridos aproximadamente dos años desde la iniciación del proyecto. En dicha evaluación se determinará el desempeño del proyecto en el contexto nacional y se examinarán los supuestos en que se basa. En concreto, el prestatario se compromete a lograr los resultados convenidos y a atenerse a las metas establecidas en materia de gasto en educación. Estos extremos deben revisarse a mitad de período para ajustar el correspondiente programa de resultados a la situación imperante en ese momento. Varios factores pueden obligar a que se modifique el proyecto:

• los resultados y la situación del fondo de US$3 millones para participación comunitaria en las actividades educativas;
• la evidencia de que el prestatario haya creado un Fondo Editorial para obtener ingresos de la venta del programa de estudios en que se basarán las futuras revisiones del programa; y
• el grado de avance, por parte de las autoridades, en la redacción de las leyes de participación colegiada en las actividades educativas.

El organismo de ejecución se ocupará de la contratación de los servicios oportunos; el Ministerio y el BID se encargarán conjuntamente de preparar los términos de referencia, y la evaluación la efectuará un auditor externo (a tal efecto, se ha asignado US$100.000). El BID recibirá el informe con la evaluación y, junto con el organismo de ejecución, acordará los planes de acción necesarios para mejorar el desempeño del proyecto en función de las conclusiones de la evaluación.

El organismo de ejecución presentará al BID este informe dentro de los 90 días a partir del desembolso final.

8. Evaluación a posteriori (optativo)

El prestatario puede encargar una evaluación a posteriori dentro de los seis meses siguientes a la terminación del proyecto. En el marco de dicha evaluación se determinará la eficacia del proyecto con respecto a los indicadores del marco lógico y al estudio de referencia, se proyectará la eficiencia teniendo en cuenta si se han respetado o no las proyecciones de los gastos y analizando el proceso de ejecución, y se examinará la experiencia acumulada, tanto en los aspectos operativos como de desarrollo, que el gobierno y el Banco utilizarán como referencia en el futuro en proyectos de educación para grupos de bajo ingreso. La evaluación será realizada por auditores externos, que remitirán el oportuno informe al Banco. Del monto total del préstamo se ha consignado US$150.000 para esta actividad.

9. Evaluación del impacto

Si bien no existen de momento planes específicos, el proyecto se ajusta al objetivo prioritario del Banco de reducir la pobreza en este país, y se recomienda su inclusión en futuras evaluaciones que realice la institución sobre el impacto de las intervenciones encaminadas a reducir la pobreza en Qualiquo.

Las necesidades en esta materia a lo largo del ciclo del proyecto pueden esquematizarse como se indica en el Cuadro 3.

En el diseño del proyecto debe incluirse la recopilación de los datos de referencia que pueden constituir un punto de partida para medir las variaciones que se producen a lo largo de todo el ciclo. Suele ocurrir que, cuando se evalúan los proyectos, resulta difícil, imposible o muy costoso obtener los datos adecuados. Gran parte del problema puede resolverse prestando una cuidadosa atención en la etapa de preparación. Con frecuencia se realizan estudios de referencia antes de redactar la propuesta de un proyecto, pero de no ser así, puede recopilarse este tipo de datos en el contexto de las actividades iniciales del proyecto.

Los indicadores que se identifican en el marco lógico determinan el tipo de información que el usuario necesita. A menos que ya existan, quizá hay que recopilar datos de referencia al menos con respecto a algunos de los indicadores clave identificados en el marco lógico del proyecto. En el plan de supervisión y evaluación debe indicarse qué datos se necesitan y cómo se obtendrán o actualizarán. También debe indicarse la situación de los datos en cada indicador.

Indicadores de referencia

Al preparar los indicadores, suelen utilizarse puntos de referencia para medir los resultados del proyecto. Dichos puntos son metas que el interesado trata de conseguir y pueden ser "comparativos" o "absolutos".

Un indicador de referencia comparativo suele ser una práctica óptima o estándar que ya se ha logrado en la industria o el sector pertinente. Como ejemplo de este tipo de indicadores, cabe señalar:

• La proporción alumnos:profesor en las escuelas primarias que ocupan los primeros puestos en la clasificación es de 15:1.
• Los ferrocarriles más seguros de América del Norte invierten US$0,82 por cada dólar que ingresan.

Un indicador de referencia absoluto se basa normalmente en datos estadísticos científicos o en una norma profesional. Veamos algunos ejemplos:

• La proporción aceptable en millonésimas de una toxina en el agua potable (norma científica)
• Todos los profesores deben ser titulados (norma profesional)

Figura 1

1. ¿Qué datos se requieren para los indicadores en el marco lógico?
2. ¿Qué datos hay disponibles ahora?
3. ¿Deben recopilarse más datos de referencia antes de la ejecución del proyecto?
4. ¿Serán necesarios los datos correspondientes a esos indicadores para las actividades de supervisión del proyecto? ¿Para las evaluaciones a la terminación del proyecto y/o para evaluar su impacto? ¿Debemos crear una base de datos?
5. ¿Cuál es el error estándar (tolerancia) de medición? ¿Cuál ha de ser el tamaño de la muestra para obtener estimaciones con ese nivel de tolerancia?
6. ¿Cuáles son las formas más eficientes de recopilar los datos? ¿Se puede recurrir a expertos locales?
7. ¿Cuánto costaría recopilar los datos relativos al tamaño del proyecto y a los recursos disponibles?
8. ¿Depende la viabilidad económica del proyecto de los datos de referencia?
   

Los retrasos prolongados en la iniciación de los proyectos son un indicador bastante exacto de que habrá problemas en el futuro. Los retrasos pueden tener su origen en muchos factores: problemas políticos, ambientales, falta de compromiso por parte de los interesados o mala gestión. Ya se trate de problemas que estén bajo el control de los responsables del proyecto u obedezcan a circunstancias externas, pueden representar una grave amenaza para el éxito del proyecto y el desempeño del préstamo. Todo buen plan de supervisión y evaluación debe incluir un mecanismo para señalar los retrasos en la iniciación que no sean razonables.

Algunas interrogantes que deben plantearse con respecto a la iniciación son los siguientes:

1. ¿Cuál es la fecha prevista de aprobación del préstamo?
2. ¿Cuál sería el plazo razonable para la iniciación del proyecto? ¿Es una expectativa realista, habida cuenta del historial? ¿Depende la iniciación de la estación del año?
3. ¿Qué medidas deben adoptarse para que el proyecto siga en marcha o se cancele? ¿Quién tomará esa decisión?
4. Si es preciso realizar algunos ajustes para que el proyecto siga adelante, ¿qué condiciones se impondrán al respecto (por ejemplo, ¿Será necesario revisar los indicadores? ¿Harán falta nuevos datos de referencia? ¿Cuánto tiempo se permitirá que tarde el proyecto en cumplir las condiciones?
   

Los resultados del proyecto pueden mejorarse empleando sistemas para supervisar la marcha de las actividades y realizar las correcciones oportunas. En el gráfico que presentamos a continuación se indica la relación que guardan los diversos informes con las actividades del proyecto: Los informes sobre la marcha del proyecto se programan a intervalos concretos; los informes de terminación coinciden con los resultados; las evaluaciones de mitad de período se programan para el siguiente punto medio del proyecto; el informe de terminación está programado para 90 días después del final del proyecto; las evaluaciones a posteriori se realizan en un plazo de un año a partir de la fecha de terminación del proyecto.

El primer informe semestral sobre el avance del proyecto se programa normalmente para que se realice a los seis meses de la habilitación del primer desembolso.

Algunas Interrogantes que deben plantearse son las siguientes:

1. ¿Se han programado los informes?
2. ¿Quién se encargará de realizarlos? ¿Quiénes participarán?
3. ¿Cuánto tiempo se tardará en concluirlos?
4. ¿Quién los recibirá?
5. ¿Qué actividades de seguimiento haba que realizar? ¿Quién se encargará de estas actividades?

Los informes de logro deben coincidir con la terminación de cada uno de los componentes o resultados del proyecto.

Los informes alertivos deben prepararse cuando el Gerente del Proyecto estima que los componentes o resultados no se producirán a tiempo, que la calidad de los mismos no estará a la altura de las circunstancias o que es improbable que los componentes resulten en el logro del propósito para el que estaban previstos.

Algunas Interrogantes que deben plantearse con respecto a los informes de obtención de resultados son:

1. ¿Quién se encargará de esta tarea? ¿Quiénes participarán?
2. ¿Cuánto tiempo se tardará en concluir el informe?
3. ¿Quién lo recibirá?
4. ¿Qué actividades de seguimiento habrá que realizar? ¿Quién se encargará de estas actividades?
   

En el diseño del proyecto debe incluirse una evaluación de medio término. En general, este tipo de evaluaciones son eficaces en función del costo, ya que brindan la oportunidad de reorientar la trayectoria de un proyecto y realizar las oportunas correcciones a mitad de la ejecución.

Si al diseñar el proyecto no se incluyó una evaluación de este tipo, recomendamos considerar los factores siguientes a la hora de planificar las actividades de supervisión y evaluación:

• El tiempo transcurrido entre la aprobación del préstamo y la elegibilidad del proyecto (por ejemplo, si se produce un retraso de más de un año, quizá sea necesario realizar una evaluación intermedia para reconsiderar y confirmar la validez del diseño).
• Desviaciones en la ejecución (por ejemplo, si los desembolsos se sitúan en un nivel inferior al 50% de la meta en cualquiera de los componentes, puede recurrirse a una de estas evaluaciones para determinar la causa y realizar las correcciones).
• Retrasos en la presentación de los informes ordinarios (por ejemplo, si no llegan los informes, quizá sea necesaria una evaluación intermedia para diagnosticar el problema y encontrar una posible solución).
• Situación polémica (por ejemplo, las protestas de la ciudadanía contra los efectos sobre el medio ambiente o contra la corrupción pueden investigarse con ayuda de una evaluación intermedia).
• Problemas de auditoría -- (por ejemplo, inquietud ante los informes presentados por los auditores).

A largo plazo, el beneficio más importante que aportan las actividades de supervisión y evaluación son los conocimientos que generan para el futuro. Un buen marco lógico debe reflejar la experiencia acumulada y las prácticas óptimas aprendidas en proyectos anteriores. Estos conocimientos tienen su origen en las actividades de supervisión y evaluación que se realizan en la etapa de terminación del proyecto.

En el plan de supervisión y evaluación deberá indicarse cómo se "destilará" y se transmitirá la experiencia adquirida para documentar otros proyectos en el futuro.

Algunas Interrogantes que deben plantearse con respecto al Informe de Terminación del Proyecto (PCR) son:

1. ¿Cuándo se preparará el informe?
2. ¿Quién se encargará de esta tarea? ¿Quiénes participarán?
3. ¿Cuánto tiempo se tardará en concluir el informe?
4. ¿Quién lo recibirá?
5. ¿Quién se encargará de divulgar los resultados del informe?
6. ¿Quién se encargará de velar por que el informe se prepare y se reciba?

Algunas interrogantes que deben plantearse con respecto a la evaluación ex-post son:

1. ¿Quién la realizará?
2. ¿Qué presupuesto habrá que asignar a tal efecto?
3. ¿Quién se encargará de gestionar el contrato?
4. ¿Quién recibirá el informe de la evaluación?
5. ¿Quién se encargará de divulgar los resultados del informe?
   

VII. CONCLUSIÓN

La utilización de los procedimientos de supervisión y evaluación para mejorar el desempeño de los proyectos es una labor mancomunada que afecta a todas las partes interesadas en todas las etapas del ciclo del proyecto. Los prestatarios y los funcionarios del Banco deben colaborar unos con otros para que la contribución de cada una de las partes sea una fuente de información para las demás y facilite la consecución de los objetivos de desarrollo que persigue el Banco. La evaluación es una herramienta muy útil si se utiliza como es debido. La Oficina de Evaluación se complace en ayudar en este proceso siempre que se lo soliciten.

[TOPE]