EVO - Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos (Marco Lógico)-3/97

III
LA EVALUACIÓN Y LA EJECUCIÓN DE PROYECTOS

Con frecuencia sucede que los encargados del seguimiento y control de proyectos se ven obligados a trabajar con mucha más información que la realmente necesaria para tomar decisiones claves, mientras al mismo tiempo carecen de la información crítica que realmente requerirían para tomarlas. Una cuidadosa selección de indicadores y la eficaz organización del monitoreo puede revertir esta situación fácilmente. En este capítulo se presentan las ventajas del monitoreo y los pasos necesarios para llevarlo a cabo.

A. ¿QUÉ ES EL MONITOREO? El monitoreo es el procedimiento mediante el cual verificamos la eficiencia y eficacia de la ejecución de un proyecto mediante la identificación de sus logros y debilidades y en consecuencia, recomendamos medidas correctivas para optimizar los resultados esperados del proyecto. B. LA FUNCIÓN DE LA REPRESENTACIÓN DEL BANCO La Representación es responsable del monitoreo continuo de los proyectos y tiene la función primariade identificar problemas de desempeño y de trabajar con los ejecutores para solucionarlos satisfactoriamente. Un monitoreo eficaz le permite al Banco y al prestatario actuar antes de que los problemas se compliquen demasiado, para poder así resolverlos de manera efectiva. La Representación se encarga de este proceso de monitoreo y de elevar informes a la administración del Banco sobre los acontecimientos importantes del proyecto. C. BENEFICIOS DEL MONITOREO El monitoreo de proyectos genera los siguientes beneficios:
  • identifica fallas en el diseño y el plan de ejecución;
  • establece si el proyecto se está realizando conforme al plan;
  • examina continuamente los supuestos del proyecto, determinando así el riesgo de no cumplir con objetivos;
  • determina la probabilidad de que se produzcan los componentes o productos en la forma planificada;
  • verifica si los Componentes resultarán en el logro del Propósito;
  • identifica problemas recurrentes que necesitan atención;
  • recomienda cambios al plan de ejecución del proyecto;
  • ayuda a identificar soluciones a problemas; y
  • establece vínculos entre el desempeño de las operaciones en marcha y la futura asistencia del Banco al país.

Cuadro No. 9
EL PROCESO DE MONITOREO

  • Familiarizarse con el proyecto
  • Determinar los requisitos de información
  • Estabelecer un sistema de información gerencial
  • Presentar informes a la Administración del Banco y al organismo de contraparte.
  • Intervenir para mejorar el desempeño del proyecto.

 

D. PASOS REQUERIDOS PARA EL MONITOREO EXITOSO DE UN PROYECTO La función de monitoreo de la Representación, en coordinación con el gerente de contraparte del proyecto, es la clave para mejorar el desempeño de un proyecto. Los cinco pasos para realizar un monitoreo satisfactorio, delineados en el Cuadro 9, ayudan a asegurar un seguimiento eficaz y exitoso del proyecto. Aunque ya se están aplicando algunos de estos procedimientos, es útil volver a examinarlos para los fines de esta guía.

1. Familiarizarse con el proyecto

Si el monitor del proyecto (profesional asignado de la Representación) no está familiarizado con el mismo, debe comenzar por conocer su contexto e historia. Para ello, el monitor debe:

  • examinar los documentos del proyecto, incluyendo el marco lógico y los informes disponibles;
  • entrevistar a los equipos/profesionales encargados del diseño y la administración del proyecto; y
  • visitar el sitio del proyecto y entrevistar al personal del organismo ejecutor.
 

2. Determinar los requisitos de información de los involucrados

Es importante proporcionar la información correcta a los involucrados en el momento oportuno para asegurar que el monitoreo ayude a mejorar el desempeño del proyecto. Las personas que hacen tareas de monitoreo deben:

  • identificar a los involucrados primarios y secundarios del monitoreo;
  • aclarar, con el administrador de contraparte del proyecto y el supervisor correspondiente del Banco (o jefe del equipo del proyecto), quiénes deben recibir los informes de monitoreo y quiénes copias de éstos (si ésto se hace al principio, más tarde se evitarán dificultades de protocolo);
  • establecer, con el jefe del equipo del proyecto, la frecuencia de presentación de los informes formales; y
  • determinar, con el administrador de contraparte del proyecto, si los involucrados en el monitoreo tienen problemas o inquietudes que se deben incorporar.
 

3. Establecer un sistema de información gerencial (SIG)

Las necesidades de información sobre monitoreo se deben usar para estructurar un sistema de información gerencial (SIG) para el proyecto. Este proceso se simplificará si ya se ha preparado un marco lógico para el proyecto. Para que un SIG sea eficaz, la información recopilada debe:

  • ser importante, en el sentido de que sea la información correcta;
  • ser oportuna, en el sentido de que esté disponible en el momento en el que se necesita;
  • ser de bajo costo de obtención;
  • responder a cuestiones estratégicas del proyecto; y
  • contribuir a perfeccionar las actividades de monitoreo, evaluación y de producción de informes especiales.
Los pasos para conceptualizar un plan de SIG son:
  • identificar a los usuarios de la información;
  • aclarar las necesidades de los usuarios;
  • identificar los tipos de información prioritaria;
  • vincular las necesidades y fuentes de información (o sea, determinar qué datos existentes se pueden usar y cuáles se deberán generar especialmente);
  • establecer métodos apropiados para efectuar la recopilación de datos para satisfacer las necesidades de información del proyecto;
  • identificar funciones y responsabilidades de los diversos responsables e interesados en la información;
  • identificar los requisitos y formatos de los informes;
  • identificar los recursos (humanos, financieros, tecnológicos) requeridos para hacer que el sistema de monitoreo sea confiable y creíble; y
  • establecer procedimientos para el intercambio de información.
 

4. Informes para los involucrados/interesados en monitoreo

Los informes de monitoreo pueden ser formales o informales. La mayoría de los procedimientos a seguir para la presentación de informes ya existen en el Banco, y un buen monitor sabe que cuanto más pronto se puedan identificar y comunicar los problemas (incluso de manera informal), más fácil será resolverlos. Sin embargo, consideramos que la lista de verificación qe aparece más abajo puede ser útil para un responsable de monitoreo.

En general, los datos a recopilar para el monitoreo de un proyecto deben contribuir a responder a las siguientes preguntas:

  • Las actividades, o insumos, del proyecto (desembolsos, fondos de contrapartida, cofinanciamiento, gerencia del proyecto, personal del proyecto, bienes y servicios)¿se están llevando a cabo en forma oportuna y eficaz en relación a sus costos?
  • ¿Hasta qué punto siguen siendo válidos la justificación y los supuestos del proyecto, o se están transformando en riesgos que pueden afectar el progreso e impacto de desarrollo del proyecto?
  • Los componentes, o productos, del proyecto (bienes, servicios, acciones de capacitación, medidas de política) ¿se están logrando tal como fueron planificados en cuanto a cantidad, calidad, tiempo y costo?
  • ¿Hasta qué punto está cumpliendo el prestatario con las cláusulas del contrato?
  • ¿Hasta qué punto es probable que el proyecto alcance sus objetivos de desarrollo en función de la continua validez de su justificación y la verificación del cumplimiento de los supuestos?
Para su Informe Anual sobre la Administración de la Cartera, el Banco ha desarrollado un nuevo formulario para la evaluación operativa de desempeño del proyecto, en el que se resume el estado de estos asuntos, tal como se muestra en el Cuadro 10.

 

Cuadro No. 10
INFORME DE SEGUIMIENTO DEL DESEMPEÑO DEL PROYECTO (ISDP)
I. DATOS BASICOS (Montos en millones de US$)
País:
Prestatario:
Agencia Ejecutora:
Sector:
Titulo del Proyecto:

Número del Proyecto:
Número de Préstamo(s):

Fecha Aprobación por Directorio:
Fecha de Contrato:
Fecha de Elegibilidad:
Fecha de Ultimo Desembolso:
Especialista Sectorial:

Fecha de Actualización del Informe:

Personal Encargado en la Sede:

Fecha de Ultima Revisión por Representante.

Años en Ejecución:

Extensión Acumulada de Fecha de Ultimo Desembolso (en meses):

Cancelación(es): Fecha Monto

Monto(s) Original del Préstamo(s):
Monto Actual:
Desembolsos:
% Desembolsos:
Costo Original:
Costo Actual:
Modalidad de Préstamo:
[] Inversión
[] Por Etapas
[] Sectorial
[] CT
[] Híbrido
[] Otros
Préstamos Sectoriales - Montos
Primer Tramo:
Segundo Tramo:
Tercer Tramo:
Fechas de Desembolso - Programada Actual Cofinancimiento

Fuente(s):
Contraparte:

Monto
II. OBJETIVOS(S)/PROPOSITO(S) DE DESARROLLO DEL PROYECTO E INDICADORES CLAVES DE DESEMPEÑO

Los objetivo(s) de desarrollo/proposito(s) del proyecto deben describir los resultados o impacto específicos que se esperan alcanzar a través de los componentes del proyecto. El número de indicadores de desempeño debería ser reducido y su medición fácilmente realizable. Debe existir acuerdo con el prestatario/agencia ejecutora respecto a los objetivo(s) e indicadores de desempeño.

Objetivo(s) de Desarrollo del Proyecto:
1.
2.
3.
Indicadores Claves de Desempeño:
1.
2.
3.
Han cambiado los objetivo(s) de desarrollo del proyecto después de su aprobación por el Directorio?

Se han acordado con el prestatario/agencia ejecutora los objectivo(s) de desarrollo del proyecto y los indicadores?

Han cambiado los objetivo(s) de desarrollo del proyecto y los indicadores desde el último informe?

Ha sido el proyecto oficialmente reestructurado?

Está el prestatario manteniendo información sobre los indicadores de desempeño?

[] si

 

[] si

 

[] si

[] si

[] si

[] no

 

[] no

 

[] no

[] no

[] no

 

 

 

 

Fecha:

III. PROGRESO EN LA EJECUCION DEL PROYECTO

La implementación de los componentes del proyecto se relaciona directamente al logro de los objetivo(s)/propósito(s) de desarrollo del proyecto. Al clasificar el progreso en la ejecución, por favor considere el progreso físico y la calidad de los componentes, así como los indicadores de desempeño identificados para su realización.

Componentes/ Productos Indicadores Claves de Desempeño de Progreso Clasificación
1.
2.
3.
4.
5.
6.
  MS S IN MI
Clasificación Resumen del Progreso en la Ejecución (PE):

[] Muy Satisfactorio(MS) [] Satisfactorio (S) [] Insatisfactorio (IN) [] Muy Insatisfactorio (MI)

Marque las razones principales para las clasificaciones muy insatisfactorio o insatisfactorio:
[] Aprobación legislativa
[] Compromiso prestatario
[] Escasez de fondos de contrapartida
[] Gobierno Central
[] Estatal/Provincial/Local
[] Capacidad institucional agencia ejecutora
[] Oposición política/Comunidad
[] Personal agencia ejecutora
[] Desempeño Consultores
[] Coordinación inter-agencias
[] Desempeño Proveedor/contratista
[] Diseño proyecto/componentes
[] Cumplimiento condiciones contractuales
[] Eficiencia Banco
[] Dificultades en adquisiciones
[] Problemas Medio ambiente
[] Sobre costos
Indentifique causas, otras razones o comentarios adicionales:

 

 

IV. SUPUESTOS CLAVES

El logro de los objetivos de desarrollo del proyecto y la entrega de los componentes depende, frecuentemente, de supuestos que se encuentran fuera del control del administrador del proyecto. Al evaluar si tales supuestos serán cumplidos, se requiere tomar en consideración tanto calidad como oportunidad. Identifique e informe sólo aquellos supuestos que puedan tener un impacto en el logro de los objetivos de desarrollo/entrega de componentes. Estos supuestos pueden ser implícitos o explícitos. (Un ejemplo de un supuesto implícito podría ser que la autoridad reguladora permita ajustes oportunos de tarifas por parte de una empresa pública). Cuando informe sobre supuestos claves, por favor tome en cuenta el cumplimiento de aquellas condiciones contractuales que son de particular importancia para el proyecto y que podrían haber sido formuladas para incrementar la probabilidad que un supuesto se cumpla. La clasificación resumen se refiere a la probabilidad que los supuestos ocurran y permitan alcanzar los objetivos del proyecto.

Supuestos Evaluación de la Probabilidad de Ocurrencia
Alta Baja
Supuestos Relacionados a los Objetivos de Desarrollo
1.
2.
3.
4.
5.
6.
   
Supuestos Relativos a la Implementación de Componentes
1.
2.
3.
4.
5.
6.
   
Enumere los factores principales sobre los que se basa la clasificación:

 

Clasificación Resumen de Supuestos: [] Alta [] Baja
V. LOGRO DE LOS OBJETIVOS DE DESARROLLO

Para clasificar la probabilidad del logro de los objetivos(s) de desarrollo, tome en consideración los objetivo(s) de desarrollo del proyecto, los indicadores de desempeño, entregada de componentes, y supuestos claves.

Enumere los factores principales sobre los cuales se basa la clasificación de objetivo(s) de desarrollo:
Evaluación de Logro de Objetivo(s) de Desarrollo (OD): [] Muy Probable (MP)
[] Probable (P)
[] Dudoso (DU)
[] Improbable (I)
VI. RESUMEN DEL ESTADO DEL PROYECTO, PROBLEMAS Y ACCIONES
Estado del proyecto:

 

Identifique los problemas principales que afectan la ejecución del proyecto y/o el logro de los objetivos de desarrollo:
1.
2.
3.
4.
5.
6.
Identifique las acciones que se requieren para enfrentar los principales problemas: quien es básicamente responsable por llevar a cabo la(s) acción(es) (Banco, agencia ejecutora, etc.) si existe o no acuerdo con el prestatario/agencia ejecutora sobre la(s) acción(es) a adoptarse, y cual es el calendario para su adopción (fechas de adopción de la(s) acción(es)):
1.
2.
3.
4.
5.
6.
 

Aunque el formato puede cambiar con el tiempo, el ISDP está diseñado para seguir el estado de las actividades/componentes, cláusulas sobre el cumplimiento por el prestatario, supuestos/riesgos, y la probabilidad de que se alcancen los objetivos de desempeño. Independientemente del formato, es importante que la información sea:

  • oportuna;
  • lo más sucinta posible y que transmita la información esencial a sus usuarios;
  • de calidad técnica adecuada en cuanto a contenido, presentación, credibilidad y orientación para la acción.
 

5. Intervenciones de monitoreo para mejorar el desempeño de los proyectos

Hasta ahora hemos mencionado dos actores en el monitoreo de los proyectos: el Administrador de contraparte del proyecto y la Representación. Sin embargo, puede haber casos en los que, además de estos actores, se requiera asistencia especializada para efectuar el monitoreo. El cuadro siguiente muestra algunos ejemplos de dichos casos. Los mismos dejan claro que las personas que hacen el monitoreo no son simplemente recopiladores y comunicadores pasivos de información. Deben además decidir cuando es necesario contar con especialistas en evaluación que puedan respaldar sus acciones de monitoreo. Estos servicios especializados se proporcionan, ya sea directa o indirectamente, por medio de las funciones consultivas de EVO, que puede así aportar su experiencia y conocimiento a la administración del Banco. En otras ocasiones, EVO puede programar, a solicitud, actividades especiales de monitoreo para contribuir a la administración de proyectos a través de informes especiales de monitoreo (menos formales) o evaluaciones operativas o de ejecución (más formales).

Independientemente de la modalidad de evaluación adoptada, lo fundamental (tratándose de proyectos en ejecución) es que los evaluadores y los agentes de monitoreo conviertan, al corto plazo, sus recomendaciones en acciones apropiadas.

Cuadro No. 11
Comportamientos Detectados por los Agentes del Monitoreo Acciones de Monitoreo
1. No hay ninguna desviación notable respecto de los planes trazados. 1. Esto confirma las acciones de ejecución del proyecto, por lo que no cabe acción alguna.
2. Desviaciones de calendarios para el suministro de insumos y/o generación de componentes debido a dificultades con la ejecución. 2. El agente de monitoreo debe determinar los efectos de los retrasos y sus causas probables; verificar si hay que hacer cambios en la ejecución del proyecto y qué tipos de cambios recomendar.
3. Evidencia de problemas emergentes de la administración/ gestión del proyecto. 3. El agente de monitoreo debe determinar la gravedad de los problemas y analizar y entender sus causas probables; proponer soluciones que se basen en una estrategia de intervenciones de gestión progresivas de manera que se consideren niveles jerárquicos de intervención más bajos antes de apelar a los más altos; finalmente debe planificar los ajustes y modificaciones necesarios. Debe también, considerar la conveniencia de efectuar una evaluación intermedia o de ejecución.
4. Desviaciones considerables respecto de los calendarios para el suministro de insumos y/o la generación de componentes debido a un diseño inadecuado del proyecto. 4. El agente de monitoreo debe determinar si el diseño puede ser revisado adecuadamente de manera que todavía se pueda alcanzar el propósito del proyecto (si es válido), o recomendar que se cancele el proyecto. Debe también considerar la necesidad de ejecutar una evaluación de ejecución y monitoreo.
5. Costos que sobrepasan significativamente los estimados de diseño.  5. El agente de monitoreo debe definir las causas y efectos para determinar cursos de acción y recomendar medidas tales como auditorías, cambios considerables del diseño y/o gestión del proyecto, o bien su cancelación.
6. Bajo desempeño de insumos y productos, pero sin causas claras. 6. Recomendar y/o hacer una evaluación intermedia o de ejecución. 
 

De los diversos instrumentos que pueden ser usados para identificar y resolver problemas de desempeño de ejecución de los proyectos, dos procedimientos de evaluación formal (mencionados en la tabla) son particularmente útiles:

a. Evaluación de monitoreo

Este instrumento permite analizar posibles problemas de diseño. Se trata de lograr que los involucrados en el proyecto participen en un taller intensivo para examinar y reformular el diseño del proyecto. El marco lógico, acompañado de las técnicas de análisis de involucrados, árbol de problemas, selección de estrategias y diseños específicos es la herramienta principal para volver a analizar la problemática, los involucrados, los objetivos del proyecto y sus datos del año base, indicadores y supuestos. Asimismo, también es evidente que en este ejercicio deben participar especialistas en análisis económico, financiero y técnico.

Descubierto un serio problema de diseño, cuanto más pronto se efectúe esta evaluación, mejor, ya que no se desperdician tiempo y recursos tratando de ejecutar un diseño deficiente.

b. Evaluación intermedia

La evaluación intermedia se puede hacer en cualquier momento durante la ejecución del proyecto. Suele usarse para analizar más a fondo los problemas de ejecución, o para ayudar a tomar decisiones sobre la programación del proyecto. En el Capítulo VI se describen los requisitos y métodos que se incorporan en estas evaluaciones. El marco de trabajo utilizado para las evaluaciones operativas es importante y se presenta en el Capítulo V. Los asuntos examinados en una evaluación intermedia dependen de las razones para efectuar dicha evaluación, pero suelen seguir en un esquema genérico. En el Cuadro 12 se muestra el esquema de un informe para una evaluación intermedia.

Cuadro No. 12: Esquema de Informe - Evaluación Intermedia o de Ejecución

 

Indice/Resumen

1.0 Introducción

1.1 Antecedentes
    • Propósito de la Evaluación 
    • Involucrados Principales 
1.2 Descripción del Proyecto
    • Resumen del Marco Lógico 
    • Estado General (fecha de inicio, terminación) 
1.3 Metodología de Evaluación 1.3.1 Diseño/Enfoque General
1.3.2 Fuentes de Datos
1.3.3 Instrumentos
1.3.4 Equipo de Evaluación
1.3.5 Factores Limitantes 
1.4 Organización del Informe
2.0 Justificación del proyecto 2.1 Introducción
2.2 Cambios en el Contexto del Proyecto y Examen de Supuestos
2.3 Validez de la lógica del proyecto
2.4 Pertinencia continua del proyecto
2.5 Repercusiones de continuar el proyecto con o sin reformulación
3.0 Eficiencia 3.1 Introducción

3.2 Administración de las Actividades al proyecto

3.2.1 Normas y control de calidad
3.2.2 Costos y control de costos 
    • costos de administración 
    • costos de otras actividades 
3.3 Informes sobre:
    • finanzas del proyecto 
    • programación y entrega de actividades 
    • consecución de los componentes del proyecto 
    • problemas y riesgos del proyecto 
3.4 Problemas en la Ejecución del Proyecto
    • identificación 
    • análisis y soluciones propuestas 
3.5 Conclusiones y recomendaciones 4.0 Eficacia 4.1 Logro de los Componentes del Proyecto 4.1.1 Planificados y reales hasta la fecha
4.1.2 Repercusiones de deficiencias encontradas 
4.2 Componentes, Efectos y Propósito del Proyecto 4.2.1 Efectos planificados y su contribución al propósito
4.2.2 Efectos no planificados y su congruencia con el propósito y las prioridades del prestatario/BID. 
4.3 Conclusiones y Recomendaciones
 

5.0 Conclusión

5.1 Introducción

5.2 Continuidad de la justificación del proyecto

5.3 Medidas para mejorar el desempeño

5.4 Experiencia adquirida y lecciones emergentes

5.4.1 Desempeño Operativo
5.4.2 Impacto de Desarrollo
5.5 Repercusiones para préstamos futuros

5.6 Resumen de Recomendaciones

Referencias

Apéndices

 
PUNTOS IMPORTANTES
  • La información de monitoreo, válida y oportuna, puede mejorar la ejecución de los proyectos. 
  • Los mecanismos eficaces, para recopilar y distribuir información, facilitan la toma de decisiones para mejorar el desempeño de los proyectos. 
  • La evaluación de monitoreo puede contribuir al rediseño de los proyectos para mejorar su desempeño. 
  • La evaluación intermedia puede servir para diagnosticar problemas de gestión durante la ejecución. 
  • A veces es necesario efectuar las dos evaluaciones por existir problemas de diseño y gestión
 

 


[TOPE]