|
EVO - Evaluación: Una herramienta
de gestión para mejorar el desempeño de los proyectos (Marco Lógico)-3/97
III LA
EVALUACIÓN Y LA EJECUCIÓN DE PROYECTOS
Con frecuencia sucede que los encargados del
seguimiento y control de proyectos se ven obligados a trabajar con mucha más
información que la realmente necesaria para tomar decisiones claves, mientras
al mismo tiempo carecen de la información crítica que realmente requerirían
para tomarlas. Una cuidadosa selección de indicadores y la eficaz organización
del monitoreo puede revertir esta situación fácilmente. En este capítulo se
presentan las ventajas del monitoreo y los pasos necesarios para llevarlo a
cabo.
A. ¿QUÉ ES EL MONITOREO?
El monitoreo es el procedimiento mediante el cual
verificamos la eficiencia y eficacia de la ejecución de un proyecto mediante la
identificación de sus logros y debilidades y en consecuencia, recomendamos
medidas correctivas para optimizar los resultados esperados del proyecto.
B. LA FUNCIÓN DE LA REPRESENTACIÓN DEL
BANCO
La Representación es responsable del monitoreo
continuo de los proyectos y tiene la función primariade identificar problemas
de desempeño y de trabajar con los ejecutores para solucionarlos
satisfactoriamente. Un monitoreo eficaz le permite al Banco y al prestatario
actuar antes de que los problemas se compliquen demasiado, para poder así
resolverlos de manera efectiva. La Representación se encarga de este proceso de
monitoreo y de elevar informes a la administración del Banco sobre los
acontecimientos importantes del proyecto.
C. BENEFICIOS DEL MONITOREO
El monitoreo de proyectos genera los siguientes
beneficios:
- identifica fallas en el diseño y el plan de
ejecución;
- establece si el proyecto se está realizando
conforme al plan;
- examina continuamente los supuestos del
proyecto, determinando así el riesgo de no cumplir con objetivos;
- determina la probabilidad de que se
produzcan los componentes o productos en la forma planificada;
- verifica si los Componentes resultarán en
el logro del Propósito;
- identifica problemas recurrentes que
necesitan atención;
- recomienda cambios al plan de ejecución del
proyecto;
- ayuda a identificar soluciones a problemas;
y
- establece vínculos entre el desempeño de
las operaciones en marcha y la futura asistencia del Banco al país.
|
Cuadro No. 9
EL PROCESO DE MONITOREO
- Familiarizarse con el proyecto
- Determinar los requisitos de
información
- Estabelecer un sistema de información
gerencial
- Presentar informes a la Administración
del Banco y al organismo de contraparte.
- Intervenir para mejorar el desempeño
del proyecto.
|
D. PASOS REQUERIDOS PARA EL MONITOREO
EXITOSO DE UN PROYECTO
La función de monitoreo de la Representación, en
coordinación con el gerente de contraparte del proyecto, es la clave para
mejorar el desempeño de un proyecto. Los cinco pasos para realizar un monitoreo
satisfactorio, delineados en el Cuadro 9, ayudan a asegurar un seguimiento
eficaz y exitoso del proyecto. Aunque ya se están aplicando algunos de estos
procedimientos, es útil volver a examinarlos para los fines de esta guía.
1. Familiarizarse con el proyecto
Si el monitor del proyecto (profesional
asignado de la Representación) no está familiarizado con el mismo, debe
comenzar por conocer su contexto e historia. Para ello, el monitor debe:
- examinar los documentos del proyecto,
incluyendo el marco lógico y los informes disponibles;
- entrevistar a los equipos/profesionales
encargados del diseño y la administración del proyecto; y
- visitar el sitio del proyecto y entrevistar
al personal del organismo ejecutor.
2. Determinar los requisitos de información
de los involucrados
Es importante proporcionar la información
correcta a los involucrados en el momento oportuno para asegurar que el
monitoreo ayude a mejorar el desempeño del proyecto. Las personas que hacen
tareas de monitoreo deben:
- identificar a los involucrados primarios y
secundarios del monitoreo;
- aclarar, con el administrador de contraparte
del proyecto y el supervisor correspondiente del Banco (o jefe del equipo
del proyecto), quiénes deben recibir los informes de monitoreo y quiénes
copias de éstos (si ésto se hace al principio, más tarde se evitarán
dificultades de protocolo);
- establecer, con el jefe del equipo del
proyecto, la frecuencia de presentación de los informes formales; y
- determinar, con el administrador de
contraparte del proyecto, si los involucrados en el monitoreo tienen
problemas o inquietudes que se deben incorporar.
3. Establecer un sistema de información
gerencial (SIG)
Las necesidades de información sobre monitoreo
se deben usar para estructurar un sistema de información gerencial (SIG) para
el proyecto. Este proceso se simplificará si ya se ha preparado un marco lógico
para el proyecto. Para que un SIG sea eficaz, la información recopilada debe:
- ser importante, en el sentido de que sea la
información correcta;
- ser oportuna, en el sentido de que esté
disponible en el momento en el que se necesita;
- ser de bajo costo de obtención;
- responder a cuestiones estratégicas del
proyecto; y
- contribuir a perfeccionar las actividades de
monitoreo, evaluación y de producción de informes especiales.
Los pasos para conceptualizar un plan de SIG son:
- identificar a los usuarios de la información;
- aclarar las necesidades de los usuarios;
- identificar los tipos de información
prioritaria;
- vincular las necesidades y fuentes de
información (o sea, determinar qué datos existentes se pueden usar y cuáles
se deberán generar especialmente);
- establecer métodos apropiados para efectuar
la recopilación de datos para satisfacer las necesidades de información
del proyecto;
- identificar funciones y responsabilidades de
los diversos responsables e interesados en la información;
- identificar los requisitos y formatos de los
informes;
- identificar los recursos (humanos,
financieros, tecnológicos) requeridos para hacer que el sistema de
monitoreo sea confiable y creíble; y
- establecer procedimientos para el
intercambio de información.
4. Informes para los
involucrados/interesados en monitoreo
Los informes de monitoreo pueden ser formales o
informales. La mayoría de los procedimientos a seguir para la presentación de
informes ya existen en el Banco, y un buen monitor sabe que cuanto más pronto
se puedan identificar y comunicar los problemas (incluso de manera informal), más
fácil será resolverlos. Sin embargo, consideramos que la lista de verificación
qe aparece más abajo puede ser útil para un responsable de monitoreo.
En general, los datos a recopilar para el
monitoreo de un proyecto deben contribuir a responder a las siguientes
preguntas:
- Las actividades, o insumos, del proyecto
(desembolsos, fondos de contrapartida, cofinanciamiento, gerencia del
proyecto, personal del proyecto, bienes y servicios)¿se están llevando a
cabo en forma oportuna y eficaz en relación a sus costos?
- ¿Hasta qué punto siguen siendo válidos la
justificación y los supuestos del proyecto, o se están transformando en
riesgos que pueden afectar el progreso e impacto de desarrollo del proyecto?
- Los componentes, o productos, del proyecto
(bienes, servicios, acciones de capacitación, medidas de política) ¿se
están logrando tal como fueron planificados en cuanto a cantidad, calidad,
tiempo y costo?
- ¿Hasta qué punto está cumpliendo el
prestatario con las cláusulas del contrato?
- ¿Hasta qué punto es probable que el
proyecto alcance sus objetivos de desarrollo en función de la continua
validez de su justificación y la verificación del cumplimiento de los
supuestos?
Para su Informe Anual sobre la Administración de
la Cartera, el Banco ha desarrollado un nuevo formulario para la evaluación
operativa de desempeño del proyecto, en el que se resume el estado de estos
asuntos, tal como se muestra en el Cuadro 10.
| Cuadro No.
10 |
| INFORME DE
SEGUIMIENTO DEL DESEMPEÑO DEL PROYECTO (ISDP) |
| I. DATOS
BASICOS (Montos en millones de US$) |
País:
Prestatario:
Agencia Ejecutora:
Sector: |
Titulo
del Proyecto:
Número del Proyecto:
Número de Préstamo(s):
|
Fecha
Aprobación por Directorio:
Fecha de Contrato:
Fecha de Elegibilidad:
Fecha de Ultimo Desembolso: |
| Especialista
Sectorial:
Fecha de Actualización del Informe:
Personal Encargado en la Sede:
Fecha de Ultima Revisión por
Representante.
|
Años en
Ejecución:
Extensión Acumulada de Fecha de Ultimo
Desembolso (en meses):
Cancelación(es): Fecha Monto
|
Monto(s)
Original del Préstamo(s):
Monto Actual:
Desembolsos:
% Desembolsos:
Costo Original:
Costo Actual: |
Modalidad de
Préstamo:
[] Inversión
[] Por Etapas
[] Sectorial
[] CT
[] Híbrido
[] Otros |
Préstamos
Sectoriales - Montos
Primer Tramo:
Segundo Tramo:
Tercer Tramo: |
Fechas de
Desembolso - Programada |
Actual |
Cofinancimiento
Fuente(s):
Contraparte:
|
Monto |
| II.
OBJETIVOS(S)/PROPOSITO(S) DE DESARROLLO DEL PROYECTO E INDICADORES
CLAVES DE DESEMPEÑO
Los objetivo(s) de
desarrollo/proposito(s) del proyecto deben describir los resultados o
impacto específicos que se esperan alcanzar a través de los
componentes del proyecto. El número de indicadores de desempeño debería
ser reducido y su medición fácilmente realizable. Debe existir acuerdo
con el prestatario/agencia ejecutora respecto a los objetivo(s) e
indicadores de desempeño.
|
Objetivo(s)
de Desarrollo del Proyecto:
1.
2.
3. |
Indicadores
Claves de Desempeño:
1.
2.
3. |
| Han cambiado
los objetivo(s) de desarrollo del proyecto después de su aprobación
por el Directorio?
Se han acordado con el
prestatario/agencia ejecutora los objectivo(s) de desarrollo del
proyecto y los indicadores?
Han cambiado los objetivo(s) de
desarrollo del proyecto y los indicadores desde el último informe?
Ha sido el proyecto oficialmente
reestructurado?
Está el prestatario manteniendo
información sobre los indicadores de desempeño?
|
[] si
[] si
[] si
[] si
[] si
|
[] no
[] no
[] no
[] no
[] no
|
Fecha:
|
| III.
PROGRESO EN LA EJECUCION DEL PROYECTO
La implementación de los
componentes del proyecto se relaciona directamente al logro de los
objetivo(s)/propósito(s) de desarrollo del proyecto. Al clasificar el
progreso en la ejecución, por favor considere el progreso físico
y la calidad de los componentes, así como los indicadores de
desempeño identificados para su realización.
|
| Componentes/
Productos |
Indicadores
Claves de Desempeño de Progreso |
Clasificación |
1.
2.
3.
4.
5.
6. |
|
MS |
S |
IN |
MI |
| Clasificación
Resumen del Progreso en la Ejecución (PE):
[] Muy Satisfactorio(MS) []
Satisfactorio (S) [] Insatisfactorio (IN) [] Muy Insatisfactorio (MI)
|
| Marque las
razones principales para las clasificaciones muy insatisfactorio
o insatisfactorio: |
[]
Aprobación legislativa
[] Compromiso prestatario
[] Escasez de fondos de contrapartida
[] Gobierno Central
[] Estatal/Provincial/Local
[] Capacidad institucional agencia ejecutora |
[]
Oposición política/Comunidad
[] Personal agencia ejecutora
[] Desempeño Consultores
[] Coordinación inter-agencias
[] Desempeño Proveedor/contratista
[] Diseño proyecto/componentes |
[]
Cumplimiento condiciones contractuales
[] Eficiencia Banco
[] Dificultades en adquisiciones
[] Problemas Medio ambiente
[] Sobre costos |
| Indentifique
causas, otras razones o comentarios adicionales:
|
| IV.
SUPUESTOS CLAVES
El logro de los objetivos de
desarrollo del proyecto y la entrega de los componentes depende,
frecuentemente, de supuestos que se encuentran fuera del control del
administrador del proyecto. Al evaluar si tales supuestos serán
cumplidos, se requiere tomar en consideración tanto calidad como
oportunidad. Identifique e informe sólo aquellos supuestos que
puedan tener un impacto en el logro de los objetivos de
desarrollo/entrega de componentes. Estos supuestos pueden ser implícitos
o explícitos. (Un ejemplo de un supuesto implícito podría ser que la
autoridad reguladora permita ajustes oportunos de tarifas por parte de
una empresa pública). Cuando informe sobre supuestos claves, por favor
tome en cuenta el cumplimiento de aquellas condiciones contractuales
que son de particular importancia para el proyecto y que podrían haber
sido formuladas para incrementar la probabilidad que un supuesto se
cumpla. La clasificación resumen se refiere a la probabilidad que los
supuestos ocurran y permitan alcanzar los objetivos del proyecto.
|
| Supuestos |
Evaluación
de la Probabilidad de Ocurrencia |
| Alta |
Baja |
Supuestos
Relacionados a los Objetivos de Desarrollo
1.
2.
3.
4.
5.
6. |
|
|
Supuestos
Relativos a la Implementación de Componentes
1.
2.
3.
4.
5.
6. |
|
|
| Enumere los
factores principales sobre los que se basa la clasificación:
|
| Clasificación
Resumen de Supuestos: |
[] Alta |
[] Baja |
| V. LOGRO DE
LOS OBJETIVOS DE DESARROLLO
Para clasificar la probabilidad del
logro de los objetivos(s) de desarrollo, tome en consideración los
objetivo(s) de desarrollo del proyecto, los indicadores de desempeño,
entregada de componentes, y supuestos claves.
|
| Enumere los
factores principales sobre los cuales se basa la clasificación de
objetivo(s) de desarrollo: |
| Evaluación de
Logro de Objetivo(s) de Desarrollo (OD): |
[] Muy Probable
(MP)
[] Probable (P) |
[] Dudoso (DU)
[] Improbable (I) |
| VI. RESUMEN DEL ESTADO
DEL PROYECTO, PROBLEMAS Y ACCIONES |
| Estado del proyecto:
|
Identifique los problemas
principales que afectan la ejecución del proyecto y/o el logro de los
objetivos de desarrollo:
1.
2.
3.
4.
5.
6. |
Identifique las acciones
que se requieren para enfrentar los principales problemas: quien es básicamente
responsable por llevar a cabo la(s) acción(es) (Banco, agencia
ejecutora, etc.) si existe o no acuerdo con el prestatario/agencia
ejecutora sobre la(s) acción(es) a adoptarse, y cual es el calendario
para su adopción (fechas de adopción de la(s) acción(es)):
1.
2.
3.
4.
5.
6. |
Aunque el formato puede cambiar con el tiempo,
el ISDP está diseñado para seguir el estado de las actividades/componentes, cláusulas
sobre el cumplimiento por el prestatario, supuestos/riesgos, y la probabilidad
de que se alcancen los objetivos de desempeño. Independientemente del formato,
es importante que la información sea:
- oportuna;
- lo más sucinta posible y que transmita la
información esencial a sus usuarios;
- de calidad técnica adecuada en cuanto a
contenido, presentación, credibilidad y orientación para la acción.
5. Intervenciones de monitoreo para mejorar
el desempeño de los proyectos
Hasta ahora hemos mencionado dos actores en el
monitoreo de los proyectos: el Administrador de contraparte del proyecto y la
Representación. Sin embargo, puede haber casos en los que, además de estos
actores, se requiera asistencia especializada para efectuar el monitoreo. El
cuadro siguiente muestra algunos ejemplos de dichos casos. Los mismos dejan
claro que las personas que hacen el monitoreo no son simplemente recopiladores y
comunicadores pasivos de información. Deben además decidir cuando es necesario
contar con especialistas en evaluación que puedan respaldar sus acciones de
monitoreo. Estos servicios especializados se proporcionan, ya sea directa o
indirectamente, por medio de las funciones consultivas de EVO, que puede así
aportar su experiencia y conocimiento a la administración del Banco. En otras
ocasiones, EVO puede programar, a solicitud, actividades especiales de monitoreo
para contribuir a la administración de proyectos a través de informes
especiales de monitoreo (menos formales) o evaluaciones operativas o de ejecución
(más formales).
Independientemente de la modalidad de evaluación
adoptada, lo fundamental (tratándose de proyectos en ejecución) es que los
evaluadores y los agentes de monitoreo conviertan, al corto plazo, sus
recomendaciones en acciones apropiadas.
| Cuadro
No. 11 |
| Comportamientos
Detectados por los Agentes del Monitoreo |
Acciones
de Monitoreo |
| 1. No hay
ninguna desviación notable respecto de los planes trazados. |
1. Esto
confirma las acciones de ejecución del proyecto, por lo que no cabe
acción alguna. |
| 2.
Desviaciones de calendarios para el suministro de insumos y/o generación
de componentes debido a dificultades con la ejecución. |
2. El agente
de monitoreo debe determinar los efectos de los retrasos y sus causas
probables; verificar si hay que hacer cambios en la ejecución del
proyecto y qué tipos de cambios recomendar. |
| 3. Evidencia de
problemas emergentes de la administración/ gestión del proyecto. |
3. El agente
de monitoreo debe determinar la gravedad de los problemas y analizar y
entender sus causas probables; proponer soluciones que se basen en una
estrategia de intervenciones de gestión progresivas de manera que se
consideren niveles jerárquicos de intervención más bajos antes de
apelar a los más altos; finalmente debe planificar los ajustes y
modificaciones necesarios. Debe también, considerar la conveniencia de
efectuar una evaluación intermedia o de ejecución. |
| 4. Desviaciones
considerables respecto de los calendarios para el suministro de insumos
y/o la generación de componentes debido a un diseño inadecuado del
proyecto. |
4. El agente
de monitoreo debe determinar si el diseño puede ser revisado
adecuadamente de manera que todavía se pueda alcanzar el propósito del
proyecto (si es válido), o recomendar que se cancele el proyecto. Debe
también considerar la necesidad de ejecutar una evaluación de ejecución
y monitoreo. |
| 5. Costos que
sobrepasan significativamente los estimados de diseño. |
5. El agente
de monitoreo debe definir las causas y efectos para determinar cursos de
acción y recomendar medidas tales como auditorías, cambios
considerables del diseño y/o gestión del proyecto, o bien su cancelación. |
| 6.
Bajo desempeño de insumos y productos, pero sin causas claras. |
6.
Recomendar y/o hacer una evaluación intermedia o de ejecución. |
De los diversos instrumentos que pueden ser
usados para identificar y resolver problemas de desempeño de ejecución de los
proyectos, dos procedimientos de evaluación formal (mencionados en la tabla)
son particularmente útiles:
a. Evaluación de monitoreo
Este instrumento permite analizar posibles
problemas de diseño. Se trata de lograr que los involucrados en el proyecto
participen en un taller intensivo para examinar y reformular el diseño del
proyecto. El marco lógico, acompañado de las técnicas de análisis de
involucrados, árbol de problemas, selección de estrategias y diseños específicos
es la herramienta principal para volver a analizar la problemática, los
involucrados, los objetivos del proyecto y sus datos del año base, indicadores
y supuestos. Asimismo, también es evidente que en este ejercicio deben
participar especialistas en análisis económico, financiero y técnico.
Descubierto un serio problema de diseño,
cuanto más pronto se efectúe esta evaluación, mejor, ya que no se
desperdician tiempo y recursos tratando de ejecutar un diseño deficiente.
b. Evaluación intermedia
La evaluación intermedia se puede hacer en
cualquier momento durante la ejecución del proyecto. Suele usarse para analizar
más a fondo los problemas de ejecución, o para ayudar a tomar decisiones sobre
la programación del proyecto. En el Capítulo VI se describen los requisitos y
métodos que se incorporan en estas evaluaciones. El marco de trabajo utilizado
para las evaluaciones operativas es importante y se presenta en el Capítulo V.
Los asuntos examinados en una evaluación intermedia dependen de las razones
para efectuar dicha evaluación, pero suelen seguir en un esquema genérico. En
el Cuadro 12 se muestra el esquema de un informe para una evaluación
intermedia.
| Cuadro No. 12:
Esquema de Informe - Evaluación Intermedia o de Ejecución
Indice/Resumen
1.0 Introducción
1.1 Antecedentes
- Propósito de la Evaluación
- Involucrados Principales
1.2 Descripción del Proyecto
- Resumen del Marco Lógico
- Estado General (fecha de
inicio, terminación)
1.3 Metodología de Evaluación
1.3.1 Diseño/Enfoque General
1.3.2 Fuentes de Datos
1.3.3 Instrumentos
1.3.4 Equipo de Evaluación
1.3.5 Factores Limitantes
1.4 Organización del Informe
2.0 Justificación del proyecto
2.1 Introducción
2.2 Cambios en el Contexto del Proyecto y Examen de Supuestos
2.3 Validez de la lógica del proyecto
2.4 Pertinencia continua del proyecto
2.5 Repercusiones de continuar el proyecto con o sin reformulación
3.0 Eficiencia
3.1 Introducción
3.2 Administración de las
Actividades al proyecto
3.2.1 Normas y control de calidad
3.2.2 Costos y control de costos
- costos de administración
- costos de otras actividades
3.3 Informes sobre:
- finanzas del proyecto
- programación y entrega de
actividades
- consecución de los
componentes del proyecto
- problemas y riesgos del
proyecto
3.4 Problemas en la Ejecución del
Proyecto
- identificación
- análisis y soluciones
propuestas
3.5 Conclusiones y recomendaciones
4.0 Eficacia
4.1 Logro de los Componentes del
Proyecto
4.1.1 Planificados y reales hasta la
fecha
4.1.2 Repercusiones de deficiencias encontradas
4.2 Componentes, Efectos y Propósito
del Proyecto
4.2.1 Efectos planificados y su
contribución al propósito
4.2.2 Efectos no planificados y su congruencia con el propósito y
las prioridades del prestatario/BID.
4.3 Conclusiones y Recomendaciones
5.0 Conclusión
5.1 Introducción
5.2 Continuidad de la justificación
del proyecto
5.3 Medidas para mejorar el desempeño
5.4 Experiencia adquirida y lecciones
emergentes
5.4.1 Desempeño Operativo
5.4.2 Impacto de Desarrollo
5.5 Repercusiones para préstamos
futuros
5.6 Resumen de Recomendaciones
Referencias
Apéndices
|
PUNTOS
IMPORTANTES
- La información de monitoreo, válida
y oportuna, puede mejorar la ejecución de los proyectos.
- Los mecanismos eficaces, para
recopilar y distribuir información, facilitan la toma de decisiones
para mejorar el desempeño de los proyectos.
- La evaluación de monitoreo puede
contribuir al rediseño de los proyectos para mejorar su desempeño.
- La evaluación intermedia puede
servir para diagnosticar problemas de gestión durante la ejecución.
- A veces es necesario efectuar las
dos evaluaciones por existir problemas de diseño y gestión
|
[TOPE]
|
|