buenos aires, argentina, 5 -9 de noviembre del 2001...
TRANSCRIPT
VI Congreso Internacional del CLAD sobre Reforma del Estado y de la Administración Pública Panel: Reformas federales en áreas estratégicas de gobierno en América Latina
Buenos Aires, Argentina, 5-9 de noviembre del 2001
Evaluación de programas y proyectos sociales
Autor: Josette Brawerman INTRODUCCIÓN El propósito de este documento es a la vez instrumental y metodológico: apunta a explicitar los
criterios y pasos requeridos para el proceso de evaluación “ex ante” de proyectos sociales formulados
en el marco de programas sociales complejos1. Cabe señalar que si bien esta denominación proviene
del análisis económico de proyectos, se utiliza aquí en el sentido de aquellas evaluaciones que se
emprenden antes de iniciar un programa o proyecto para apreciar el cumplimiento de las condiciones
requeridas para su implementación, y eventualmente decidir acerca de su aprobación.
Los programas sociales suelen incluir situaciones en que es necesario ya sea seleccionar entre
diversas propuestas, o decidir acerca de la adecuación de una propuesta a las líneas programáticas o
de acción que se apuntan a financiar. En términos generales, desde el punto de vista del proceso de
intervención social, se trata entonces, entre otros, de establecer la pertinencia de la propuesta, es
decir la adecuación de las soluciones que propone a la realidad que se pretende modificar; su
coherencia interna en términos de adecuación de recursos a objetivos y de éstos a metas y
actividades, y su factibilidad, o sea la capacidad de la institución ejecutora para llevarlo a cabo en
términos de la calidad y cantidad de recursos humanos, económicos y materiales disponibles así como
de la existencia de condiciones del contexto para desarrollar las acciones esperadas.
El enfoque metodológico que se expondrá surge de experiencias desarrolladas en el marco de
programas sociales orientados a grupos de población vulnerables, con líneas programáticas definidas
por un nivel “central” (por ejemplo un organismo de jurisdicción nacional) y ejecución descentralizada
en otros niveles del sector público (provincial y municipal) o en organizaciones de la sociedad civil. Se
trata de un proceso complejo y arduo de trabajo, en el que intervienen diversos actores, distintos
niveles de gestión, así como distintas perspectivas profesionales.
1 Se hace referencia a programas sociales compuestos por un gran número de proyectos integrados en torno a problemáticas, tipos de destinatarios o modalidades de intervención comunes cuya ejecución involucra distintos
2
Entendido el proceso de evaluación como un continuo paralelo a la gestión de los programas y
proyectos sociales, cobra relevancia la operacionalización, explicitación y mayor transparencia posible
de los criterios y de los procedimientos utilizados en este “momento evaluativo”: la evaluación ex ante
no sólo contribuirá, en la fase de formulación y diseño, a brindar elementos de juicio a los organismos
que deben decidir acerca de su financiamiento o aprobación. Debe encararse también como un
proceso que sirva de apoyo al mejoramiento de la formulación inicial y a generar aptitudes en los
propios ejecutores del programa o proyecto, para ir dejando capacidades instaladas que permitan la
inclusión de una cultura organizacional evaluativa.
Aunque responda a un tipo de evaluación “externa” puesto que la decisión acerca de la aceptación o
financiamiento de un proyecto no suele ni debería estar en manos de quienes lo formulan, es
necesaria una dinámica de relación entre “evaluadores” y “evaluados” desde el inicio para que las
conclusiones y recomendaciones de los primeros se traduzcan –incluso en quienes no resulten
seleccionados si es el caso- en un aprendizaje institucional para la formulación de proyectos.
Se trata de un proceso que debe ser cuidadosamente programado y pautado a fin de evitar las
demoras que suelen producirse en los procesos decisorios, y mejorar de este modo los vínculos con
los actores u organizaciones que luego se encargarán de la ejecución de los proyectos una vez
aprobados pues los conflictos emergentes de la dilatación del tiempo de procesamiento de la decisión
empañan y dificultan una acción bienintencionada por parte del programa en su vínculo con los
actores locales.
Finalmente, la evaluación ex ante, además de proveer elementos de juicio para una mejor decisión o
selección, según sea el caso, implica también la formulación de recomendaciones para la ejecución y
para orientar el proceso de evaluación concurrente, contribuyendo de este modo a la gestión posterior
del programa.
niveles y áreas del sector gubernamental, instituciones no gubernamentales, localizaciones e incluso líneas de
3
LA CALIFICACIÓN PREVIA A LA FORMULACIÓN Y EVALUACIÓN DE LOS PROYECTOS
Cuando el proceso decisorio asume la forma de “concurso”, al que se pueden presentar varios
“aspirantes” e incluso en el caso de presentaciones aisladas ante entes financiadores (Fundaciones,
organismos internacionales, etc..), suelen diferenciarse dos etapas:
1. una evaluación preliminar basada en una formulación (a veces denominada “carta de
intención”), suscinta o general del proyecto y de la futura organización ejecutora,
2. la etapa de evaluación propiamente dicha del proyecto ya diseñado.
En caso de haber sido programada, la etapa preliminar permite al organismo decisor/ financiador
contar con una primera aproximación a las intenciones de los posibles aspirantes, evaluar aspectos de
la viabilidad de implementación del proyecto basado en una apreciación de ciertas cualidades de la
entidad que lo presenta así como eventualmente establecer un ranking entre instituciones, disponer
de elementos de juicio para reorientar la propuesta si se le considera necesario o de argumentos
fundamentados para descalificarla.
Las presentaciones en este caso suelen estar escasamente pautadas aunque incluyen requerimientos
relativos a una “idea” (la esencia del proyecto y sus fundamentos), al perfil de los profesionales o
técnicos que la proponen y la van a ejecutar, y a los antecedentes de la institución que los contiene o
los representa.
Por lo tanto la evaluación tendrá tres focos fundamentales: la pertinencia de la “idea”, la solidez del
equipo técnico y la fortaleza de la institución.
Es probable que en esta etapa, el énfasis evaluativo sea el institucional. Pero cabe señalar que existe
una permanente tensión entre estos ejes particularmente cuando se trata de organizaciones no
gubernamentales: en efecto, ¿cómo valorar un proyecto innovador respaldado por una entidad
recientemente constituida frente a un proyecto tradicional de otra organización de trayectoria más
acción diversas.
4
reconocida? Sin duda, la respuesta se hará en función de la política del organismo decisor/financiador:
a saber, si se priorizan los aspectos institucionales, puede haber mayores garantías en relación a la
viabilidad de la idea propuesta pero también puede suceder en desmedro del fortalecimiento de
nuevas organizaciones de la sociedad civil con potencialidad de acción. En este sentido, el rol del
evaluador es fundamental: puede contribuir a la flexibilización de dichas políticas o bien procurar –en
caso de ser posible- contar con mayores elementos de juicio mediante contactos personales con los
formuladores del proyecto. Un aspecto fundamental para dirimir tales cuestiones pasa por la
evaluación de la calificación del personal técnico.
El proceso de precalificación de entidades u organizaciones que se postulan y de sus propuestas
preliminares debería contar con criterios generales explícitos de evaluación ponderados de modo de
establecer un rango entre las mismas.
Entre los principales criterios para valorar los aspectos institucionales, se pueden mencionar:
Aspectos institucionales propiamente dichos
? La presentación completa de la documentación requerida (se suelen requerir estatutos,
balances, organigrama, carpeta institucional, antecedentes profesionales del equipo de
trabajo, etc..)
? La antigüedad de la entidad
? El tipo y cantidad de experiencia en la realización de proyectos sociales en general
? El tipo y cantidad de experiencia en la realización de proyectos en la temática específica o en
el grupo etáreo priorizados
? La capacidad de gestión institucional valorada en términos de la relación entre disponibilidad
de recursos financieros, humanos y cantidad de proyectos).
? La experiencia en articulaciones con organismos del estado (nacional, provincial y/o
municipal)
? La experiencia en articulaciones con organizaciones de la sociedad civil.
? La participación de la institución en redes sociales
5
Aspectos relativos al equipo técnico
? Adecuación de los perfiles profesionales
? Composición multidisciplinaria del equipo
? Antecedentes laborales en la temática
Los criterios para valorar la propuesta preliminar del proyecto a desarrollar deberían considerar:
? La adecuación del objetivo a las prioridades políticas establecidas
? La adecuación del objetivo a las necesidades locales planteadas en su fundamentación
? La claridad y precisión en la formulación del objetivo.
? La coherencia de las actividades planteadas con el objetivo
? La integralidad de la propuesta (preventivo / promocional o asistencial)
? La participación prevista de la comunidad en la propuesta.
? La correspondencia entre el monto presupuestario global y los objetivos, las actividades y los
beneficiarios propuestos.
? La concordancia entre el monto presupuestario global y los parámetros posibles para el programa.
Traducidos en categorías, estos criterios pueden ser volcados a una grilla otorgando un puntaje
ponderado según el peso atribuido a cada uno de estos criterios. Debería incluir no sólo
recomendaciones para el ente decisor/financiador, en términos de dar “una luz verde” o no para una
presentación posterior sino también concluir con orientaciones a los aspirantes que les permita una
mejor formulación del proyecto definitivo.
LOS CRITERIOS DE EVALUACIÓN
La evaluación ex ante es fundamentalmente la evaluación de un proyecto en su sentido más literal,
puesto que aún no ha sido puesto en acción. Es reconocida la multiplicidad de problemas
contextuales, políticos y organizacionales que pueden presentarse en el curso de su implementación,
afectando el logro de los resultados esperados. Se puede afirmar sin embargo, que aunque no sea
una condición suficiente, una propuesta pertinente y adecuadamente fundamentada y diseñada
6
constituye un punto de partida que facilitará su ejecución y su posterior seguimiento.
Más allá de sus especificidades, el diseño de programas y proyectos parte de realizar un recorte y
describir una realidad – diagnóstico – , para luego identificar las disconformidades – problemas –, y de
allí inferir qué se quiere modificar – objetivos –, que no son sino expresión de las transformaciones
que se esperan obtener – resultados –. A tal efecto se requiere el diseño de una estrategia para
operar el cambio, que se traduce en un plan de trabajo – actividades – ubicado en el tiempo –
cronograma –, asociado con determinados insumos – recursos humanos, materiales y financieros –
requeridos para llevar a cabo las acciones.
El foco evaluativo se pondrá en los aspectos medulares de este diseño. Pero también deberá tener en
cuenta las condiciones contextuales locales que pueden facilitar o dificultar su futura implementación.
En efecto ciertas características del contexto social, económico y político local donde se implantará el
proyecto constituyen aspectos que pueden condicionar su viabilidad tales como la legislación vigente
acerca de la temática, el grado de desarrollo de la sociedad civil y sus vínculos con el gobierno local,
la historia local en la temática, la estructura administrativa del sector público local (provincial y
municipal), la presencia de masa crítica de recursos humanos debidamente formados, los niveles de
descentralización alcanzados, los fondos asignados, entre otras cuestiones. Algunos de estos aspectos
pueden estar presentes en la formulación del proyecto pero es probable que requieran de un análisis
de documentación con información adicional o bien una apreciación in situ de parte del evaluador.
En cuanto a los aspectos medulares se pueden diferenciar dos tipos:
? Los sustantivos vinculados a sus propósitos y a las líneas de acción y actividades propuestas
para resolver los problemas identificados;
? Los estratégicos vinculados a modalidades o atributos de reconocida eficacia de la acción
social, independientemente de su campo específico de aplicación. En efecto, existe apreciable
desarrollo teórico acerca de la acción social, en el sentido de que la misma debe adoptar
modalidades promocionales, integrales, sinérgicas2, participativas y asociativas. Se incluye
2 M. Max-Neef, Desarrollo a Escala Humana, CEPAUR, Fundación Dag Hammarrskjöld 1986. El autor
considera sinérgicas las acciones que además de orientarse a la resolución de un problema puntual, contribuyen a la vez a la resolución o prevención de otros problemas. Un ejemplo muy utilizado es el de la lactancia
7
aquí también la estrategia de sustentabilidad planteada para el proyecto.
Sin pretensión de exhaustividad, se exponen a continuación algunos de los principales criterios que
deberían estar presentes en la evaluación de estos aspectos medulares:
? Adecuada justificación o fundamentación diagnóstica:
Un proyecto se fundamenta en un diagnóstico de la o las situaciones problemáticas que se procurarán
mejorar o resolver, entendiendo por tal, no una descripción de las mismas sino un estudio, con
información cuanti y cualitativa de sostén, que establezca la naturaleza, magnitud y características
básicas de dichas situaciones problemáticas. Dicho estudio debe además contar con información sobre
recursos locales, institucionales y humanos (“mapeo de recursos”) susceptibles de utilización para el
desarrollo de la intervención. Debe referirse con precisión al área territorial que se pretende cubrir (un
barrio o una comunidad por ejemplo) sin dejar de considerar la relevancia de sus problemas en el
marco de unidades territoriales mayores, tales como el respectivo municipio y/o provincia. Cuando las
áreas territoriales de intervención son pequeñas es conveniente la realización de diagnósticos
participativos para justificar debidamente las actividades propuestas, cuantificar estimativamente la
población objetivo y poder valorar las metas de cobertura deseadas. La relevancia de estos
diagnósticos participativos no es mera instrumental: permite sobre todo identificar y jerarquizar los
problemas desde las necesidades sentidas por la gente.
La evaluación del diagnóstico debiera entonces orientarse a aspectos tales como:
? Claridad en cuanto a la definición de la naturaleza y magnitud de los problemas y necesidades
de la población
? Adecuada identificación de la distribución de la población objetivo o potencialmente
beneficiaria
? Jerarquización de las necesidades y problemas detectados
? Identificación de los factores contextuales más significativos que pueden condicionar (facilitar
o dificultar) la superación de la situación problemática, en particular adecuada descripción de
los actores afectados o potencialmente involucrados en su solución
materna, que a la vez que contribuye a la buena nutrición del bebé, lo preserva inmunológicamente, y
8
? Identificación de los recursos disponibles en el área ( sobre todo institucionales y otros
programas o proyectos sociales que se desarrollan allí orientados a la misma población
objetivo)
? Coherencia del proyecto en relación con las prioridades emergentes del diagnóstico
Se trata de apreciar en forma global si existe correspondencia entre el programa o proyecto y los
resultados del diagnóstico. La evaluación ex ante revisa que los proyectos (tanto en sus objetivos
como en la población a atender) hayan tomado en cuenta la jerarquización de necesidades y
problemas identificados.
? Potencialidad del proyecto en el contexto local
También aquí se trata de apreciar en forma global si, aún cuando por sus objetivos y población
destinataria, sea coherente con las necesidades y problemas identificados en el diagnóstico, existen
acciones similares desarrolladas en los mismos barrios o comunidades. Teniendo en cuenta la
fragmentación que suele caracterizar la implementación de los proyectos sociales, ello no constituye a
priori un aspecto positivo o negativo aunque sí digno de consideración especial. Si ello ocurre, deberá
evaluarse en que medida se superponen las poblaciones alcanzadas y la existencia o no de
complementariedad de las estrategias y actividades propuestas con las que ya están llevándose a
cabo. En tal sentido deberá apreciarse la existencia de compromisos o previsiones para la
coordinación y articulación de recursos y actividades entre los diferentes proyectos y las posibilidades
para el armado de redes locales entre los distintos actores involucrados. Otro criterio a considerar,
muy vinculado al que se expone a continuación, es el carácter innovador de la propuesta en el ámbito
local en cuanto a introducir estrategias que, si bien utilizadas y aplicadas con eficacia en otros
contextos, no lo han sido aún en dicho ámbito.
? Pertinencia de la o las estrategias de intervención planteadas en relación con la
problemática que se pretende abordar.
Este punto constituye posiblemente el meollo de la evaluación del “proyecto”. En efecto la modalidad
consolida un lazo afectivo entre la madre y el bebé que podrá contribuir a su apropiado des arrollo posterior.
9
o modalidades de intervención propuestas se basan explícita o implícitamente en una concepción del
cambio que supone que si se llevan adelante ciertas acciones, en determinadas circunstancias, se
obtendrán los resultados esperados, en términos de superar, contribuir a solucionar o evitar que
empeoren determinadas problemas sociales. Todo proyecto debería poner en evidencia tales
cuestiones: el conocimiento acumulado en la materia, los supuestos, los requerimientos conte xtuales,
las estructuras necesarias y los procesos o combinación de líneas de acción a desarrollar para obtener
los resultados esperados. Esos constituyen los aspectos conceptuales del proyecto, los cuales tienen
mucho que ver con las características del objeto de la evaluación, o sea que diferirán si se trata de un
programa educativo, de salud, de desarrollo integral, de adolescentes, etc..
Por lo tanto lo que se evalúa es si, acorde con el “estado del arte”, la estrategia presentada es
adecuada y oportuna para satisfacer las necesidades o demandas identificadas o para resolver los
problemas detectados. En programas muy pautados, pueden estar predeterminadas las estrategias de
intervención admitidas para la presentación de los proyectos. Por lo tanto, la evaluación tenderá a
apreciar la correspondencia de la propuesta con las pautas generales establecidas. Pero cuando ello
no ocurre, el evaluador deberá examinar y explicitar el modelo subyacente a las estrategias
planteadas en términos de la vinculación entre actividades propuestas, métodos, tecnologías y
procedimientos que se piensan utilizar con los resultados esperados y apreciar en que medida este
modelo corresponde al estado del arte y del saber en el o los campos disciplinarios pertinentes
implicados.
? Correcta formulación del plan de trabajo: objetivos, actividades y recursos requeridos
Se trata aquí de los aspectos más formales de la evaluación de la presentación. Las guías de
formulación de proyectos generalmente plantean los puntos a cumplimentar en el diseño de un
correcto plan de trabajo pues ello es lo que permite entender qué es lo que harán, con quiénes, con
qué, en qué momentos y qué gastos se prevén para cada actividad; es decir que ello trasluce la lógica
del proyecto, la secuencia de actividades, los requerimientos de recursos en tiempos, y por lo tanto
permite deducir el presupuesto y los flujos de desembolsos requeridos. Sin embargo, según indica la
experiencia, suelen presentar deficiencias ya sea porque no se explicitan adecuadamente, no
responden a las pautas de presentación, no guardan coherencia entre sí, comprometen una cantidad
10
excesiva de actividades escasamente articuladas, o bien inadecuadamente encadenadas en el tiempo.
La evaluación ex ante debe juzgar en qué medida la presentación cumple con el formato establecido,
si fue adecuado el planteamiento de actividades, si estas últimas fueron claramente expuestas, si
fueron exhaustivas y acordes con los objetivos planteados y si el detalle de recursos humanos y
materiales, así como los tiempos, se corresponden con aquellos necesarios para llevar a cabo las
actividades propuestas. Más específicamente, el foco de la evaluación aquí debe considerar:
? la adecuación de los objetivos en relación con las pautas del programa y las políticas
institucionales generales
? la claridad y precisión de la formulación de los objetivos así como de las actividades previstas
? la correspondencia de las actividades y de los productos previstos por cada una con los
resultados finales esperados expresados en los objetivos
? el adecuado encadenamiento en el tiempo así como la secuencia lógica (camino crítico) de las
distintas actividades
? la suficiencia e idoneidad de los recursos previstos (humanos y materiales). Ello implica que
estén adecuadamente descriptos, categorizados y cuantificados de modo de poder evaluar
luego su correspondencia con los aspectos presupuestarios.
? Clara descripción y cuantificación de las metas de beneficiarios.
Este aspecto incluye a su vez varias dimensiones a considerar:
En programas destinados a grupos o segmentos específicos de la población (definidos por ejemplo
según franjas etáreas, otros criterios de vulnerabilidad, o de focalización geográfica) deberá evaluarse
si estos criterios han sido respetados en la formulación del proyecto.
Otra dimensión relevante es la clara descripción del perfil de los beneficiarios y la determinación de las
metas cuantitativas previstas. Este suele ser un aspecto complejo que dependerá de la claridad de las
pautas establecidas para la presentación de los proyectos. En efecto, las actividades pueden tener
destinatarios intermedios (por ejemplo sensibilización y capacitación de miembros de la familia y de la
comunidad en proyectos destinados a niños y adolescentes), otras actividades pueden tener
destinatarios difusos (en particular las de índole comunicacional) o bien pueden existir superposiciones
parciales de los beneficiarios en varias actividades. Por lo tanto es necesario evaluar en que medida
11
las metas diferencian adecuadamente los distintos tipos de beneficiarios correspondientes a cada tipo
de prestación o modalidad de intervención, y si plantean además una meta global de los beneficiarios
finales del proyecto en su conjunto para poder estimar no sólo los costos por beneficiario para cada
actividad o tipo de prestación, sino para el proyecto como un todo. La evaluación ex ante debe revisar
y solicitar ajustes para la corrección de esas cuantificaciones cuando corresponda.
Finalmente debe apreciarse si se han considerado las condiciones de accesibilidad de los destinatarios
a las prestaciones, servicios y actividades programadas y si se han previsto mecanismos para que las
acciones lleguen a los potenciales beneficiarios, sobre todo cuando no se trata de una población
“cautiva” (un ejemplo típico es la oferta de servicios de cuidado infantil, que pese a diagnósticos que
pueden concluir con la existencia de una importante demanda potencial insatisfecha con frecuencia no
logran una captación adecuada de la población).
? Adecuación de la estrategia y de la metodología de seguimiento y evaluación
Las guías de formulación incluyen cada vez con mayor frecuencia requisitos sobre previsiones acerca
de las modalidades mediante las cuales la institución ejecutora evaluará el avance y resultados de sus
actividades. Por lo tanto la evaluación ex ante deberá considerar si estas han sido explicitadas y
apreciar la adecuación de los métodos, indicadores, principales instrumentos, fuentes y periodicidad
sugeridas a la índole de las actividades que se evaluarán.
? Existencia de atributos estratégicos de la acción social en la formulación del proyecto
Como se mencionó anteriormente, existen ciertas modalidades o atributos de reconocida eficacia de la
acción social, independientemente de su campo específico de aplicación. La evaluación deberá
considerar en que medida y de que manera se han incorporado estas modalidades al proyecto. A
continuación, se especificarán tres de ellas:
. Carácter integral del planteo: se refiere a la inclusión de enfoques amplios de la problemática
social, lejos de los abordajes específicos que consideran los problemas en forma parcializada o
fragmentada.
En primer lugar, deberá evaluarse si se han incluido acciones orientadas a los diferentes factores
vinculados con el/los problemas identificados; por ejemplo: si se trata de mejorar el rendimiento,
12
evitar la repitencia y asegurar la retención de los chicos en la escuela primaria, se dará apoyo escolar
a los propios chicos, se fortalecerá a las docentes para el trabajo con esos chicos, así como a los
familiares más directos, y se tomarán en cuenta otros factores psicológico sociales del niño y de su
grupo familiar.
Otra cuestión vinculada al carácter integral de los proyectos sociales es si contemplan acciones de
promoción, prevención y asistencia, aunque con diferentes énfasis. Por ejemplo: un proyecto que
brinda complementación alimentaria exclusivamente, es de carácter asistencial, mientras que si
incorpora actividades de capacitación a las madres para el mejoramiento de la dieta, sobre
preparación de alimentos a bajo costo, y sobre modos de advertir signos de perturbaciones en el
crecimiento y desarrollo infantil, también tiene perfil preventivo y si emite folletería o mensajes
radiales acerca de temas de nutrición y dietética, asume carácter promocional.
Por último, otro aspecto a evaluar en relación a la integralidad de los proyectos, es la articulación de
las actividades o modalidades de intervención entre sí. Es frecuente que aunque un proyecto incluya
una diversidad de actividades (por ejemplo: apoyo escolar, complementación alimentaria, actividades
recreativas y deportivas, etc.) cada una se desarrolle sin mayor vinculación con el resto, generándose
así “oportunidades perdidas”; ejemplos positivos de articulación de actividades, son: realizar controles
de salud mientras los niños asisten al comedor o acuden a las actividades deportivas; recibir
indicaciones del centro de salud de los niños en riesgo nutricional para priorizarlos o brindarles
atención especial en el comedor, o bien, detectar a las madres de niños que requieren atención
médica, etc.
. Carácter participativo de la gestión propuesta: Las formas participativas de gestión procuran
incluir a los beneficiarios en las diferentes etapas de la gestión: desde la identificación de la
problemática, la priorización de actividades, las decisiones relativas al destino de los recursos, en
particular a las adquisiciones y contrataciones, la realización de las acciones, la evaluación. Es decir
que el significado que aquí se le da al concepto de participación es más amplio que el que usualmente
se restringe a la intervención de los actores comunitarios en la realización de actividades, para incluir
además su intervención en la toma de decisiones en los diferentes momentos de la gestión de los
proyectos. Ese criterio participativo es también válido para los beneficiarios propiamente dichos en los
proyectos de adolescentes, quienes deben tener cabida en la identificación de sus propios problemas,
13
en las propuestas para superarlos, así como en la realización y evaluación de las acciones.
En consecuencia, la evaluación ex ante debe revisar si está prevista la inclusión de los diversos
actores locales y principalmente de la población destinataria, o de sus familias, en el caso de niños
pequeños. Los proyectos que se plantean desde el inicio la participación activa de sus destinatarios, se
constituyen en instrumentos para la construcción de ciudadanía, que pueden reflejar luego los
procedimientos e interacciones igualitarias en otros espacios ampliados de la vida pública,
promoviendo de tal manera la democratización de la comunidad, a la vez que contribuyendo a la
generación de ciudadanos adultos a partir de la formación participativa cuando se hallan involucrados
los niños y adolescentes.
. Carácter asociativo de la gestión: se refiere a la articulación – informal o formal mediante
convenios – entre áreas sociales de los gobiernos locales, otras entidades de la comunidad, u
organizaciones religiosas o instituciones sectoriales (educativas, de salud, etc.) localizadas en el
territorio de actuación de cada proyecto. Es decir sea gubernamental o no la entidad ejecutora del
proyecto, la gestión asociada favorece la eficiencia social y como se menciona en el punto siguiente
constituye una fortaleza central en la sustentabilidad sociocomunitaria de los proyectos. Por lo tanto,
desde el punto de vista de su evaluación, será necesario apreciar en que medida estas articulaciones
están previstas desde su formulación, lo que podría implicar la presencia de compromisos
interinstitucionales previos a su ejecución.
? Adecuación de la estrategia para la sustentabilidad del proyecto.
Cualquier proyecto social, independientemente de la temática que aborde, procura que al fin de su
ejecución, además de los resultados positivos reflejados en los cambios que se procuran conseguir en
las situaciones de los destinatarios de las acciones (que es lo que más marca el éxito de un proyecto),
también se logre su sustentabilidad de modo que:
? Continúen funcionando los procesos iniciados, de forma suficientemente normatizada, para que
sean homogéneas y previsibles las formas de hacer las actividades, basándose en el estado del
arte y el saber que se tiene acerca del particular campo del conocimiento y la acción.
? Queden instaladas concepciones, capacidades y habilidades en los actores significativos y
estratégicos para que puedan seguir desarrollando las acciones tendientes a la solución de los
14
problemas respectivos.
? Que los diferentes actores sociales que tienen que ver con el tema o problema en cuestión
adhieran es decir, se involucren positivamente en las acciones, ya sea en forma directa o
indirecta.
? Que el financiamiento de los procesos desencadenados por el proyecto esté asegurado por
fuentes diversas, más allá de que la que proveía al funcionamiento del proyecto haya acabado.
? Que la institución “mayor” de la cual dependió el proyecto asuma como propias las líneas de
acción que se enmarcaban en aquél, destinando recursos (de espacio, de equipos, de plantel
humano, de tiempos y de presupuesto) para su continuidad. Esto es casi equivalente a decir que
las políticas institucionales (o sectoriales) adopten la doctrina que justificó el accionar del
proyecto. Este es un logro difícil pero el más buscado por todo tipo de proyecto social: influir en la
formulación de las políticas en el particular campo que aborda.
En el caso de proyectos a ser ejecutados por organismos públicos, la sustentabilidad tiene, además de
los aspectos financieros, una clara connotación política en términos del grado de adhesión e
involucramiento de las autoridades locales con el proyecto. Por lo tanto la estrategia expuesta en la
formulación debería considerar en que medida ésta existe y el tipo de acciones a llevar a cabo con
esta finalidad.
En síntesis, la sustentabilidad se refiere a la posibilidad de arraigo que tiene un proyecto, más allá del
período de apoyo subsidiado por el programa. Es un concepto multidimensional con un significado
socio comunitario, un significado político y un significado económico. Las estrategias para la
sustentabilidad son por ende complejas y constituyen una construcción intencional desde la propia
formulación y desde los inicios de la ejecución de un proyecto; se trata de un resultado a alcanzar
como producto de la eficacia de las líneas de acción desplegadas en diferentes campos: las
articulaciones institucionales, la consolidación de formas organizativas, el impacto de la capacitación y
la comunicación social en las creencias y prácticas de los recursos humanos y la población
beneficiaria, la institucionalización de modalidades integrales de acción, la instalación de la temática
en la agenda política o pública en el espacio local, la eficacia de las actividades de gestión de recursos
y la diversificación de fuentes de financiamiento, etc..
15
Aunque resulte reiterativo, se destaca que en la evaluación ex ante se trata de emitir un juicio sobre
la estrategia y no la sustentabilidad a priori, pues ésta constituye un resultado deseable de la acción y
nunca un prerrequisito de la misma. Esta estrategia puede estar formulada explícitamente en la
presentación si forma parte de sus requisitos (lo cual es deseable pues obliga a quienes formulan el
proyecto a plantearse interrogantes en este sentido desde el comienzo para el desarrollo de sus
acciones). De todos modos, existen algunas cuestiones, ya considerados en otros criterios, que el
evaluador debiera tener en cuenta, en particular en las que se refieren a la inclusión de atributos
estratégicos del proyecto (integralidad, gestión asociada y participación), a la capacidad y experiencia
previa de gestión de la entidad ejecutora y a las posibilidades de cumplimentar los aportes financieros
locales comprometidos, que generalmente deben asumirse en forma creciente en el tiempo como
contraparte de los subsidios del ente financiador.
Además de la evaluación de los aspectos medulares, se deberán abordar los aspectos gerenciales o
instrumentales del proyecto, es decir los medios para el desarrollo adecuado de las líneas
sustantivas. Ellos se refieren básicamente a:
? La fortaleza del sustento institucional en función de su experiencia, idoneidad de sus
recursos humanos y capacidad de gestión (si no ha habido una etapa de precalificación).
En este caso valen los criterios expuestos en relación a la etapa de precalificación. De todos modos
merecen puntualizarse algunas consideraciones.
Por una parte, en el caso de organizaciones de la sociedad civil, suelen usarse como indicadores de su
fortaleza los antecedentes de la entidad en la ejecución de proyectos sociales, particularmente en el
campo de acción específico del proyecto, su capacidad de gestión en función del monto de los fondos
gestionados en los últimos años y el perfil e idoneidad de las distintas categorías de personal
involucradas en la gestión. Algunos programas plantean requerimientos en este sentido en términos
de tiempos o magnitudes, lo cual desalentará presentaciones que no cumplen con ellas, o bien
algunas habrán sido desestimadas por este motivo en una etapa preliminar. Los criterios a aplicar por
lo tanto dependen de la política de la institución financiadora y de los objetivos del programa en su
conjunto: si se apunta a fortalecer la capacidad institucional de las organizaciones de la comunidad,
se deberá poner énfasis en sus fortalezas para la formulación y ejecución de proyectos (a través de la
16
idoneidad profesional de sus recursos humanos, de su trayectoria de trabajo comunitario por
ejemplo), más que en su experiencia y capacidad de gestión financiera. Es necesario entonces
además contar con un adecuado equilibrio para la ponderación de los aspectos sustantivos en relación
a los aspectos institucionales pues por ejemplo si una amplia experiencia o la gestión financiera
histórica fueran criterios excluyentes, se estaría favoreciendo a las entidades más fuertes, menos
necesitadas del tipo de apoyo que solicitan.
Otra cuestión se refiere a las fuentes de verificación de dichas fortalezas. La documentación que suele
presentarse (estatutos, organigramas, carpetas institucionales, curriculas profesionales y técnicos,
balances, etc..) permiten verificar el cumplimiento de los requisitos formales institucionales y legales,
a la vez que arrojan cifras sobre la gestión financiera (en efectivo) pasada aunque con limitaciones
puesto que no suelen incluir valorizaciones de recursos locales no monetarios tales como voluntariado,
donaciones o aportes en insumos, utilización de sedes comunitarias, etc... Se trata de elementos
formales, necesarios pero insuficientes para una evaluación institucional. Esta requiere por lo tanto
complementarse con una apreciación en terreno que incluya entrevistas con informantes clave y
visitas a la misma organización para comprobar la existencia de los recursos declarados y para
detectar los “otros” no “valorizados” monetariamente.
? La adecuación de la formulación presupuestaria del proyecto
Aun cuando este aspecto puede tener cierta especificidad y justifique (como en el caso de los
aspectos legales) estar a cargo de un especialista, éste deberá tener una visión global del proyecto y
realizar su tarea en estrecha colaboración con el/los evaluadores de los aspectos sustantivos a fin de
que el juicio emitido no se limite a la coherencia interna de las cifras sino a la correspondencia de los
recursos financieros solicitados con las estrategias y actividades planteadas en el plan de trabajo.
Los aspectos a considerar en relación a este criterio son principalmente los siguientes:
? El cumplimiento de los formatos establecidos para la presentación
? La adecuación de los rubros presupuestarios cuyo financiamiento se solicita a las pautas
establecidas por el programa
? La adecuación de los montos totales y por rubro a los previstos por el programa (si existen
montos máximos prefijados). Esto significa también la existencia de un relativo equilibrio entre los
17
montos de los diferentes rubros presupuestarios.
? La coherencia de los montos presupuestados con los insumos materiales y humanos requeridos
para el desarrollo de las actividades del proyecto (tanto en términos de tipo de insumos como del
cálculo de sus cantidades)
? La concordancia de los flujos financieros previstos con el cronograma de actividades
? La adecuación de los costos unitarios (por beneficiario, por prestación, por tipo de actividad u otra
unidad establecida), dentro de márgenes aceptables, a los montos referenciales previstos por el
programa. Deberán solicitarse fundamentaciones de los desvíos.
? La verificación de las curvas requeridas a lo largo del período de subsidio para los aportes del
programa y los aportes locales. La mayoría de los programas plantean porcentajes decrecientes de
aportes propios y crecientes de aportes locales en el tiempo de ejecución del proyecto como
condición para la sustentabilidad futura.
? La justificación de las fuentes previstas para los aportes locales. Este aspecto es fundamental en
relación con la sustentabilidad económica futura del proyecto. Debe recordarse que, sobre todo en
el caso de proyectos sociales, los aportes locales no son exclusivamente monetarios, sino que
incluyen:
- valorizaciones de recursos humanos que aportan trabajo voluntario, profesional o no.
- valorizaciones de insumos aportados en especies por los gobiernos locales o por donaciones
en especies de empresas o de particulares.
- valorizaciones por la prestación de servicios de otras instituciones locales
- valorizaciones por el uso de equipamientos ya existentes o que se esperan como donaciones
del gobierno local, de instituciones, de empresas o de particulares.
- valorizaciones del uso de espacios y locales, propios, alquilados o cedidos en comodato o
préstamo para utilizar en actividades del proyecto.
Es aconsejable evaluar la verosimilitud de estos aportes a partir de la existencia de cartas de intención
o compromiso de los donantes futuros.
Cuando se trata de proyectos a ser ejecutados por entes gubernamentales locales esta justificación
debería fundamentarse además en la previsión de instrumentos legales para la futura incorporación
de las contrapartes comprometidas al presupuesto público.
18
Como se trata de proyecciones futuras imposibles de verificar antes de la ejecución, a lo largo de la
gestión se irá analizando el efectivo cumplimiento de los aportes programados al comienzo y podrán
introducirse correcciones (incluso del propio convenio) en caso de que aparezcan dificultades. Pero
también deberían preverse sanciones (que pueden llegar a la posibilidad de interrumpir desembolsos)
en caso que los compromisos de aportes locales no se efectivicen según lo deseable.
? La pertinencia de las construcciones previstas
Adicionalmente, en caso de preverse construcciones (nuevas o refacciones), será necesaria una
evaluación “constructiva”. Esta no sólo debería incluir el análisis de la documentación legal (para
verificar la viabilidad de las obras en términos de la situación dominial del terreno o del edificio
existente) así como la adecuación de los planos a los requisitos del programa sino también aspectos
sustantivos de las obras previstas tales como la verificación de las dimensiones a los estándares
establecidos; la existencia de previsiones de medidas de seguridad o de accesibilidad sobre todo
cuando se trata de edificaciones destinadas a la atención de niños pequeños o discapacitados, etc....
EL PROCESO DE EVALUACIÓN: PASOS E INSTRUMENTOS
Como toda evaluación, ésta debe planificarse. Ello significa no sólo prever la secuencia de los pasos a
seguir hasta la toma de decisión sino fijar plazos y definir quienes participarán de cada uno de estos
pasos. No existe un modelo a tal efecto. Sólo se apunta aquí a efectuar algunos señalamientos que
pueden ser de utilidad para lograr mayor agilidad en el proceso decisorio, que, según muestra la
experiencia, suele ser lento y engorroso. La falta de oportunidad en las decisiones – con demoras que
llegan a veces a superar el año- puede implicar cambios en las condiciones de base del proyecto
presentado (por ejemplo en las necesidades y prioridades que justificaron la intervención prevista o,
más habitualmente, modificaciones en los equipos previstos para su ejecución).
Es conveniente traducir los criterios en instrumentos que permitan orientar las miradas de los
evaluadores (reducir la subjetividad), hacer transparentes y dar cuenta de los procesos
(“accountability”), y brindar fundamentos a las decisiones (tanto para los decisores como para los
19
solicitantes).
En este sentido, la mayoría de los criterios mencionados pueden traducirse en dimensiones (por
ejemplo: aspectos sustantivos, institucionales, presupuestarios y constructivos) y variables que a su
vez pueden ser “valorizadas” –en base a una ponderación que recuperará los aspectos más
definitorios del programa- mediante una grilla con sencillas escalas para la cuantificación. Ello puede
incluir la definición de categorías que orienten la adjudicación de puntajes dentro de la escala
propuesta. Se reitera que el sistema de puntajes es instrumental: permite establecer un ranking,
cuando se trata de un concurso donde deben seleccionarse algún o algunos proyectos o bien rechazar
proyectos cuando el puntaje obtenido no alcanza un mínimo establecido.
Pero en todos los casos debe fundamentarse “en prosa” la valoración cuantitativa adjudicada. Los
criterios mencionados no son excluyentes, pues todos son perfectibles y promovibles durante la etapa
de ejecución; de ahí la importancia de esta evaluación previa, ya que permite no sólo introducir
ajustes en el diseño sino formular recomendaciones básicas para el período de ejecución y por ello
también es importante que las áreas operativas del programa se involucren o tomen conocimiento,
en determinados momentos, del proceso evaluativo.
Otro factor que puede contribuir a la transparencia es precisar de antemano los criterios que se
utilizarán para desestimar un proyecto. Algunos ya se han mencionado tales como la falta de
correspondencia del proyecto con los objetivos institucionales del organismo financiador o la falta de
antecedentes institucionales mínimos en gestión social. A título de ejemplo se pueden agregar:
? Concepciones inadecuadas en el abordaje de trabajo: es decir, no coincidentes con el marco
conceptual del programa. Por ejemplo en un proyecto destinados a niños y adolescentes en
situación de riesgo, los “hogares” con modalidades tradicionales, “cerrados” y con una cantidad
grande de “internados” que impiden su trato personalizado, que no incluyen actividades de
inserción en las familias (propias o sustitutas); o bien aquellos proyectos que proponen
actividades puntuales, acotadas en las temáticas y en los tiempos de inserción de los
beneficiarios, cuando se supone que para influir en las concepciones y lograr cambios en las
20
actitudes y conductas, se requiere integralidad e involucramiento de los beneficiarios durante un
tiempo considerable.
? Desconexión entre el problema planteado y la solución propuesta; el justificar la existencia de una
problemática no implica que la estrategia propuesta sea correcta.
? Solicitud de financiamiento de actividades que implican superposición o duplicación de recursos:
éste es por ejemplo el caso de proyectos de organizaciones no gubernamentales que solicitan
recursos para actividades educativas y sanitarias que realizan las respectivas áreas del sector
público.
? Proyectos que responden a intereses institucionales espúreos, tales como solicitar fondos para
hacer lo mismo que ya se venía haciendo, sin fundamentar mejoramiento de la calidad de las
acciones, ni inclusión de nuevas actividades, ni aumento de cobertura o bien utilizar una
organización como “pantalla” para otra organización que no cumple con los requisitos exigidos.
Si se prevé como modalidad la existencia de una etapa de precalificación, es importante realizar un
proceso local de convocatoria pública con una fecha límite de presentación. Puede existir una
modalidad centralizada de evaluación (como en el caso de fundaciones u organismos internacionales)
que se limita a emitir un juicio acerca de la posibilidad o no de presentación posterior del proyecto
definitivo. Pero si por ejemplo se trata de un programa de alcance nacional a implementarse en
diversas jurisdicciones (provincias, municipios, etc..) es conveniente involucrar la perspectiva de
actores locales relevantes en la temática social de referencia (Foros, Universidades, Areas
Ministeriales, etc.) coordinados por un representante del programa encargado de trasmitir a ese nivel
los criterios generales de la precalificación y de articular en un informe las conclusiones obtenidas. Las
propuestas y organizaciones preseleccionadas deberán contar con un plazo establecido para la
presentación de los proyectos ya en su diseño detallado.
El proceso de evaluación de los proyectos definitivos debe contar con las dimensiones y variables
definidas y los instrumentos diseñados y es necesario adjudicar responsabilidades claras para dicho
proceso. Generalmente la unidad o área de evaluación del nivel central tendrá la responsabilidad
primaria pero se requiere una intensa interacción entre el o los evaluadores y los que programaron y
21
conducirán su ejecución. Por otra parte se resalta la necesidad de constituir equipos que integren
consultores con diferentes perfiles profesionales en particular para la evaluación de los aspectos
sustantivos y presupuestarios; para los aspectos legales y constructivos, si no se dispone de
profesionales especializados, se procurará el apoyo y la intervención de las respectivas áreas
operativas que suelen incluir este tipo de perfiles.
En base a los instrumentos de evaluación diseñados, se establecerá la secuencia de análisis de cada
una de las dimensiones y cada especialista realizará una primera evaluación . Este proceso debería
incluir formal o informalmente instancias intensas de interacción para la confección de un informe
provisorio que integre los distintos análisis (técnico, económico, constructivo y legal) e incluya la
formulación de observaciones y eventuales solicitudes de ajustes.
Como se ha mencionado en diversas oportunidades, este proceso requiere de apreciaciones
fundamentadas en el conocimiento más cercano de las organizaciones y las necesidades y demandas
locales y no exclusivamente en la lectura documental. Una forma de lograr este objetivo es mediante
la participación de actores locales, sean representantes de la organización central o, como fuera
sugerido para la precalificación, mediante la conformación de comités locales de evaluación para
discutir y acordar las evaluaciones, las observaciones y los pedidos de ajustes elaborados. Otra forma
de lograrlo, aunque quizás menos eficiente, si existe una masa considerable de proyectos a evaluar,
es la propia evaluación en terreno del equipo central de evaluadores mediante consultas a
informantes clave y a entrevistas con miembros de la organización.
Las organizaciones solicitantes deberían tener la posibilidad de una instancia de ajuste: por lo tanto
deberían disponer de las observaciones y recomendaciones emergentes del informe evaluativo con un
plazo para enviar las respuestas, salvo cuando las debilidades de la versión original fueran excesivas
(por ejemplo no alcanzan el puntaje mínimo requerido o presentan alguno de los criterios de
descalificación). Ello dará lugar a una nueva evaluación de los proyectos corregidos en respuesta a las
solicitudes de ajustes y a una reelaboración de los informes.
22
El proceso debería concluir con una instancia de deliberación político-técnica donde participen los
responsables de las distintas áreas de la unidad central. En esta instancia, las/los evaluadoras/es
exponen las conclusiones, fundamentaciones y recomendaciones para su consideración, discusión y
final ratificación, desestimación o inclusión en un banco de proyectos3.
Se procuró explicitar el proceso y algunos de los principales criterios a utilizar en la evaluación de un
proyecto social en su etapa de formulación y diseño, pero es importante destacar también que hay
una mirada evaluativa global, una impresión acerca de un proyecto, que supera el análisis
detallado, en el sentido que no es una simple sumatoria de sus partes. Esa mirada global comienza,
en general, en la primera lectura, donde el/la evaluador/a opina acerca de lo atractivo de la idea, la
relevancia del área temática, la prioridad de la población objetivo y de la problemática respectiva, el
carácter innovador de la forma de abordaje, entre otros aspectos; seguidamente realizará la lectura
detallada, procurando justificar o desechar esa impresión global e inicial y finalmente, hay otra
relectura, más allá del detalle, aunque teniendo en cuenta todos los análisis efectuados, donde se
aprecia el proyecto en su totalidad, sus potencialidades y sus riesgos, y se concluye apoyarlo, con
recomendaciones para el fortalecimiento de algunas aristas débiles, o bien desestimarlo por
considerarlo inadecuado o no viable. El proceso evaluativo (no tan sólo el ex ante) es un camino con
bifurcaciones, altos y bajos, idas y vueltas, lejos de la linealidad. Por otra parte, como se ha visto, no
debería ser una tarea llevada a cabo en soledad por un/a experto/a, sino que tiene momentos de
análisis unipersonal y momentos de trabajo en equipo, de discusiones y acuerdos, y donde
intervienen distintos actores en diferentes etapas.
Bibliografía
Aguilar Idañez, María José y Ander-Egg, Ezequiel (1994) Evaluación de servicios y programas sociales.
E. Lumen, Colección Política, Servicios y Trabajo Social. Buenos Aires.
Nirenberg, Olga, Brawerman, Josette y Ruiz, Violeta (2000) Evaluar para la Transformación:
3 Ello es conveniente, cuando por ejemplo la oferta de proyectos excede las posibilidades del financiamiento por jurisdicción o línea de acción y en base al ranking establecido, algunos de ellos, aún aceptables, quedan excluidos.
23
innovaciones en la evaluación de programas y proyectos sociales. Paidós, Tramas Sociales. Vol.
8. Buenos Aires.
Nirenberg, Olga (2001) La evaluación ex ante de proyectos: procesos y criterios. Programa de
Atención a Niños y Adolescentes en Riesgo. Documento interno. Ministerio de Desarrollo Social
de la Nación. Buenos Aires.
Sulbrandt, José (1994) “La evaluación de los programas sociales: una perspectiva crítica de los
modelos usuales”, en Kliksberg, B. (comp.), Pobreza, un tema impostergable, nuevas
respuestas a nivel mundial, Fondo de Cultura Económica, México.
Reseña Biográfica
La autora es socióloga (Universidad Nacional de Buenos Aires) con estudios de postgrado en
Planificación Social.
En la actualidad es responsable del área de Monitoreo y Evaluación de la Unidad Coordinadora
Ejecutora de Programas Materno Infantiles y Nutricionales del Ministerio de Salud de la Argentina.
Integra también el equipo técnico del Centro de Apoyo al Desarrollo Local – CEADEL - Organización no
Gubernamental de la Argentina, que desarrolla proyectos sociales y brinda apoyo técnico a equipos
gubernamentales o de la sociedad civil, que trabajan en escenarios locales en temas de política social
y desarrollo local. En particular, ha participado de un programa de “Desarrollo de un modelo
evaluativo para sistemas locales de salud”.
En la última década ha sido consultora externa de UNICEF Argentina en diversas tareas entre las
cuales el desarrollo metodológico y asesoramiento a diversas jurisdicciones del país para la realización
de Censos de Talla a Escolares de Primer Grado, la autoría y co-autoría de publicaciones y
documentos de trabajo, el asesoramiento a gobiernos provinciales para la reformulación de sus
programas alimentarios, y la participación en la evaluación de la estrategia de centros de desarrollo
infantil.
Ha sido consultora en evaluación para otros programas nacionales de la ex Secretaría de Desarrollo
24
Social de la Nación (Programa de Fortalecimiento de la Sociedad Civil y Programa de Atención a Niños
y Adolescentes en Riesgo –PROAME-).
Anteriormente, había sido consultora del Centro Interamericano de Desarrollo Social de la OEA para la
Evaluación de los Impactos Nutricionales y Educacionales y Costo Efectividad del Programa y
participado de evaluaciones organizacionales de diversas instituciones públicas y privadas.
Dirección postal: Perón 2292, 8º 20. Buenos Aires (1040). Argentina
TE: (54) 11 – 4952 – 6536.
Email: [email protected]