diapositivas, materia de planificación y elaboración de proyectos_3.pdf

60
Profesor: Alberto Bonadona Cossío

Upload: gqmwilson

Post on 07-Dec-2015

26 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Profesor: Alberto Bonadona Cossío

Page 2: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

El Marco Lógico

Introducción

Page 3: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Análisis y

aprobación

Ejecución

Evaluación

ex-post

Identificación de

ideas de proyecto

1

Definición

de objetivos2

Diseño3

4

5

6

Page 4: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Los participantes están capacitados para utilizar la técnica del marco

lógico como instrumento para la

planificación. GENERALES

ESPECÍFICOS

Entienden conceptos y pueden

aplicarlos en el diseño y conceptua-

lización de proyectos.

Los participantes entienden cómo este método es utilizado en las

diferentes etapas del proyecto.

Reflexionan sobre cómo el MLpuede ser aplicado en sus

áreas de trabajo, actuales o

potenciales.

Page 5: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

lógico ?

Page 6: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Los Proyectos

carecían de la -

precisión requeri-

da al incorporarmúltiples objetivos

en un mismo nivel

sin que esten

directamente rela-cionados con las

actividades o

componentes de

los proyectos.

1 2 3

Los proyectos

no eran ejecutadosexitosamente. No

quedaba claro el

alcance de la

responsabilidaddel gerente del

Proyecto o gerentes

de componentes (o

agencia ejecutora). Entrega de resultados,

rendición de cuentas.

No había una

idea clara respec-

to de cómo deter-

minar si un proyec-

to había sido exi-

toso, y los evalua-

dores carecían de

una base “objeti-

va” para compa-

rar lo planeado

con lo ejecutado.

Page 7: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Proyecto entrega resultados especificados

en la programación, cantidad y calidad

(Responsabilidad)

Llegan los resultados a los

beneficiarios apropiados (Eficacia)

Calendario de ejecución y entrega de

resultados se cumplen óptimamente (Eficiencia)

Los recursos del programa se utilizan

de manera apropiada (Transparencia)

Page 8: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Evaluación Ejecución

Diseño

MARCO

LÓGICO

Una

herramienta

para fortalecer

el diseño, la

ejecución y la

evaluación de

Proyectos.

Page 9: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

ANALISIS DE INVOLUCRADOS

ANALISIS DE PROBLEMAS

ANALISIS DE OBJETIVOS

ANALISIS DE ALTERNATIVAS

Page 10: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

FIN Opcion 1

PROPOSITO Opcion 2

COMPONENTES

ACTIVIDADES

SECUENCIA DE PREPARACION DE UN PROYECTO

Problemas

Involucrados

MARCO LOGICO

Objetivos

Alternativas

Page 11: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

• Un determinado sector o grupo de la población1

• Una organización (Ministerio, Entidad Pública, etc.)2

• Un grupo o comunidad social3

Intereses relacionados con cambios de prácticas o actitudes requeridos, deseados o

factibles desde el punto de vista del grupo meta (beneficiario final del proyecto), o sea de:

Define

Qué cambios o grado de compromiso son deseables

desde el punto de vista de los organismos públicos

o privados, gerencia de organizaciones, autoridades, etc. vinculados con el proyecto.

Define

1

Page 12: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Los mandatos, capacidades o recursos -actuales

y potenciales- que tienen los involucrados con

relación a la problemática que intenta solucionar

el proyecto, incluyendo posibles organismos que

participan en la ejecución del proyecto.

2

Qué contribuciones externas al organismo ejecutor

se necesitan para ejecutar

el proyecto y entregar óptimos resultadosplanificados para el proyecto.

Qué mandatos, funciones, recursos,

políticas, jerarquía y prioridades

tienen los organismos participantes conrelación al funcionamiento del proyecto.

Establece

Establece

Establece

Page 13: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Toda norma escrita, como ser leyes,

estatutos, manuales, o no escritas como

ser usos y costumbres, obligaciones morales o religiosas que colocan a un

involucrado o grupo de interés en la

situación de participar, contribuir y

comprometerse con un proyecto.

ES:

EJEMPLOS

La ley de municipalidades obliga al alcalde participar de un proyecto de ordenamiento territorial.

El estatuto de un sindicato obliga a los dirigentes defender los intereses de

sus bases.

Page 14: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Grupos Intereses Problemas

Percibidos

Recursos,

capacidades

y mandatos

Interés en

el proyecto

Conflictos

potenciales

Page 15: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Redactar el (los) problema(s) percibido(s) por los

involucrados

(evitar la ambigüedad)

Escribir cada problema en una tarjeta o casilla.

Evitar el uso de frases negativas (No hay, no existe).

Identificar únicamente los problemas existentes,

no problemas posibles o potenciales

Ejemplo:

• No es correcto decir: No hay pesticidas

• Correcto es: La cosecha es destruida por plagas

Un problema no es la ausencia de una solución.

Es un estado existente que refleja un

obstáculo para lograr algo

Page 16: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

•ANALISIS DE INVOLUCRADOSA

•ANALISIS DE PROBLEMASA

•ANALISIS DE OBJETIVOSA

•ANALISIS DE ALTERNATIVASA

Page 17: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

• Analizar la situación existente en relación con la

problemática identificada.1

Es una Técnica para:

• Identificar los problemas principales, sus relaciones

causa y efecto e interrelaciones 2

• Visualizar dichas relaciones en un diagrama: el

árbol de problemas3efecto

causa

Page 18: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Primeramente, incluir problemas del

Cuadro de Involucrados. Colocarlos

de acuerdo a sus relaciones de causa-efecto.

Revisar el diagrama completo. Verificar su

Validez e integridad. La importancia de un

problema no está determinada por su ubicación.

Preparar diagrama, trazando flechas que

muestren las interrelaciones entre los problemas

Si es necesario para completar el análisis

añadir otros problemas relevantes.

No es necesario colocar todos los problemas

que figuran en el Cuadro de Involucrados.

Page 19: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Redactar el (los) problema(s) percibido(s)

por los involucrados

(evitar la ambigüedad)

Escribir cada problema en una tarjeta o casilla.

Evitar el uso de frases negativas (No hay, no existe).

Identificar únicamente los problemas existentes,

no problemas posibles o potenciales

Ejemplo:

• No es correcto decir: No hay pesticidas

• Correcto es: La cosecha es destruida por plagas

Un problema no es la ausencia de una solución.

Es un estado existente que refleja un

obstáculo para lograr algo.

Page 20: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

•ANALISIS DE INVOLUCRADOSA

•ANALISIS DE PROBLEMASA

•ANALISIS DE OBJETIVOSA

•ANALISIS DE ALTERNATIVASA

Page 21: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

•Describir una situación que podría existir

después de solucionar los problemas1

Es una Técnica para:

• Identificar las relaciones medios-fines

entre los objetivos establecidos2

• Visualizar las relaciones medios-fines en un

diagrama: el árbol de objetivos.3

Fin

medio

Page 22: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Primeramente, Redactar todas las condiciones Negativas del árbol de problemas en forma de

condiciones positivas (objetivos) de acuerdo a sus

relaciones de medios-fin.

Revisar el diagrama completo. Verificar su

validez e integridad determinando las relaciones

medios-fines.

Preparar diagrama, trazando flechas que

muestren las interrelaciones entre los objetivos.

Los objetivos deben ser deseables y realizables

en la práctica.

Se puede completar el análisis añadiendo

algunos objetivos relevantes y necesarios.

Page 23: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

•ANALISIS DE INVOLUCRADOSA

•ANALISIS DE PROBLEMASA

•ANALISIS DE OBJETIVOSA

•ANALISIS DE ALTERNATIVASA

Page 24: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

•Identificar soluciones alternativas que puedan

llegar a ser estrategias del proyecto1

Es una Técnica para:

• Evaluar estas posibles estrategias2

• Determinar la estrategia a ser adoptada por

el proyecto3

Page 25: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Primeramente, identificar los objetivos a excluir porque no son deseables o factibles

Aplicar los criterios apropiados y/o requeridos para seleccionar la estrategia del proyecto.

Identificar diferentes relaciones de medios

y fines” como posibles estrategias

alternativas para el proyecto.

Seleccionar alternativas que, en opinión del

grupo, representan las mejores alternativas.

Page 26: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Problemas e intereses de los involucrados.

Recursos y mandatos de los involucrados.

Recursos a disposición del proyecto.

Probabilidad de alcanzar los objetivos.

Horizonte del proyecto.

Factibilidad política.

Análisis de costo-beneficio.

Costo-efectividad de la estrategia.

Efecto sobre el flujo de caja.

Criterios ambientales.

Criterios de género.

Riesgos sociales.

Sustentabilidad o viabilidad.

Otros.

Page 27: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Para planificarSistema

estructurado

y comunicar

en un solo

cuadro

La información

más importantesobre un proyecto

MATRIZ

4X4

Page 28: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

AB

C C

onsu

ltor

esA

BC

Con

sult

ores

Entonces

Entonces

Entonces

si

si

si

Fin

Propósito

Componentes

Actividades

Page 29: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Proyecto

Teóricamente

no hay límite

Normalmente 4 ó 5

niveles en la jerar-

quización de obje-

tivos son suficien-

tes para la planifi-

cación de un pro-

yecto.

Page 30: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Componen-

tes

Contribuir a la reducción de enfer-

medades causadas por

impurezas en el agua

La población rural sigue

prácticas higiénicas

1. Comunidades en la región occidentalabastecidas de agua potable.

2. Personal de servicios de salud públicacapacitados.

Propósito

Page 31: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

1.1 Seleccionar sitios para pozos

1.2 Organizar a los trabajadores de campo

1.3 Excavar pozos.

2.1 Desarrollar el curriculum

2.2 Reclutar al personal de servicios de salud

2.3 Realizar los cursos de capacitación

Activida-

des

Page 32: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Qué son:

No son:

Logros

Exitos

Metas

cumplidas Trabajos

a realizar

Tareas a

cumplir

Page 33: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Propó-

sito

Compo-

nentes

Activi-dades

Conceptos importantes:

• Separar causa del efecto

• Usar frases sencillas y breves

• Eliminar múltiples objetivos

Cuál es la finalidad del proyecto?

• Los beneficios y

• el impacto a nivel sectorial

Porqué se lleva a cabo el proyecto?

• (impacto directo, resultado

de utilizar los componentes.

Qué debe ser producido por el Pro-

yecto?

Cómo se producirán los componen-

tes?

Page 34: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

FIN

PROPOSITO

COMPONENTES

ACTIVIDADES

PROYECTO 4

PROYECTO 3

PROYECTO 2

PROYECTO 1FIN

Page 35: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Propósito

Notar:El propósito debe

contribuir significati-

vamente al logro del fin

Los Componentes/Resul-

tados son necesarios para

lograr el Propósito.

Componente

Actividades Actividades Actividades Actividades

Componente

Page 36: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Por qué se lleva a cavo el

proyecto?

¿Por qué, en última instancia, se lleva a cabo

el proyecto?Indica cómo el proyecto contribuirá a solucionar un problema de desarrollo a nivel sectorial, regional o nacional. (Impacto)

¿Por qué se lleva a cabo el proyecto?

Describe el impacto directo o resultado directo obtenido de la utilización de los componentes. (Efecto)

¿Qué debe producir el proyecto?

Son los bienes y servicios que debe producir el ejecutor, de acuerdo con el contrato del proyecto. (Deliverables)

¿Cómo se producirán los Componentes?Actividades principales que implican uso de recursos, que el ejecutor debe llevar a cabo

para producir cada Componente. Se colocan, para cada Componente, en orden cronológico.

Fin

Propósito

Componentes

Actividades

Page 37: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Temporales1 Consistentes

Viables2

Verificables3

4

Cuantitativos5

Cualitativos6

Page 38: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Propósito

Técnicas e infraestructura

agrícola mejoradas(factores controlables por

el proyecto)

Productividad en el cultivo

de arroz incrementada.(Factores no controlables

por el proyecto).

Co

mp

on

en

tes Sistema de riego mejorado ha sido introducido1

Red de comercialización de insumos agrícolas2

Labranza mínima desarrollada e introducida3

Page 39: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Proporcionan la base para el monitoreo

y la evaluación1

Muestran cómo puede ser medido el

desempeño de un proyecto2

Especifican de manera precisa cada

objetivo (componentes, propósito, fin)3

Establecen metas para medir en qué

medida se ha cumplido el objetivo: éxito4

Page 40: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Propó-

sito

Compo-

nentes

Activi-dades

Indicadores

Indicadores

Indicadores

Resumen del

presupuesto

Conceptos importantes:

• Si lo podemos medir,

lo podemos administrar

• Los indicadores deben

expresarse en términos

de cantidad, calidad y

tiempo o plazo.

• Los indicadores a nivel

de Propósito miden el

efecto al terminar laejecución del proyecto.

Page 41: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Objetivo1

Verificableobjetivamente2

Práctico3

Indepen-diente

4

Page 42: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

1

AB

C C

onsu

ltor

es

Identifican la evidencia que

demostrará los logros obtenidos en cada

nivel.

Los logros pueden ser verificados en

forma “objetiva”a fin de que el ejecutor,

supervisor y el evaluador puedan llegar

a un acuerdo sobre lo que la evidencia

implica.

Page 43: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

2

AB

C C

onsu

ltor

es

Medir lo que es importante.

Establecer metas específicas:

•¿Cuánto? - Cantidad

•¿De qué tipo? - Calidad

•¿Cuándo? - Tiempo

•¿Dónde? - Lugar/Area

¿ Para quién? - Grupo meta

Page 44: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

1er. Paso Identificar

el indicador

Los pequeños agricultores

mejoran el rendimiento dearroz.

2do. Paso Cantidad

1.000 pequeños agricultores

(2Has ó menos) aumentan el

rendimiento del arroz 40%(de “x1” a “x5”)

3er. Paso Calidad

1.000 pequeños agricultores

(2Has ó menos)aumentan el

rendimiento (de “x1” a “x5”)manteniendo la calidad de 2002

1

Page 45: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

4to. Paso Tiempo

1.000 pequeños agricultores

(2 Has o menos) aumentan

el rendimiento promedio de

arroz en un 40% (de “x1” a “x5”)

entre oct. de 2003 y oct de

2007, manteniendo la misma

calidad (e.g., peso de losgranos) de la cosecha de 2002.

2003 2004 2005 2006 2007

RendimientoPeso en

Gramos

X1Y1

X2Y2

X3Y3

X4Y4

X5Y5

2

Page 46: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

1er.

Paso

Identificarel indicador

Mujeres líderes de la región de Mantilla están

capacitadas para comprender la situación

diferenciada de género.

2do.

PasoCantidad

De 200 mujeres promocionadas (entre 20 a 50

años) en la región de Mantilla son elegidas 40

por sus comunidades, 30 están capacitadas

para comprender la situación diferenciada de

género.

3er.

PasoCalidad

De 200 mujeres promocionadas (entre 20 a 50

años) en la región de Mantilla, 40 son elegidas

por sus comunidades, 30 están capacitadas,

después de un proceso de evaluación para

comprender la situación diferenciada de

género, son capaces de expresar sus

sentimientos y argumentan sus posiciones

en reuniones públicas.

3

Page 47: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

4to. Paso Tiempo

De 200 mujeres promocionadas (entre

20 a 50 años) en la región de Mantilla

40 son elegidas por sus comunidades,

30 están capacitadas después

de procesos de evaluación a los 6 y 9

meses para comprender la situación

diferenciada de género, son capaces

de expresar sus sentimientos y

argumentan sus posiciones en

reuniones públicas al cabo de 1 año.

Promo Selec Cap 1 Cap 2 Reu Pub

Elección y selección

Procesos

200Reuni-ones

40Elec-ción

40Prue-ba 1

36Prue-ba 2

30Participa-ción Pub.

4

Page 48: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Notas

Con frecuencia es necesario formular másde un indicador para especificar diferentes

aspectos de un objetivo.

Debe proporcionarse metas para diferentesmomentos (e.g., anuales) para permitir el

monitoreo periódico de los componentes.

Si hay problemas de información, debe buscarse otros indicadores o agregar una

actividad para obtener información

Si la verificación de un indicador es muy

compleja, o si los cambios tendrán lugar

después de tiempo, debe buscarse indi-

cadores “proxy” o sustitutos.

Page 49: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Conceptos importantes:

Los Indicadores y medios

de verificación:

• Deben ser prácticos y

económicos.

• Proporcionan la base

para supervisar y eva-

luar el proyecto.

Fin

Propósito

Componentes

Actividades

Mediosde

Verificación

Mediosde

Verificación

Mediosde

Verificación

Medios

de Verificación

Page 50: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

?Como se obtienela evidencia

Fuentes oficiales de información

Recolección de datos o información especial

¿Quién financiará estas actividades?

¿Quién ejecutará estas actividades?

¿Qué cantidad razonable de informa-

ción se requiere?

Page 51: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Propósito

Componentes

Actividades

Conceptos importantes:

•Supuesto es la inversa

del riesgo: afirmación en

positivo del riesgo.•Aclarar o refinar los

supuestos que son

demasiado generales.

•Analizar la importancia yprobabilidad de los mis-

mos.

•Incluir acciones para ad-

ministrar los supuestos du-rante la ejecución.

Supuestos(Sustentabilidad)

Supuestos

Supuestos

Supuestos

Page 52: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Fin

Propósito

Componentes

Actividades

Supuestos

(Sustentabilidad)

Supuestos

Supuestos

Supuestos

Page 53: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

3

2

1

4

¿Es importante?

¿Es externo al

proyecto?

SI NO (no incluir)

SI NO (no incluir)

No es probable

Probable(=Supuesto)

Muy probable(No incluir)

¿Cuál es la probabilidad de que

ocurra?

¿Puede ser rediseñado

el Proyecto?SI

(rediseñar el proyecto)NO

(supuesto fatal - Pare!)

Page 54: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

1

1. • Objetivo específico contractual: Instalar una

capacidad para operación posterior.

A) Ejecución y Operación diferenciadas en el tiempo.

Para utilizar adecuadamente el ML como instrumento de control de gestión, es necesario distinguir entre dos tipos de proyectos:

B) Producto principal: Bienes y Obras.

C)La responsabilidad de ejecución se cumple con la

entrega de componentes

D) Realización de Própósito posterior a la ejecución

E) Ejemplo: Proyectos de Infraestructura

Page 55: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

2

2. • Objetivo específico contractual:

Cumplir metas de atención

A) Ejecución y Operación se confunden

B) Producto principal: Servicios

C)La responsabilidad de ejecución abarca entrega de

componentes y logro de propósitos (así sea parcial)

D) Realización de Propósito durante la ejecución.

E) Ej.: proyecto de vacunación, Proyecto de Capacitación

Page 56: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

SupuestoIndicador

Fin

Propósito

Componente

Actividad

Concepto

Ambito de responsabilidad directa Elementos referenciales, bajo observación

Verificación

Page 57: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Verificación SupuestoIndicador

Fin

Propósito

Componente

Actividad

Concepto

Ambito de responsabilidad directa Elementos referenciales, bajo observación

Page 58: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Edgar Ortegón, Juan Francisco Pacheco, Adriana Prieto, (2005), Metodología

del marco lógico para la planificación, el seguimiento y la evaluación de

proyectos y programas, Instituto Latinoamericano y del Caribe de

Planificación Económica y Social (ILPES) Área de proyectos y programación

de inversiones, Santiago de Chile, julio, 2005.

Eleodoro Iñigo Oyarzun, Roberto Barna Juri, (2002), Formulación de

proyectos de salud de acuerdo a metodología Marco Lógico, Diploma en

Salud Familiar, Facultad Ciencias Médicas, Universidad De Santiago De

Chile.

Bonadona Cossío, Alberto, (2009), Manual de Capacitación para la

Formulación del Marco Lógico, La Paz, Septiembre de 2009.

Page 59: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf

Bonadona, Alberto y Dino Palacios, Introducción al Marco Lógico,

Universidad Andina Simón Bolívar, Sucre, 2000.

La Unión Europea (1999) Project Cycle Management Training Handbook.

EU, mayo, 1999.

Banco Interamericano de Desarrollo-BID, Oficina de Evaluación, (1997)

Evaluación: Una herramienta de gestión para mejorar el desempeño de

los proyectos. Washington, D.C. USA.

Comisión Económica de las Comunidades Europeas, (1993), Manual de

Gestión del ciclo de un proyecto. Enfoque integrado y Marco Lógico. Serie

Métodos e Instrumentos para la gestión del ciclo de un proyecto. No.1 Febrero

de 1993.

Page 60: Diapositivas, materia de Planificación y elaboración de proyectos_3.pdf