¿cómo medir el impacto de las políticas de ciencia y ... · revista cts, nº 4, vol. 2, enero de...

Revista CTS, nº 4, vol. 2, Enero de 2005 (pág. 125-146)

125

El objetivo de este trabajo es hacer una revisión conceptual de la noción de impactoasociada a las políticas de ciencia y tecnología, así como proponer algunas estrategiaspara su medición. Se presentan, además, algunas aplicaciones empíricas de esteconcepto, tomando como ejemplo el impacto de dos programas nacionales de ciencia ytecnología en Colombia: el Programa Nacional de Biotecnología y el Programa Nacionalde Ciencias Humanas.

Palabras clave: impacto social, políticas de ciencia y tecnología, indicadores ymedición del impacto.

The goal of this article is to perform a conceptual revision of the concept of impact

related to science and technology policies, as well as proposing strategies for its

measurement. In addition, there are presented some empirical applications of this

concept, taking as example the impact of two national programs of science and

technology in Colombia: the National Program for Biotechnology and the National

Program for Human Sciences.

Key words: social impact, science and technology policies, indicators and impact

measurement.

¿Cómo medir el impacto de las políticas de ciencia ytecnología?

José Luis Villaveces ([email protected])Luis Antonio Orozco

Doris Lucía Olaya Diego Chavarro

Elizabeth SuárezObservatorio Colombiano de Ciencia y Tecnología, Colombia


José Luis Villaveces et al.

Sobre la noción de impacto

Es natural que un sistema social se pregunte por el efecto de la ciencia y latecnología, y a esto hace referencia la noción de impacto.1 El uso de este términoparece provenir de una metáfora balística, cargando así con el poder y lasdebilidades de esta metáfora. En este sentido, denota los efectos sobre un enteexterno al que produce la causa: el cazador dispara y el “impacto” recae sobre supresa o se pierde provocando un “impacto” positivo o nulo. Por el contrario, si hierea su compañero de cacería tal vez se hablará de “impacto” negativo. En cualquierade los casos, el término hace alusión a una acción premeditada con efectosdeseados que pueden lograrse o no.

En el marco de estas ideas, el análisis de impactos debe tener en cuenta lasconsecuencias buscadas, las actividades programadas y realizadas con los mediosadecuados, los resultados producidos por tales actividades, y la relación entre éstosy las intenciones declaradas. Así, mejor que estudiar el impacto de la ciencia y latecnología sobre la sociedad como un conjunto vago de actividades, parece másinteresante estudiar el impacto de las políticas de ciencia y tecnología. Esta ópticaserá desde la cual se abordarán las ideas de este trabajo.

Un análisis de impacto debe incluir: un estudio del programa de trabajo, esto es, dela expresión de unas intenciones originales y sus propósitos; un análisis de losmedios puestos en obra y de su adecuación frente a los propósitos expresados; y unrecuento de los resultados obtenidos después de un tiempo prudencial.2 Aun así, lanoción de impacto es imprecisa. Cabe destacar que está relacionada con la nociónde efecto y que también supone la noción de causa. No hay efectos sin causa y nohay impactos sin programa intencionado que los busque.

126

1 El uso de la expresión “impacto” en este contexto es problemático y parece una de esas transliteracionescaras a los tecnócratas, que vierten palabras del inglés a aquellas que les parecen similares en español, sinningún control de calidad, más o menos como traducir “several masters” por “maestros severos”. Según laReal Academia de la Lengua Española, “impacto” es: “(Del lat. tardío impactus). 1. m. Choque de un proyectilo de otro objeto contra algo. 2. m. Huella o señal que deja. 3. m. Efecto de una fuerza aplicada bruscamente.4. m. Golpe emocional producido por una noticia desconcertante. 5. m. Efecto producido en la opinión públicapor un acontecimiento, una disposición de la autoridad, una noticia, una catástrofe, etc.” En el DiccionarioWebster’s encontramos que “impact” en inglés es: “Non. 1. The striking of one body against another. 2. Aforceful consequence; ‘the book had an important impact on my thinking’. 3. Influencing strongly: ‘theyresented the impingement of American values on European culture’. 4. The violent interaction of individuals orgroups entering into combat.” La segunda y tercera acepciones de la palabra en inglés recuerdan el sentidoque nuestros tecnócratas le dan: consecuencia importante o algo que tiene una fuerte influencia.2 La idea de tiempo prudencial es importante, ya que cualquier tipo de propósitos requiere de un tiempo paraser logrado y la duración razonable depende de muchas cosas, entre las cuales están: la naturaleza delpropósito buscado, los medios puestos en juego y las circunstancias externas que afectan favorable odesfavorablemente el proceso.


127


Los resultados como medida del impacto

Para medir impactos es necesario poner atención en las consecuencias de la acciónintencional cuyo impacto interesa. Así, el impacto se mide constatando los resultadosy poniéndolos en correlación con la intención inicial.

Hay resultados tangibles e intangibles, previstos e imprevistos, que afectan sólo algrupo que los produjo o que afectan a grupos más amplios de la sociedad.Llamaremos productos a los resultados tangibles, verificables y puestos encirculación, que son sin duda los más fáciles de medir; logros a los resultadosprevistos y obtenidos, cuyo indicador es la medida del grado de acuerdo entre loprevisto y lo obtenido; y, por último, denominaremos efectos a los resultados cuyoámbito trasciende al del grupo de referencia, teniendo en cuenta, además, que losefectos más importantes son los que se hacen sentir en toda la sociedad.

La medición de impactos centra una importante atención sobre los productos. Suprimera característica es que son claramente medibles y se puede asegurar suexistencia, su cantidad y su calidad. El punto central es el énfasis en las condicionesde tangibilidad, verificabilidad y circulación de los productos. Para asegurar la calidadde la información que se tiene sobre los productos hay que realizar un control decalidad en, al menos, tres niveles: el nivel de la calidad formal del dato, es decir, quétan coherente y completa es la información que se tiene de un objeto en su estructurainterna (por ejemplo, un artículo sin identificación de ISSN de la revista en que sepublicó, ni título, no podría ser tenido en cuenta); el nivel de la existencia del producto(es decir, la verificación directa o indirecta de su existencia real); y el nivel de lacirculación (hay distintas formas de circulación dependiendo del tipo de producto alque nos enfrentemos). Varios tipos de productos de la ciencia y la tecnologíasatisfacen estas condiciones y presentan características propias. Los más típicos sonlos productos publicados, los productos registrados, las normas y leyes, y lasmercancías. La noción de “normalización” está muy ligada al control de la calidad.Solamente si se aceptan como norma ciertos lineamientos, ciertos parámetros, sepuede generar información sobre un objeto. Por supuesto, las normas toman tiempoen ser asimiladas por la comunidad.

Un elemento importante en la determinación de un efecto es la existencia de uncambio, de una transformación cualitativa o estructural en la sociedad o en un gruposocial amplio. Los cambios más fáciles de ver tienen relación con la economía, perolos más importantes afectan las condiciones de vida de las personas, y los másprofundos afectan la cultura. Entre los cambios más notables en el nivel micro estánlas transformaciones internas de las comunidades científicas, comenzando por laaparición de grupos humanos dedicados a un campo de la ciencia en particular ycontinuando con la consolidación a través de la producción y de la generación demecanismos de construcción de comunidad, tales como las revistas, lasasociaciones, los congresos e, incluso, los pregrados y postgrados. Todos estoselementos son evidencias tangibles y verificables del desarrollo de la comunidad y delos cambios cualitativos ocurridos en ella por acción de la política.



En un momento más avanzado emergen nuevas relaciones y fenómenos quepueden registrarse. Por ejemplo, la aparición de redes que demuestran las distintasformas de cooperación de los miembros de la comunidad es evidencia de lamaduración de ella. La red ha puesto en tensión a una gran cantidad de actores entrelos cuales hay expertos, científicos, técnicos y demás actores, que son igualmentenecesarios para la construcción de un nuevo objeto o una nueva noción. Así, unimpacto de importancia sería la transformación del campo de trabajo.

Los logros pueden ser fuente de la más clara medida de impacto. Sin embargo, esnecesario tener en cuenta que una medida de logro es una medida de segundoorden: no se mide directamente el resultado como tal, sino el grado de acuerdo entrelo propuesto y lo obtenido. Así, es preciso considerar dos observaciones: el resultadoy la intención declarada y, luego, el grado de acuerdo entre ambos. Por este motivoes que resulta tan importante concretar las medidas de impacto de la ciencia y latecnología a las del impacto de las políticas bien expresadas, en las cuales es factiblemedir este acuerdo. Una de las principales herramientas para ello ha sido el análisisde las actas de los Consejos de los Programas Nacionales de Ciencia y Tecnología.En las actas se deja constancia de la formulación de preguntas, de las discusiones yde la toma de decisiones. Además, son el espacio en el cual los distintos actores seencuentran, por lo que se constituyen en un elemento importante a la hora derelacionar las políticas con los proyectos, los resultados de los grupos, lacapacitación, la generación de redes y la aparición de productos. El acuerdo entre lopropuesto y lo obtenido pasa primero por una discusión en la que entran interesespersonales y colectivos y, de alguna manera, reflejan las tensiones y lasambivalencias que deben terminar en una decisión. Las actas pueden ser definidascomo un texto informativo que pretende dar cuenta de una serie de argumentacionesde distintos actores en torno a un problema específico y, por lo tanto, los análisis quese hacen deben ser discursivos. Algunas de las preguntas que pueden responder lasactas de los Consejos de Ciencia y Tecnología son ¿quiénes participan?, ¿quéproponen?, ¿cuáles son las discusiones? y ¿cómo se desarrollaron en el tiempo?

Este marco de referencia sirve apara contextualizar los proyectos que sonfinanciados, y que materializan en gran parte los acuerdos de voluntades que se danen los Consejos. A partir del seguimiento de esos proyectos se pueden ubicar susproductos y a partir de estos buscar los efectos que son evidentes cuando seencuentran sus usuarios.

Es importante tener en cuenta que aunque los impactos deben analizarse a partirde actividades programadas e intencionalmente dirigidas, muchas de ellas noalcanzan el impacto esperado porque encuentran obstáculos de distinta índole, oporque se desvían ya sea por mala planeación, por circunstancias cambiantes o porcualquier otra razón.

En cualquier caso, lo que cabe resaltar es que un programa es un motor quegenera actividades, y son éstas las que generan productos que al llegar a usuariospropician la aparición de efectos. Sólo una fracción de estos efectos está relacionadacon el impacto deseado.

128


129


Multicausalidad de los impactos

El análisis de impactos de la ciencia y la tecnología a partir de resultados conllevauna dificultad adicional a las que hemos mencionado: su multicausalidad. Esto quieredecir que cada uno de los resultados que puede llamar nuestra atención depende opuede depender de muchas causas, algunas explícitas y otras implícitas; unas bienidentificadas y otras desconocidas. Así, si se busca analizar el impacto de la cienciay la tecnología locales parece necesario aislar, dentro de esta multicausalidad, lafracción de interés, lo cual es una tarea difícil e, incluso, en muchos casos imposible.Como dice Callon (2001), para que la aviación ingrese a una sociedad como mediode comunicación con impacto social no basta con tener un avión, sino que hay quetener aeropuertos, radiofaros, torres de control, agencias de viajes, etc. Es decir, hayque construir de manera completa la red social tecno-económica que permita lautilización completa de la nueva tecnología. Este es el “capital social” que permite laendogenización de la ciencia y la tecnología en una nación.

Ciencia relevante

Se ha hecho frecuente vincular la idea de impacto de la ciencia y la tecnología con laidea de ciencia relevante o pertinente. Pero la relevancia o la pertinencia pueden serentendidas de muchas maneras distintas y no son cualidades objetivas, medibles overificables en ausencia de un contexto preciso y particular. La relevancia o lapertinencia son características esencialmente subjetivas, dependientes de unenfoque particular: se es pertinente con relación a una política peculiar o a un sistemade valores caracterizado previamente. La pertinencia depende de las opcionesideológicas de quien la define. Una vez más, si se quiere vincular la noción deimpacto con la de relevancia o pertinencia de las actividades de ciencia y tecnologíacomo se hace en gran parte de la literatura, lo indicado es medir el impacto de unaspolíticas con respecto a las cuales puede haber o no relevancia.3 Por tal motivo, másque mirar efectos concretos es preferible pensar de manera general. Tal como hapropuesto Hebe Vessuri, los indicadores del impacto de la ciencia y la tecnologíasobre el desarrollo en los países periféricos deberían ser pensados como“indicadores de capacidad científica y tecnológica”. Estos indicadores medirían laforma en que crece la capacidad local de asimilar, transformar, desarrollar, absorber,usar, generar y distribuir conocimientos, siendo esta forma independiente de

3 Dentro de ciertas formas de entender la política, la relevancia sólo tiene sentido en relación con elcrecimiento económico. Los indicadores apropiados de “impacto” están relacionados en consecuencia con elcrecimiento del PIB nacional o regional, con la cuenta de pérdidas y ganancias las empresas, etc. Haymuchas otras formas de mirar la política. Por ejemplo, los planes nacionales de desarrollo colombianos desde1990 hasta 2002 han tenido enfoques diferentes: el de 1990-1994 fue marcadamente economicista, el de1994-1998 se declaraba “social” y el de 1998-2002 restringía el papel de la ciencia y la tecnología al delaumento de la competitividad internacional. La pertinencia era bien distinta y el único denominador común esel desarrollo global de la capacidad de producir, adaptar, asimilar, transformar y aprender el conocimiento enla sociedad. Si esta capacidad es grande, puede utilizarse eficazmente cualesquiera sean los fines políticos,empresariales, gremiales o personales buscados. Si no hay capacidad real de generar conocimiento, ningúnfin logrará alcanzarse y la pertinencia será nula en cualquier sentido.



ideologías particulares y, por lo tanto, también de la noción de relevancia. Losindicadores de capacidad científica y tecnológica se conciben desde este enfoquecomo medidas de la capacidad para utilizar socialmente la ciencia y la tecnología y,tomados en toda su extensión, deben ir mucho más allá de los ámbitos estrictamentecientíficos o tecnológicos.

Un trabajo de colaboración con Hernán Jaramillo, de la Universidad del Rosario(Colombia), ha permitido observar este proceso en forma global. El ejemplo de laspolíticas colombianas de ciencia y tecnología en los últimos cuarenta años permitever el crecimiento de esta capacidad local de asimilar, transformar, desarrollar,absorber, usar, generar y distribuir conocimientos, tal como se indica en la Figura 1.En ésta el eje vertical representa la “acumulación de aprendizaje y construcción decapacidades” e insinúa, por la forma de la curva, que esta acumulación se ha venidodando en forma constante y creciente.

Figura 1

130

Fuente: Jaramillo, Hernán. “Políticas Científicas y Tecnólogicas en Colombia: Evaluación e Impacto”. CEPAL,Proyecto en curso, 2003.


131


El meollo del problema de los indicadores

Si bien la Figura 1 describe un escenario en términos cualitativos, a partir de ellapuede deducirse cuál es la pregunta central a la que deberá enfrentarse laconstrucción de indicadores: ¿cómo medir sistemáticamente la “acumulación deaprendizaje y construcción de capacidades” de una sociedad?

Si hay políticas de ciencia y tecnología es porque, sin duda, el aspecto que másdeterminará la forma de las sociedades en el futuro será su capacidad de utilizar elconocimiento como base para el mundo de la vida. No sólo la economía es cada vezmás una “economía del conocimiento” en cuyo seno la capacidad de la ciencia y latecnología subtiende todas las otras actividades económicas, tales como laagricultura, el comercio, la industria y los servicios. Todas las actividades de lasociedad, incluyendo los servicios básicos de salud y educación, así como la justicia,el manejo del medio ambiente, la seguridad nacional, las formas de diversión, lasrelaciones internacionales, los medios de comunicación masivos y el gobierno,dependen cada vez más de la capacidad de uso del conocimiento para su desarrollo.

Esta capacidad de uso del conocimiento implica, en primer lugar, la capacidad decrearlo. El conocimiento sólo se usa conociendo. No es posible usar el conocimientode otros, sino sólo el conocimiento que cada persona posee. Se puede usar lainformación sobre lo que otros conocen o la tecnología desarrollada por otros, esdecir, el conocimiento de los demás codificado en información u objetivado eninstrumentos, pero sólo puede ser usado si nosotros mismos conocemos yentendemos lo que estamos haciendo, si usamos las soluciones de los otros comobase para construir nuestras soluciones, y no para tratar de usar las que fuerondesarrolladas en otras condiciones y contextos a la solución de nuestros problemas.La capacidad de uso del conocimiento incluye, por lo tanto, las capacidades decrearlo, comprenderlo, transferirlo, adaptarlo, modificarlo, enriquecerlo, venderlo, etc.

Distintos niveles en el impacto

Todas las formas de precisar el concepto de impacto reseñadas pueden aplicarse envarios niveles y es útil, para organizar metodológicamente este trabajo, distinguirtales niveles.

Nivel micro

El nivel micro de análisis está centrado sobre el grupo de investigación. Lospropósitos del grupo están consignados en su fundación y se desarrollan a través deproyectos. Los objetivos y justificaciones de los proyectos serán por lo tanto fuentedocumental para analizar los propósitos. Los productos del grupo son directamentelos de su acción investigativa y se concretan en publicaciones, formación depersonas, asesorías, etc. Los logros se miden por el acuerdo entre lo buscado en losproyectos y lo obtenido en sus resultados. Es difícil hablar de efectos cuando se



piensa en los de un solo grupo de investigación. En general, los efectos sociales selogran por la acción de varios grupos y de muchos proyectos. El impacto de lasactividades de ciencia y tecnología en el nivel micro se puede analizar a través deestudios de caso de grupos adecuadamente seleccionados, cuyos productos y logrosse indaguen.

Nivel macro

Se considerará el nivel nacional como el nivel macro, aunque claro está que el nivelinternacional es más amplio. Los productos a nivel nacional pueden tomarsesimplemente como la sumatoria de todos los productos en los niveles micro. Sinembargo, para analizar los logros en el nivel nacional es importante tener en cuentalos propósitos expresados en los planes de nivel nacional. En el caso colombiano,éstos incluyen los Planes Nacionales de Desarrollo, los Documentos Conpes, losacuerdos del Consejo Nacional de Ciencia y Tecnología y otros documentos de estaíndole, como el “Libro Amarillo” que publicó Colciencias en 1991. Por su parte, losefectos en el nivel nacional son los más interesantes, puesto que se refieren a loscambios en la sociedad colombiana producidos por las políticas y actividades deciencia y tecnología.

Niveles intermedios

Si bien luego de haber planteado los niveles macro y micro puede parecer razonablehablar de un “nivel meso”, lo cierto es que entre los dos niveles planteados haygrados intermedios que incluyen, por ejemplo, el nivel de las instituciones, el de losdepartamentos, así como otras divisiones políticas territoriales, por ejemplo, el de lasregiones y, de manera importante, el de los Programas Nacionales de Ciencia yTecnología. En todos ellos los productos se dan por agregación de los productos delnivel micro de los grupos asociados. No obstante, llevar a cabo esta agregación esun trabajo difícil y conceptualmente incompleto, puesto que no es clara, por ejemplo,la definición de cuáles son los grupos que pertenecen a un Programa Nacional deCiencia y Tecnología, debido precisamente a la apertura con la que fueron definidostales programas. Así, muchos grupos “pertenecen” al programa de ciencias básicasporque su trabajo se desarrolla esencialmente en el campo de la biología molecularpero, al mismo tiempo, “pertenecen” al de biotecnología porque ese trabajo se orientaa producir anticuerpos monoclonales, lo que los hace “pertenecer” también al deciencias de la salud, pues el propósito de los anticuerpos es generar vacunas, o alde ciencias agropecuarias si las vacunas se refieren a salud pecuaria. Por ello, nopuede construirse la suma de productos de un Programa Nacional simplementeagregando la de grupos.

La matriz siguiente, a la que llamamos Matriz de impacto sistémico, sintetiza laforma de considerar productos, logros y efectos en los tres niveles.

132


133


Figura 2. Matriz de impacto sistémico

Es notorio que si el nivel intermedio es el de los Programas Nacionales de Ciencia yTecnología, las tres casillas de la diagonal principal son la vía por la que se mueve elimpacto y hay una transferencia importante entre ellas: el conjunto de resultados detodos los grupos, más que constituir “el resultado” del Programa Nacional, representael principal aporte a los logros de tal programa.

Así, aunque los logros del programa están relacionados, de acuerdo con laexpresión de sus propósitos, con la formación de redes, la consolidación decomunidades científicas, el acercamiento de la universidad y la empresa, etc., si losgrupos no hicieran investigación y no obtuvieran resultados reales, la simpledeclaración formal de la existencia de redes o de asociaciones no constituiría ningúnimpacto real. Recíprocamente, los esfuerzos de conformación de tales formas decapital social dan sentido a proyectos de los grupos que si quedaran aisladostendrían mucho menor impacto. Otro tanto puede decirse sobre cómo el logro de lospropósitos de los programas en cuanto a la conformación de capital social adquieresentido si efectivamente producen cambios en grupos sociales importantes.

La definición de la política

Como ya se ha dicho, la política de ciencia y tecnología, tanto al nivel nacional comoa los varios niveles intermedios, suele quedar ampliamente documentada en muchostextos. La existencia de estos textos permite un verdadero análisis de los logros y,



por lo tanto, del impacto4 como resultado de la acción deliberada. La política es unproceso de decisiones documentadas, que da directrices, convoca actores y brindaestrategias para alcanzar estados deseados en la sociedad y el medioambiente. Lasestrategias involucran recursos, instituciones y acciones para lograr amplitud enobjetivos planteados, los cuales son la base para medir los logros.

El impacto de los programas nacionales de ciencia y tecnología en Colombia

Puesto que la intención deliberada que mejor ha quedado formalizada ydocumentada en el caso colombiano es la que se organiza alrededor de losProgramas Nacionales de Ciencia y Tecnología, el estudio de éstos se torna piezacentral en un análisis de impacto.

El Sistema Nacional de Ciencia y Tecnología colombiano se organizó en onceprogramas nacionales de ciencia y tecnología y varios “programas estratégicostransversales.” Los Programas Nacionales corresponden a una definición legal:según el Decreto 585 de 1991, un Programa Nacional de Ciencia y Tecnología es “unámbito de preocupaciones científicas y tecnológicas estructurado por objetivos,metas y tareas fundamentales, que se materializa en proyectos y otras actividadescomplementarias que realizarán entidades públicas o privadas, organizacionescomunitarias o personas naturales”. Por lo amplio de la definición y su referencia a lacomunidad de practicantes, esta definición retoma de las ideas de Lakatos. Sinembargo, coloca también como autoridad responsable del Programa al Consejo delPrograma Nacional de Ciencia y Tecnología, y le otorga a éste la misión de “aprobarlas políticas de investigación, fomento, información, comunicación, capacitación,regionalización, promoción y financiación del programa, dentro de las directricesfijadas por el Consejo Nacional de Ciencia y Tecnología. Orientar, previo un amplioproceso de consulta a nivel regional y nacional, la elaboración de los planes delprograma y aprobarlos. Promover la consecución de recursos públicos y privadospara el programa y asignarlos entre los distintos proyectos de investigación,transferencia, apropiación y demás actividades, previo estudio evaluativo de sucalidad adelantado por la secretaría técnica y administrativa del programa yresponder por la adecuada ejecución del programa”.

De esto se desprende que la gran ventaja para realizar una medida de impacto esque la acción de programar está confiada en este caso a un cuerpo colegiado formal,que ha venido dejando en sus actas y en los libros publicados un cuerpo documentalque permite saber qué ha sido lo deseado y cómo se ha concertado. Al mismo tiempose puede seguir en estos documentos cuáles han sido los medios con los que se hacontado para poner en marcha esas políticas y por cuya “adecuada ejecución” deberesponder el Consejo.

134

4 Cuando se habla de políticas públicas se debe tener siempre presente que los actores de la sociedadpueden diferenciarse en dos grandes grupos: los beneficiados o “ganadores” y los afectados o “perdedores”,y que cuando deben realizarse inversiones públicas, el término de costo de oportunidad esta referenciado.


135


Dos ejemplos de caso

Finalmente, y teniendo en cuenta esta presentación general, se desarrollarán endetalle dos estudios de caso: el Programa Nacional de Biotecnología y el ProgramaNacional de Ciencias Sociales y Humanas.

Para construir la información se realizó un proceso de identificación y clasificaciónde fuentes internacionales. En el caso de las revistas y los artículos, por ejemplo, serecurrió a la red Scienti, que brindó información sobre los productos que losinvestigadores ingresaron en GrupLAC (nivel formal del dato), el ISSN internacional(que sirvió para comprobar la existencia de las revistas) y las bases de datos del ISI(Social Science Citation Index, Science Citation Index y Journal Citation Reports),CAB, PsycInfo, Index Medicus, entre otros sistemas de indexación y resumen quehablan de la circulación internacional de los artículos. El control de calidad realizadomostró que, a pesar de la gran cantidad de datos que logramos obtener de la baseGrupLAC-Colombia, un gran porcentaje no pasaba el control estructural. A medidaque se avanzó en el procedimiento, la cantidad de datos bien formados, verificadosy con circulación disminuyó.

Para cada uno de los programas se estudiaron los documentos de planeación y lasactas de los Consejos respectivos, los libros de los simposios y los resultantes de laplaneación prospectiva. Se realizaron entrevistas a actores destacados en amboscasos y de esta manera se obtuvo información general sobre los propósitos.5 Luegose estudiaron los proyectos analizados por Colciencias en cada uno de ellos, desde1991 hasta 2002, centrando la atención tanto en los aprobados como en los noaprobados y analizando la concordancia entre las políticas declaradas y suconcreción en los proyectos.

Una de los primeros datos que surge al estudiar las actas y entrevistar a antiguosconsejeros es que los Consejos perdieron con frecuencia la brújula y se dedicaronprimordialmente a administrar los magros recursos de Colciencias, distribuyéndolosal mejor postor. Es decir, a pesar de todo el esfuerzo político realizado para queColciencias fuera algo más que un Fondo (antes de 1990 era el “Fondo Colombianode Investigaciones Científicas y Proyectos Especiales Francisco José de Caldas”adscrito al Ministerio de Educación Nacional) y pasara a ser el Instituto Colombianopara el Fomento de la Ciencia y la Tecnología, cuestión que se ha olvidado confacilidad, esta institución sigue siendo un Fondo y los flamantes Consejos, con todoy Triángulo de Sábato en su interior, no han sido muchas veces más que comités decrédito de Colciencias.

5 Para el área de biotecnología fueron entrevistados Myriam de Peña (jefe del programa), Elizabeth Hodson(investigadora y jefe del programa en el periodo 1992-1999), Dolly Montoya (consejera del programa), Patriciadel Portillo (consejera del programa), Lucía Atehortúa (investigadora), Claudia Forero (directora de la Unidadde Proyectos Especiales del ICA), Nelma Sánchez (asesora del programa), Ricardo Torres (primer jefe delprograma), Rafael Aramendia (asesor del programa), Andrés Laignelet (investigador) y Jorge Ahumada(asesor del programa). Para el área de ciencias sociales y humanas fueron entrevistados Juan Plata (jefe delprograma), Ciro Angarita (consejero del programa), Karl Langebaek (consejero del programa), FranciscoGutiérrez (investigador), Roberto Pineda (investigador), Guillermo Hoyos (consejero del programa) y LigiaEcheverri (investigadora).



Un ejemplo con impactos positivos: el Programa Nacional de Biotecnología

El objetivo central de los programas nacionales de ciencia y tecnología es contribuira la conformación de una capacidad de uso del conocimiento fundamentada,principalmente, en una comunidad de personas formadas que puedan debatir y tomardecisiones en el campo de la política, la legislación, y la investigacióneconómicamente viable y científicamente factible. En general, estos programas hanmovilizado investigadores hacia temáticas consideradas de prioridad nacionalfinanciando, fundamentalmente, proyectos de investigación y organizando eventospara integrar a científicos, empresarios, hacedores de política pública, académicos ycomunidad internacional en la coordinación de acciones.

La decisión de apoyar la biotecnología formando un programa en 1991 se tomóbajo la premisa del alto potencial que representa este campo “y su posible impactoen aspectos económicos, sociales, culturales y políticos” (Hodson, Forero yCarrizosa, 2003: 60). “La biotecnología tiene mucho que ofrecer y puede tener unimpacto positivo en la seguridad alimentaria y en la sostenibilidad de la agricultura,en la salud, en la utilización y valoración de nuestra biodiversidad” (Pacheco dePeña, 2002: 13). La política central de este programa ha sido crear una masa críticae institucionalizarla en torno a la biotecnología, para que se convierta en unacomunidad que progresivamente responda a los retos que trae consigo laglobalización y los cambios socioeconómicos en el país. Esta política ha facilitado laformación de investigadores en el exterior y la participación de investigadores enredes internacionales que han posibilitado la transferencia tecnológica. También hapermitido la creación de espacios donde la comunidad debate sobre temas comobioseguridad, propiedad intelectual, normatividades y leyes, relaciones entre laacademia y la industria, mecanismos de negociación, la articulación de lainvestigación en torno de las cadenas productivas, mercados nacionales einternacionales, e indicadores de ciencia y tecnología, con el fin de que sedesarrollen iniciativas y actividades que en su conjunto se encaminen a conseguir loscambios deseados. Luego de haber contextualizado estas acciones, es posibleafirmar que el Programa Nacional de Biotecnología ha tenido impactos positivosclaramente identificables.

La matriz de impacto sistémico es un instrumento que permite organizar yestructurar la información obtenida del objeto de estudio, de forma tal que se puedaevidenciar la producción en ciencia y tecnología, la producción en biotecnología, laspolíticas y regulaciones, y la intervención de éstas en la aparición de efectos como laarticulación de redes, las reorientaciones temáticas y los cambios en otra serie deindicadores. A los efectos de este estudio de caso, la matriz se aplica en la siguienteforma:

136


137


Es interesante notar que mientras los productos en la primera columna pueden servistos como agregaciones en los niveles, es a lo largo de la diagonal donde se mueveel impacto: el impacto de un grupo puede ser medido por sus productos, pero elimpacto de un programa nacional puede ser medido en relación con su capacidad deconstituir redes de política que posibiliten el cumplimiento de lo propuesto por laspolíticas nacionales y sectoriales, y propician la aparición de efectos. Finalmente elimpacto de todas las políticas en el nivel macro está más claramente vinculado a loscambios en la sociedad producidos por todas las actividades de ciencia y tecnología.Así, la construcción de la matriz permite ordenar y relacionar las tres clases deresultados en los diferentes niveles sociales, para lograr una mejor comprensión delos impactos en la sociedad.

Para hacer un estudio minucioso del impacto que genera el Programa Nacional deBiotecnología, definimos una nueva matriz que llamamos Matriz de las actividadescientíficas y tecnológicas, en la cual relacionamos los resultados en los siguientesámbitos de impacto:

• Académico: se refiere a todas aquellas actividades de ciencia y tecnología quebuscan esencialmente la comprensión de determinados temas, el avance delconocimiento en un asunto determinado o en los fundamentos de una ciencia odisciplina particular. Se concreta principalmente en artículos y libros dirigidos a losespecialistas del tema en cuestión.

• Tecnológico: supone todas aquellas actividades que buscan esencialmente eltrabajo industrial o productivo, dentro de estrategias económicas. Incluye toda la



actividad industrial y de servicios del país. Se concreta en nuevos procesos yproductos, patentados, registrados o no, y el impacto puede medirse por variableseconómicas y de mercado.

• Social: supone todas aquellas actividades de ciencia y tecnología que buscanesencialmente el desarrollo de políticas sociales que incidan en sectores específicosde la población. Se concreta principalmente en normas, leyes y protocolos,resultantes de la investigación sobre determinada realidad.

Pasos metodológicos

1. Para el nivel micro:

a) registrar en el instrumento de impacto la información sobre las actividadescientíficas y tecnológicas; b) identificar las actividades conjuntas; c) hacer un estudiobibliométrico y lexicométrico sobre los productos; d) identificar los demás productosgenerados, como el registro de nuevas variedades vegetales, patentes, vacunas,insumos agrícolas, etc.

138


139


2. Para el nivel meso:

a) estudiar los documentos generados por la secretaría técnica del programa yextraer las propuestas realizadas sobre el objeto de estudio; b) identificar las demáspolíticas sectoriales que intervienen sobre el objeto de estudio y evidenciar las quefueron ejecutadas en coordinación y cooperación con el programa; c) establecer, deacuerdo con lo fijado en las políticas sectoriales y de programa, los objetivosalcanzados por los desarrollos de los proyectos y actividades científicas ytecnológicas enunciadas en el nivel micro; d) identificar redes de trabajo cooperativo( C D T-Universidad, Universidad-empresa, CDT-empresa, CDT- U n i v e r s i d a d -empresa); d) filtrar del agregado de productos del nivel micro los que fueronapoyados por la dirección del programa.

3. Para el nivel macro:

a) recopilar las políticas y legislaciones que hacen referencia al objeto de estudio; b)recopilar estadísticas sobre el desempeño económico del objeto de estudio, en unlapso determinado y determinar la contribución económica de los productosdesarrollados en el nivel micro al desempeño del sector del que hace parte el objetode estudio; c) analizar artículos y noticias en los medios de comunicación que hacenreferencia al objeto de estudio; d) hacer entrevistas a los investigadores, a loshacedores de políticas y a las comunidades que tiene relación con el objeto deestudio; e) analizar los cambios ocurridos y construir los indicadores de apropiaciónde productos, personal capacitado, etc., que dan cuenta de ello.

Las conclusiones al aplicar esta metodología son claras: existe, en primer lugar,una formación importante de capital conocimiento en el campo de la biotecnología(ver gráfico 1). El capital conocimiento hace referencia al patrimonio que existe conla acumulación de conocimiento codificado e incorporado. Las publicaciones en estecampo han aumentado de manera importante desde la creación del programa y lohan hecho en revistas y medios de calidad controlada y visibilidad asegurada. Se hanformado redes internacionales, tal como lo demuestra la participación en elInternational Centre for Genetic Engineering and Biotechnology (ICGEB) y el CentroArgentino Brasileño de Biotecnología (CABBIO), en las que los investigadorescolombianos han logrado ser recibidos y comienzan a jugar un papel importante quequeda demostrado por sus resultados. Los esfuerzos de cooperación con Alemaniaorganizados alrededor de Expohannover también comenzaron a dar frutos.



Gráfico 1. Artículos por Sistema de Indexación de Revistas - SIR de la revista y por añosegún grupos cuyo programa nacional principal es biotecnología

Referencias: Col Índice (Revista colombiana indexada); Col BBCCS (Revista colombiana en basebibliográfica con comité de selección); Col BBSCS (Revista colombiana en base bibliográfica sin comité deselección); Col No SIR (Revista colombiana no indexada); Ext Índice (Revista extranjera indexada); ExtBBCCS (Revista extranjera en base bibliográfica con comité de selección); Ext BBSCS (Revista extranjera enbase bibliográfica sin comité de selección); Ext No SIR (Revista extranjera no indexada).

Se puede hablar de importantes esfuerzos en la formación de capital humano (vergráfico 2), representados en personas formadas a nivel doctoral, tanto en Colombiacomo en el extranjero.

Gráfico 2. Personas en biotecnología

140


141


Es interesante observar el comportamiento de otro de los elementos que seencuentran en el nivel micro de análisis: los proyectos de los grupos de investigaciónnacionales (ver gráfico 3). Al parecer, a través del tiempo la pertinencia de losproyectos presentados al Programa Nacional de Biotecnología ha descendido yactualmente es mayor la tasa de proyectos no aprobados que la de aprobados.

Gráfico 3. Proyectos aprobados y no aprobados por el Consejo del Programa Nacional de Biotecnología

El dinamismo de la investigación en biotecnología se ha incrementado en los últimosaños, aunque en la década del noventa se contó con avances importantes. Muchosde estos avances se han concretado en productos tangibles, verificables y circulantes(ver tablas), por ejemplo, libros y capítulos de libros en los años 2000 y 2001, y enproductos o procesos patentados en el año 1999 y 2001.



Un ejemplo con poco impacto positivo: el Programa Nacional de CienciasSociales y Humanas

El análisis de este programa a partir de la metodología que ha sido descrita permiteconcluir que los esfuerzos hechos a lo largo de catorce años por el ProgramaNacional de Ciencias Sociales y Humanas han tenido un escaso impacto positivo.6

Los resultados medidos en capital conocimiento con las herramientas que se handesarrollado en Colombia revelan una producción que, en grandes porcentajes, nose encuentra en índices que aseguren su calidad y circulación (ver gráfico 4).

Gráfico 4. Número de artículos en CvLAC por año según categorías de revistas en Publindex y Homologación de abril del 2002

En el gráfico, A1 y A2 corresponden a las revistas que pasan mejores índices decalidad en la indexación. B y C cumplen respectivamente requisitos menos serios. Laclasificación NC corresponde a las revistas que se han presentado para serclasificadas pero no lo lograron, mientras que las NSP son revistas que no se hanpresentado para ser calificadas. La clasificación ARTS corresponde a revistas que nohemos podido encontrar, no tienen ISSN, no aparecen en los directorios generales ymuchísimo menos en índices de publicaciones seriadas. Son, estrictamente,invisibles.

142

6 Para un análisis más detallado ver Daza y Buchelli (2004) y Murcia y Llanos (2004).


143


El análisis de Murcia y Llanos (2004) de las publicaciones reseñadas por losGrupos de Ciencias Sociales y Humanas inscritos en CV-LAC a comienzos de 2004,utilizando los criterios desarrollados por Colciencias para la indexación de revistascolombianas -Publindex- y para la homologación de publicaciones extranjeras,además de una búsqueda exhaustiva de las publicaciones mencionadas en todo tipode índices y bases de datos bibliográficos, lleva a que un 58% de las publicacionesaparecen en revistas de las cuales no fue posible conseguir información, es decir, enrevistas invisibles. Otro 18% aparece en revistas que se presentaron a laconvocatoria Publindex de 2002 y no lograron demostrar los estándares más bajosde calidad y 6% más corresponde a revistas que se habían presentado aconvocatorias anteriores de Publindex y no lo volvieron a hacer en 2002. Es decir, el80% del trabajo de publicación en revistas de los grupos de ciencias sociales resultairrelevante por su escasa visibilidad o calidad. Este es un balance muy negativo.

Por otra parte, el Programa Nacional de Ciencias Sociales y Humanas ha tenido lapermanente preocupación de distribuir regionalmente los recursos generando mayorcobertura geográfica y ha realizado acciones deliberadas orientadas en tal sentidopara apoyar a los grupos de ciudades distintas a Bogotá, Medellín y Cali. El balancede este esfuerzo es también negativo. Como muestran Murcia y Llanos (2004), alcomenzar el programa la concentración en estas tres ciudades era del 70% y a lolargo de la vida del programa, tal concentración ha sobrepasado el 90%.

El Programa Nacional de Ciencias Sociales y Humanas ha buscado activamente laconformación de redes. De ellas, una importante es la de antropólogos delAmazonas, que después de un buen comienzo perdió el impulso. Otras, como la deestudios jurídicos, no tuvieron mucha mejor suerte.

Conclusión

Hemos desarrollado una metodología útil para medir el impacto de políticas deciencia y tecnología. El enfoque en las políticas no es una limitación, sino unafortaleza, puesto que todo nuestro razonamiento inicial conduce a concluir que sólotiene sentido medir impactos de acciones programadas y poniendo atención a laprogramación de tales acciones. En el caso de la ciencia y la tecnología de unanación, tal programación se concreta en las políticas de todos los niveles: desde elnivel macro que coincide con el nacional, hasta el nivel micro de los grupos deinvestigación, pasando por muchos niveles intermedios. Nuestro análisis de losresultados de la acción de ciencia y tecnología organizados en productos, logros yefectos, e identificables en varios niveles, es un avance hacia la medición del impactode la ciencia y la tecnología y la elaboración de indicadores.

Aplicamos la metodología a dos estudios de caso en Colombia: los ProgramasNacionales de Biotecnología y Ciencias Sociales. Sin duda que la descripción quehacemos del impacto de los dos Programas Nacionales de Ciencia y Tecnologíatomados como ejemplo es resumida y esquemática. Se intentará en posteriorestrabajos desarrollar más el tema y completar nuestras afirmaciones; sin embargo, en



lo esencial, éstas son exactas y muestran dos ejemplos: un programa que haalcanzado cotas de impacto importantes en los diez largos años que llevafuncionando, y otro que no muestra los mismos resultados positivos. Así, lametodología exhibe características suficientemente discriminantes y permite lamedida de los impactos y la caracterización de los mismos.

Bibliografía

BOUITELAAR, R. (2001): ¿Cómo crear competitividad colectiva? Productividad y

Competitividad. La estrategia económica del Tolima, Centro de Productividad delTolima, Colciencias.

CALLON, M. (2001): “Redes tecno-económicas e irreversibilidad”, Redes, revista de

estudios sociales de la ciencia, Número 17, Volumen 8, Buenos Aires.

CHARUM, J. (1999): “Un modelo de análisis para el seguimiento de la actividadinvestigativa”, en F. Zalamea (comp.), Memorias del seminario Contextos

investigativos e indicadores académicos. Universidad Nacional de Colombia, Divisiónde investigación.

CHARUM, J. y PARRADO, L. (1995): Entre el productor y el usuario, la construcción

social de la utilidad de la investigación, ICFES Universidad Nacional de Colombia.

COZZENS, S. y BORTAGARAY, I. (2001): “S&T Policy for Human Development - thelogic of outcome indicators”, en RICYT: Indicadores de Ciencia y Tecnología en

Iberoamérica. Agenda 2002, Buenos Aires, RICYT.

DAGNINO, R. (1997): “La interfase política e indicadores de CyT: Nuevas tendenciasen América Latina”, en H. Jaramillo y M. Albornoz (ed.): El universo de la medición:

La perspectiva de la ciencia y la tecnología,Bogotá, Colciencias-RICYT-TM Editores.

DAZA, S. y BUCHELLI, V. (2004): Documento interno, Observatorio Colombiano deCiencia y Tecnología.

ESSER, K.; HILLEBRAND, W.; MESSNER, D. y MEYER-STAMER, J. (1996):“Competitividad sistémica: nuevo desafío para las empresas y la política”, Revista de

la CEPAL, Número 59, Santiago de Chile.

ESTÉBANEZ, M.E. (1997): “La medición del impacto de la ciencia y la tecnología enel desarrollo social”, ponencia en el Taller de Indicadores de Impacto de la Ciencia y

la Tecnología en el Desarrollo Social, organizado por la RICYT, Mar del Plata,Argentina, 11 y 12 de diciembre.

144


145


FERNÁNDEZ POLCUCH, E. (1999): “La medición del impacto social de la ciencia ytecnología”, ponencia en el IV Taller Iberoamericano e Interamericano de Indicadores

de Ciencia y Tecnología, organizado por la RICYT, disponible en http://www.ricyt.orgy en http://www.oei.es/ctsiima/polcuch.pdf

HODSON, E., FORERO, C. y CARRIZOSA, S. (2003): “Políticas públicas enbiotecnología agroalimentaria y bioseguridad en Colombia”, en B i o t e c n o l o g í a :

Políticas públicas y aceptación social en Argentina, Brasil; Chile, Colombia, Cuba,

Ecuador, España y México, Subprograma III: Biotecnología, Red Multimodal deVinculación y Desarrollo Biotecnológico REVYDET, Buenos Aires.

ITZCOVITZ, V., FERNÁNDEZ POLCUCH, E. y ALBORNOZ, M. (1998): “Propuestametodológica para la medición del impacto de la CyT sobre el desarrollo social”,ponencia en el Segundo Taller sobre Indicadores de impacto de la Ciencia y

Tecnología en el Desarrollo Social, organizado por la RICYT, La Cumbre, Córdoba,diciembre.

LEYDESDORFF, L. (2002): “The Evaluation of Research and the ScientometricResearch Program: Historical Evolution and Redefinitions of the Relationship”, enStudies in Science of Science, disponible enhttp://users.fmg.uva.nl/lleydesdorff/sss03/.

LICHA, I. (1994): “Indicadores endógenos de Desarrollo Científico y Tecnológico”, enMartínez, Eduardo (ed.): Ciencia, Tecnología y Desarrollo: Interrelaciones Teóricas y

Metodológicas, Caracas, Nueva Sociedad. UNU, UNESCO, CEPALILDES, CYTED.

LÓPEZ CEREZO, J.A. y LUJÁN, J.L. (2002): “Observaciones sobre los indicadoresde impacto social”, Revista Iberoamericana de ciencia, tecnología, sociedad e

innovación, Número 3, Mayo-Agosto, OEI.

MARTÍNEZ, E. y ALBORNOZ, M. [eds.] (1998): Indicadores de ciencia y tecnología:

estado del arte y perspectivas, Caracas, Nueva Sociedad, UNESCO.

MURCIA, C. y LLANOS, E. (2004): Documento interno, Observatorio Colombiano deCiencia y Tecnología.

OECD (2002): Manual de Frascati, edición de la Fundación Española de Ciencia yTecnología (FECYT).

PACHECO DE PEÑA, M. (2002): “La biotecnología: fundamentos, aplicaciones yretos”, Colombia Ciencia y Tecnología, Número 3, Volumen 20, Julio-Septiembre,Colciencias.

RIP, A. (2000): Societal Challenges for R&D Evaluation Learning from Science and

Technology Policy Evaluation, School of Public Policy, Georgia Institute ofTe c h n o l o g y, Atlanta, Estados Unidos, y Fraunhofer Institute for Systems andInnovations Research, Karlsruhe, Alemania.



RIP, A. y NEDERHOF, A. (1986): “Between dirigism and laissez-faire: effects ofimplanting the science policy priority for biotechnology in the Netherlands”, Research

Policy, Número 15.

SANDOVALDE ESCURDIA, J. y RICHARD MUÑOZ, M.P. (2003): Los indicadores en

la evaluación del impacto de programas, México, Servicio de Investigación y Análisis,División de Política Social, Sistema Integral de Información y Documentación.

SEN, A. (1998): “Las teorías del desarrollo a principios del siglo XXI”, Cuadernos de

Economía, Número 29.

STAR, S. y GRIESEMER, J. (1989): “Institucional ecology, translations and boundaryobjects: Amateurs and professionals in Berkeley’s Museum of vertebrate zoology”,Social Studies of Science, Volumen 19.

UNITED NATIONS (2002): The Biotechnology Promise: Capacity-building for

Participation of Developing Countries in the Bioeconomy, Commission on Scienceand Technology for Development.

VACCAREZZA, L. y ZABALA, J. (2002): La construcción de la utilidad social de la

ciencia: Investigadores en biotecnología frente al mercado, Buenos A i r e s ,Universidad Nacional de Quilmes.

VILLAVECES, J. (2002): “Cultura científica. Factor de supervivencia nacional”,Innovación y Ciencia, Volumen X, Números 3 y 4.

146

¿cómo medir el impacto de las políticas de ciencia y ... · revista cts, nº 4, vol. 2, enero de...

Documents