la medición en el cambio psicoterapéutico- hacia una práctica psicológica basada en la evidencia...

24
Revista Puertorriqueña de Psicología ISSN: 1946-2026 [email protected] Asociación de Psicología de Puerto Rico Puerto Rico Rivera Medina, Carmen L.; Bernal, Guillermo La medición en el cambio psicoterapéutico: Hacia una práctica psicológica basada en la evidencia y la medición Revista Puertorriqueña de Psicología, vol. 19, 2008, pp. 223-244 Asociación de Psicología de Puerto Rico San Juan, Puerto Rico Disponible en: http://www.redalyc.org/articulo.oa?id=233216360010 Cómo citar el artículo Número completo Más información del artículo Página de la revista en redalyc.org Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Upload: janettst2

Post on 14-Sep-2015

19 views

Category:

Documents


0 download

DESCRIPTION

La medición en el cambio terapéutico

TRANSCRIPT

  • Revista Puertorriquea de PsicologaISSN: [email protected] de Psicologa de Puerto RicoPuerto Rico

    Rivera Medina, Carmen L.; Bernal, GuillermoLa medicin en el cambio psicoteraputico: Hacia una prctica psicolgica basada en la evidencia y la

    medicinRevista Puertorriquea de Psicologa, vol. 19, 2008, pp. 223-244

    Asociacin de Psicologa de Puerto RicoSan Juan, Puerto Rico

    Disponible en: http://www.redalyc.org/articulo.oa?id=233216360010

    Cmo citar el artculo

    Nmero completo

    Ms informacin del artculo

    Pgina de la revista en redalyc.org

    Sistema de Informacin CientficaRed de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

    Proyecto acadmico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

  • Asociacin de Psicologa de Puerto Rico

    !"#$%'(')'*#+,-#./,-0#!/123%#456%#778'(9')'*#

    :1;=

  • 223

    La medicin en el cambiopsicoteraputico: Hacia una prctica

    psicolgica basada en la evidencia y la medicin

    Carmen L. Rivera Medina y Guillermo Bernal1 Universidad de Puerto Rico-Ro Piedras

    ResumenLa Prctica Psicolgica Basada en la Evidencia (PPBE) presupone unaevaluacin del cambio en la psicoterapia. Este trabajo describediferentes formas de entender y medir el cambio teraputico y lo ubicadentro del movimiento de la PPBE. Tras presentar los elementosbsicos de la PPBE, examinamos algunos de los procedimientosestadsticos y metodolgicos reconocidos y recomendables para medirel cambio teraputico: pruebas t, ANOVAS, ndice de Tamao delEfecto, ndice de Cambio Confiable (ICC, reliable change index eningls). Ofrecemos ejemplos partiendo de investigaciones realizadasen el Instituto de Investigacin Psicolgica IPsi, de la Universidadde Puerto Rico, Recinto de Ro Piedras. Los ejemplos se presentan conel objetivo de ofrecer herramientas para psiclogos/as y otrosprofesionales sobre las estrategias disponibles para evaluar el cambioteraputico en su prctica psicolgica. A travs de las investigacionespresentadas se puede apreciar diversas maneras de construir evidenciay medir el cambio teraputico. Partimos del supuesto que la medicines indispensable para la evaluacin del cambio y presentamos

    Revista Puertorriquea de PsicologaVol. 19, 2008

    COPYRIGHT Asociacin dePsicologa de Puerto Rico

    1 El trabajo en este artculo fue apoyado por una subvencin del Instituto Nacionalde Salud Mental (NIMH, por sus siglas en ingls) R01-MH67893 por la Divisin deServicios e Intervenciones sobre Intervenciones (Division of Services and InterventionResearch) a Guillermo Bernal. Comunicaciones sobre este artculo pueden serdirigidas a Carmen Rivera Medina [email protected] o a Guillermo [email protected] en el Instituto de Investigacin Psicolgica IPsi,Universidad de Puerto Rico, Avenida Universidad #55 (Edificio Rivera 3r Piso), RoPiedras, PR 00925. La autora y el autor agradecen las sugerencias editoriales de JulioSantana Mario y muy en especial le agradecemos a Irma Roca de Torres la invitacina escribir sobre este tema y por su insumo editorial.!ota: Este artculo fue sometido para evaluacin en julio de 2008 y aceptado parapublicacin en noviembre de 2008.

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    224

    alternativas de cmo dar cuenta de si lo que se hace dentro del contextoteraputico est siendo efectivo para cada paciente. Por ultimo,sugerimos la posibilidad de medir el cambio psicoteraputico enescenarios de la prctica individual en el sector pblico como en elprivado para desde la misma contribuir a cuerpo de evidencia queinforman las PPBE.

    Palabras claves: medicin, cambio teraputico, Prctica PsicolgicaBasada en Evidencia (PPBE)

    AbstractEvidence Based Psychological Practice (EBPP) presupposes anevaluation of psychotherapeutic change. This article describes differentways of understanding and measuring therapeutic change and places itunder the EBPP movement. After presenting the basic elements ofEBPP, statistical procedures and the recommended methods to measuretherapeutic change are examined: t-tests, ANOVAS, Effect Size,Reliable Change Index, and Clinical Significance. Examples usingresearch conducted at the Institute of Psychological Research (IPsi) atthe University of Puerto Rico, Ro Piedras Campus are presented as away of providing tools for psychologists and other professionals aboutthe available strategies to evaluate therapeutic change in practice.Through the various research examples presented, different ways ofbuilding evidence and measuring therapeutic change are illustrated. Wepresuppose that measurement is essential for the evaluation ofpsychotherapeutic change and alternative ways are presented tomeasure if what is done during therapy is effective for each patient.Finally, we suggest the possibility of measuring psychological changein individual practice both in the public and the private sectors so theseexperiences of such evaluation may contribute to the body of evidencethat informs EBPP.

    Keywords: measurement, therapeutic change, Evidence-Based-Practice-Practice (EBPP)

    Sin medicin no hay prctica basada en la evidencia y la nocinde cambio psicoteraputico implica algn elemento de medicin. Enlas ltimas dos convenciones de la Asociacin de Psicologa de PuertoRico (2007 y 2008) se le ha prestado mucha atencin al tema de laPrctica Psicolgica Basada en la Evidencia (PPBE), pero poco se hadiscutido sobre el cambio en la psicoterapia y su relacin con la PPBE.

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    225

    En este escrito nos proponemos examinar el papel de la medicin en elcambio psicoteraputico y cmo el mismo est estrechamente vincula-do a las PPBE. Nuestra sugerencia es movernos hacia una prctica psi-colgica no solamente basada en la evidencia sino tambin en la medi-cin.

    La Asociacin Americana de Psicologa (APA por sus siglas eningls) public un informe sobre la PPBE que fue adoptado por elConcilio de la APA como su poltica oficial. Dicho informe plantea unapoltica en la que por un lado define la PPBE, afirma la importancia yla utilidad de usar la PPBE para mejorar la salud y por el otro, estable-ce varios principios para guiar la PPBE. El informe de la Comisin deTrabajo Presidencial (APA Presidential Task Force on Evidence-BasedPractice, 2006) tiene implicaciones serias para la prctica cotidiana dela psicologa. A continuacin reseamos los puntos fundamentales dela PPBE.

    La Prctica Psicolgica Basada en la Evidencia

    La APA define la PPBE como la integracin de la mejor inves-tigacin disponible, unida al peritaje clnico en el contexto de lascaractersticas de cada paciente, su cultura y sus preferencias (traduc-cin nuestra), (APA Presidential Task Force on Evidence-BasedPractice, 2006, p. 271). Dicha definicin es muy similar a la adoptadapor el Instituto de Medicina, a saber, la prctica basada en la evidenciase presenta como la integracin de la mejor evidencia disponible conel peritaje clnico y los valores de cada paciente. Como seala el infor-me de la comisin de trabajo, la definicin de la PPBE ampla la con-sideracin de las caractersticas de cada paciente y profundiza sobre elperitaje clnico. El propsito de la PPBE es promover la efectividad enla prctica psicolgica y mejorar la salud pblica mediante la aplica-cin de principios de apoyo emprico, sobre la evaluacin psicolgica,la formulacin de casos, la relacin teraputica y las intervenciones(APA Presidential Task Force on Evidence-Based Practice, 2006).Claramente, en todo esto la medicin psicolgica juega un papel fun-damental.

    Segn dicho informe, el tratamiento psicolgico efectivo conlle-va tres elementos: 1) aplicar la mejor evidencia disponible basada en lainvestigacin; 2) el uso del peritaje clnico que implica el manejo efec-tivo y pertinente de destrezas clnicas que se han encontrado promue-

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    226

    ven resultados teraputicos positivos; y 3) la consideracin de lascaractersticas de cada paciente, su cultura y sus preferencias persona-les (APA Presidential Task Force on Evidence-Based Practice, 2006).

    La PPBE se centra en el planteamiento de cmo lograr los mejo-res resultados para la persona en tratamiento. Toma en cuenta la inves-tigacin pertinente, que puede incluir estudios de efectividad, y de efi-cacia, como por ejemplo los ensayos clnicos, la variedad de estudiosen torno a la relacin psicoteraputica relacionadas con las caracters-ticas de los/as pacientes y sus terapeutas, estudios sobre la formulacinde casos, evaluaciones psicolgicas, entre otros. Estas reglas sonmucho ms amplias que las reglas de evidencia de los tratamientos deapoyo emprico (empirically supported treatments ESTs.) En otraspalabras, hay una diferencia marcada entre la PPBE y los llamadosESTs (por sus siglas en ingls) o los evidence-based treatments EBTs.Y claramente la PPBE es un planteamiento mucho ms amplio y flexi-ble.

    El informe resalta que una buena prctica debe fundamentarseen los hallazgos de las investigaciones junto al peritaje clnico. Estoimplica que cada clnico/a debe orientar su trabajo teraputico hacien-do uso de las investigaciones disponibles para determinar qu estrate-gia sera la ptima para la situacin particular de cada paciente. Cadapaciente debe ser evaluado segn su diagnstico, trasfondo personal ycultural, contexto inmediato, preferencias, entre otros. El informe tam-bin seala, dos dimensiones para evaluar las intervenciones psicotera-puticas, a saber, la eficacia y la utilidad clnica (APA Presidential TaskForce on Evidence-Based Practice, 2006). Eficacia se remite a la eva-luacin de la evidencia que pretende establecer relaciones causalesentre tratamientos y trastornos (Bernal, 2000). En otras palabras, estla pregunta de si un determinado tratamiento cuenta con apoyo empri-co o si hay evidencia de que dicha intervencin funciona (APAPresidential Task Force on Evidence-Based Practice, 2006). La utili-dad clnica implica la consideracin de la evidencia emprica y el con-senso sobre cun generalizables son las investigaciones, y los costosy los beneficios de las intervenciones. Dicho de otra manera, la viabi-lidad de aplicar la intervencin en un contexto determinado donde senecesita (APA Presidential Task Force on Evidence-Based Practice,2006).

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    227

    La PPBE y el Cambio Psicoteraputico

    El debate sobre medir el cambio teraputico y la necesidad de laprctica clnica basada en la evidencia no es reciente, parece haberadquirido mayor auge en los pasados 40 aos. El debate se remonta ala dcada del 30, cuando Otto Fenichel publica los resultados de susestudios realizados en el Instituto Psicoanaltico de Berln. Evaluandolos expedientes y ubicndolos bajo las categoras de: Curado, bastan-te mejorado, mejorado, no curado se presentaron datos del porcentajede mejora como resultado del tratamiento psicoanaltico (Bernal,2000). Dichos porcentajes no fueron muy alentadores para la prcticapsicoanaltica. Posteriormente, Eysenck publica una serie de artculosdonde intenta demostrar que 2/3 partes de los/as pacientes neurticosmejoran en un periodo de dos aos sin psicoterapia. Sus artculos pon-an en entredicho la utilidad del proceso teraputico lo cual estimul aprofesionales dentro del campo a producir evidencia para debatirdichos estudios.

    La respuesta ms contundente a Eysenk fue la de Allan Bergin(1967). Para Eysenck, el estudio de Fenichel (1930) tena una tasa demejora de 39% (combinando las categoras de curado y bastante mejo-rado). Sin embargo, para Bergin esta tasa de mejora se incrementabaa 91% si se considera los mejorados tambin. Bergin presenta elcuestionamiento de cmo definir apropiadamente la efectividad en elcambio psicoteraputico. Este autor sugiere que se abandonen lasestrategias retrospectivas, sujetas al sesgo y propone el ensayo clnicocontrolado para evaluar el cambio teraputico.

    El ensayo clnico controlado permitira, entonces, evaluar elcambio teraputico partiendo de un proceso de medicin antes y des-pus del tratamiento para un grupo experimental y un grupo control. Esdecir, si observamos la Grfica 1, podemos ver los promedios para unavariable de inters (supongamos es autoestima) para dos grupos, M1promedio para el grupo control (barra al extremo izquierdo) y M3, pro-medio para el grupo en psicoterapia (barra al extremo derecho) almomento del pre-tratamiento. Cuando se realiza un ensayo clnico enel cual se provee algn tipo de tratamiento psicoteraputico a un grupoy se tiene un grupo control, se espera que ocurra algo similar a lo pre-sentado en las barras del centro en la figura que corresponden a ambosgrupos. En ellas se puede observar que ambos grupos presentaron unaporcin de los/as participantes que experimentaron deterioro en la con-

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    228

    dicin, otra porcin que no experimenta cambio, unos que experimen-tan cambio espontneo, y va a haber una porcin que evidencia uncambio significativamente distinto para el grupo en psicoterapia, esaporcin de cambio es la que se identifica como el cambio psicotera-putico que nos interesa medir. Observe a su vez, que el promedio M2para el grupo control se ubica en una posicin ms baja que el prome-dio M4 para el grupo en psicoterapia.

    Grfica 1. Visualizando el Tamao del Efecto Teraputico.

    Tamao del efecto teraputico

    Ilustracin 1. Representacin esquemtica del cambio en ensayos clnicos tomandomedidas antes y despus del tratamiento psicoteraputico y el grupo control. Adaptadode Bergin & Lambert (1978).

    En la actualidad existe un debate sobre la PPBE, los tratamien-tos basados en la evidencia (TBE) y el papel y la naturaleza de lo quese considera evidencia (Bernal, 2007). Algunos investigadores/asplantean la necesidad de evidenciar la efectividad de la prctica clnicaenmarcndolo en un aspecto tico (Trimble & Fisher, 2005), otros en lanecesidad de ofrecer tratamientos que hayan demostrado su efectividad(Kazdin, 2008). Otros autores consideran que no es necesaria la prcti-ca basada en la evidencia, refirindose a los procesos teraputicos queresponden a marcos tericos slidos, que por aos han probado su efec-tividad sin necesidad de medicin y que el proceso mismo de eviden-ciarlo va contra la integridad del proceso teraputico (Norcross, Beutler& Levant, 2006). En este artculo no se pretende entrar en dicho deba-

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    229

    te ampliamente discutido en diversos foros. En esta ocasin, nos diri-gimos al sector que en alguna medida, entiende la necesidad de incor-porar en su prctica clnica individual, el proceso de medicin.Aquellos que estn dispuestos a moverse hacia una prctica psicolgi-ca basada en la evidencia y en la medicin, pero carecen de recursospara desarrollar la misma.

    Nuestra intencin es discutir algunas estrategias y puntos impor-tantes para evaluar el cambio psicoteraputico. Cmo hacer para darcuenta de esa efectividad en la prctica, qu es lo que se debe medir,qu brinda la evidencia de que una prctica clnica es efectiva? A tra-vs de la medicin se puede obtener informacin concreta de cmolleg la persona al inicio del proceso teraputico y cmo se encuentraal finalizar el mismo. La medicin permite advertir ciertas caractersti-cas de la persona, sntomas apremiantes, y patrones de conducta o depensamientos que pueden afectar el proceso teraputico o que debenser atendidos para asegurar la efectividad del mismo. A su vez, la medi-cin durante el proceso teraputico nos permite tener informacinvaliosa para identificar si la persona est respondiendo a la terapia deacuerdo a lo esperado o si debemos considerar realizar alguna modifi-cacin para observar un mejor efecto.

    Por otra parte, la medicin nos permite comparar las caracters-ticas, las conductas, los pensamientos con otras personas que nos sir-ven de punto de referencia. Con un instrumento validado y adaptado ala poblacin con la cual estamos trabajando, es posible obtener infor-macin si la persona se encuentra dentro o fuera del promedio espera-do con respecto a una sintomatologa en particular. A su vez, nos per-mite comparar a la persona consigo misma. No se necesita realizar unproceso de normalizacin de instrumentos pues la persona se tomacomo punto de comparacin consigo misma. La clave est en saber uti-lizar o identificar los instrumentos de medicin vlidos y confiablespara la poblacin con la que se pretende trabajar y medir el cambioteraputico.

    Qu es lo que se considera el cambio teraputico? Si bien escierto que para la operacionalizacin del trmino se requiere ciertoperitaje y conocimiento en rea de medicin o de anlisis cuantitativo,en lo general su definicin es simple. El cambio teraputico es todoaquello que nos permite dar cuenta de que la persona lleg al procesode terapia con unas caractersticas o sntomas particulares y finaliza deuna manera diferente. Podemos evaluar cambio en diferentes aspectos

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    230

    dentro del proceso teraputico. Por ejemplo, podemos estar interesadosen medir cambios en la personalidad, sntomas psicolgicos o psiqui-tricos, en patrones de interaccin familiar o interaccin en otros con-textos. Podemos evaluar cambios sistmicos, de segundo orden. Si seimpacta a un miembro del sistema, se produce cambio en otro de losmiembros del sistema o en el sistema mismo en el caso de estar traba-jando con familias o parejas.

    Otro de los cuestionamientos que surge en el proceso de consi-derar evaluar el cambio teraputico es: Cmo acercarnos al cambio?Segn nuestra experiencia, entendemos que algunos/as profesionalesse sienten intimidados por los procesos de medicin. Consideran quelos mismos slo pueden ser llevados a cabo en contextos acadmicosexperimentales, en centros de investigacin, en ambientes controladospor un equipo de investigacin o simplemente en clnicas que ofrecenservicios de salud mental a un mayor volumen de pacientes. Es decir,se cuestionan la posibilidad de evaluar el cambio dentro del marco dela prctica clnica individual. Sin embargo, el cmo dar cuenta delmismo es sumamente viable dentro de nuestra prctica clnica indivi-dual. La forma ms sencilla es a travs de la observacin clnica, de lasancdotas en el proceso teraputico. Tambin los expedientes de cadapaciente resultan una fuente valiosa de informacin clnica de cadacaso y de cada etapa del proceso.

    La observacin clnica nos informa sobre el cambio desde elpunto de vista o la impresin de cada terapeuta. A travs del expedien-te podemos hacer un estudio de caso y evaluar sntomas al inicio deltratamiento y al finalizar el mismo. Podemos evaluar diferentes expe-dientes con sntomas y caractersticas similares para hacer evaluacio-nes grupales. Podemos evaluar expedientes de terapias grupales, defamilia de pareja para buscar patrones de interaccin en diversos con-textos. A su vez, los expedientes nos pueden proveer informacin delproceso teraputico en s mismo como la alianza teraputica y como lamisma se va transformando a travs del proceso.

    Adaptacin, Evaluacin y Desarrollo de Instrumentos

    Un asunto importante dentro de la medicin del cambio terapu-tico es la utilizacin de los instrumentos apropiados que nos permitanmedir los avances y retrocesos de las personas durante la terapiaDependiendo de lo que nos interese medir para evaluar el cambio es

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    231

    posible que la informacin que tenemos en el expediente clnico no seasuficiente y sea necesario incorporar instrumentos de medicin quenos permitan obtener informacin ms especfica y cuantificable.Especficamente la adaptacin y evaluacin de los instrumentos esimportante cuando utilizamos instrumentos que han sido desarrolladospara su uso en poblaciones diferentes a la poblacin con la cual esta-mos trabajando. Sobre este proceso, Bravo (2003) presenta un modelopara la adaptacin y traduccin de instrumentos. Dicho modelo enmar-ca la adaptacin cultural de instrumentos mediante un proceso de esta-blecer la validez de los mismos, considerando la equivalencia de lasmedidas entre distintas culturas e idiomas. En ese modelo se sugierencinco dimensiones para establecer la equivalencia, a saber, la semnti-ca, la de contenido, la tcnica, la de criterio y la conceptual. Partiendode los procesos de adaptacin como el sugerido por Bravo (2003), enel Instituto de Investigacin Psicolgica (antes Unidad deInvestigacin del Centro Universitario de Servicios y EstudiosPsicolgicos), se han llevado a cabo varios estudios, experimentales ycuasi experimentales en los cuales ha sido necesario adaptar y validaruna serie de instrumentos para evaluar diversas sintomatologas, con-ductas, cogniciones disfuncionales, funcionamiento familiar y apoyosocial. A continuacin presentamos algunos de estos instrumentos:

    Inventario de Depresin en Nios (Childrens DepressionInventory CDI)

    Inventario de Depresin de Beck (Beck Depression Inventory BDI)

    Escala de Depresin del Centro de Estudios Epidemiolgicos(Center for Epidemiological Studies Depression Scale CESD)

    Listado de Sntomas 36 (Symptom Checklist - 36 - SCL-36 ) Escala de Alianza Teraputica (Therapeutic Alliance Scale

    TAS) Escala de Involucracin y Crtica Familiar (The Family

    Emotional Involvement and Criticism Scale FEICS) Escala de Actitudes y Pensamientos Disfuncionales (The

    Dysfunctional Attitude Scale DAS) Escala de Ajuste en la Dada (The Dyadic Adjustment Scale

    DyAS) Escala de Apoyo Social (Social Support Scale CAS) Escala de Valoracin de Depresin en Nios (Child

    Depression Rating Scale CDRS) Escala de Auto-eficacia para la Depresin EED (Self-

    Efficacy Scale for Depression)

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    232

    Luego del proceso de adaptacin y validacin de los instrumen-tos de medicin es sumamente importante evaluar la equivalenciamtrica de los mismos. Es decir que los instrumentos o medidas deevaluacin obtengan propiedades psicomtricas similares al grupo parael cul fue desarrollado originalmente el instrumento. De acuerdo aVanderberg y Lance (2000) los instrumentos o medidas de evaluacincuyo significado o propiedades psicomtricas varen para diversos gru-pos van a proveer estimados o prevalencias imprecisas. La falta deequivalencia mtrica de los instrumentos puede llevar a que la sintoma-tologa que caracteriza el trastorno o condicin que deseamos medir semanifieste de manera diferente dependiendo del grupo que se est eva-luando.

    Un ejemplo de cmo las propiedades psicomtricas de uninstrumento pueden variar de una poblacin a otra, lo evidenciamoscuando se quiso evaluar la validez predictiva de un instrumento paraevaluar los sntomas de depresin en nios/as (CDI por sus siglas eningls) para predecir el trastorno de depresin mayor. Dichoinstrumento fue desarrollado por Maria Kovacs (1983) como medidade cernimiento para sntomas de depresin en nios, nias yadolescentes estadounidenses. Para este instrumento Kovacs (1992)establece que los puntos de corte para el mismo son de una puntuacinde 11 o menos como indicativo de sntomas leves o ausencia desntomas, 12 a 18 para sntomas de depresin moderados y 19 o mspara sntomas severos.

    Kovacs (1983) seala, que cuando vamos a utilizar el instrumen-to como medida de cernimiento en muestras ms homogneas comouna muestra clnica, el punto de corte sugerido es de 12 13, conside-rando que en este tipo de muestra se espera una incidencia de depre-sin ms alta. Sin embargo, como podemos observar en la Tabla 1,cuando se realizaron los anlisis de validez predictiva de los puntos decorte del CDI en una muestra de jvenes puertorriqueos entre las eda-des de 13 a 18 aos, encontramos que el punto de corte de 15 podraser el ms apropiado para hacer un cernimiento en una muestra gene-ral (Rivera, Bernal, & Rossell, 2005). A su vez, los resultados mostra-ron que el punto de corte que obtuvo un mejor valor predictivo, en uncontexto clnico, para la depresin mayor fue una puntuacin de 20,segn los ndices de prediccin positiva y negativa, el ndice de predic-cin total y los valores de falsos positivos y falsos negativos.

    El estudio de Rivera-Medina, Rodrguez, Caraballo, Dvila y

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    233

    Bernal (2008) evidenci la importancia de considerar la equivalenciamtrica, al utilizar instrumentos que fueron desarrollados para otraspoblaciones. En este estudio se evalu la estructura factorial del CESDen una muestra probabilstica de puertorriqueos/as de bajos ingresos.Especficamente se realiz un anlisis factorial confirmatorio para eva-luar si en nuestra muestra se confirmaba la estructura factorial obteni-da por Radloff (1977) de cuatro factores: Afecto negativo, AfectoPositivo, Quejas somticas, Relaciones interpersonales, obtenida conestadounidenses, o la estructura factorial de tres factores informadapor Guarnaccia (1999) con puertorriqueos que viven en Nueva York.

    Nuestros datos no confirmaron la estructural factorial obtenidaen otras muestras, e interesantemente al realizar anlisis factorialexploratorio el modelo obtuvo buenos ndices de ajuste para las fmi-

    TABLA 1ndices de Validez Predictiva, y Distribucin Porcentual de la

    Depresin Mayor de Acuerdo a los Distintos Puntos de Corte delInventario de Depresin en Nios (Rivera, Bernal & Rossell, 2005)

    !otas: Q = incidencia Depresin Mayor, SEN = Sensitividad, ESP = Especificidad,PPP = Poder Predictivo Positivo, PPN = Poder Predictivo Negativo, PPT= PoderPredictivo Total, VP = Verdaderos Positivos, FP = Falsos Positivos, FN = FalsosNegativos, VN = Verdaderos Negativos.

    Puntosde Corte

    Q%

    SE! ESP PPP PP! PPT VP%

    FP%

    F!%

    V!%

    CDI12 95 .97 .09 .61 .71 .62 57.7 36.9 1.5 3.813 92 .92 .09 .60 .46 .58 54.6 36.9 4.6 3.814 90 .91 .11 .60 .46 .58 53.8 36.2 5.4 4.615 88 .88 .13 .60 .44 .58 52.3 35.4 6.9 5.416 82 .82 .17 .59 .39 .55 48.5 33.8 10.8 6.917 78 .79 .25 .60 .45 .57 46.9 30.8 12.3 10.018 74 .78 .32 .63 .50 .59 46.2 27.7 13.1 13.119 70 .74 .36 .63 .49 .58 43.8 26.2 15.4 14.620 64 .69 .43 .64 .49 .58 40.8 23.1 18.5 17.721 57 .60 .47 .62 .45 .55 35.4 21.5 23.8 19.522 52 .55 .51 .62 .44 .53 32.3 20.0 26.9 20.823 45 .47 .57 .61 .42 .51 27.7 17.7 31.5 23.124 38 .42 .68 .65 .44 .52 24.6 13.1 34.6 27.7

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    234

    nas, pero no para los varones. Lo cual nos lleva a cuestionarnos la uti-lidad de este instrumento para evaluar sntomas depresivos en los varo-nes. Un asunto a considerar es si los resultados obtenidos responden alconstructo depresin como se ha descrito en la literatura o si los resul-tados reflejan una conceptuacin distinta a como la depresin es expe-rimentada o manifestada por los hombres.

    Por lo tanto, no se puede partir de la premisa de que un instru-mento que fue desarrollado para medir un atributo, una caracterstica,comportamiento o sintomatologa en particular, con una poblacindiferente a la poblacin con la cual vamos a utilizar el instrumento vaa estar midiendo lo mismo. La falta de equivalencia mtrica en los ins-trumentos, no solamente se puede dar en instrumentos que fueron des-arrollados para poblaciones estadounidenses. Nuestros estudios evi-dencian que an dentro de los grupos hispanos pueden presentarseestas diferencias, razn por la cual se deben evaluar las propiedadespsicomtricas del instrumento antes de utilizarlo para propsitos demedir el cambio teraputico con nuestra muestra.

    Formas de Medir el Cambio Teraputico

    En el contexto de la prctica clnica, tanto en el sector pblicocomo en la prctica privada, podemos tener una variedad de estrategiasde medir el cambio teraputico. La estrategia seleccionada va a depen-der de la pregunta que se desea responder con respecto al cambio. Esdecir, si solamente le interesa evaluar a sus casos de manera individual,si tiene informacin recopilada de todos sus casos con respecto a unaconducta o condicin en particular o desea realizar la evaluacin enconjunto de todos sus casos, o de submuestras de sus casos. No preten-demos a travs de este trabajo entrar a discutir el detalle de cmo rea-lizar cada una de las estrategias aqu mencionadas, ya que cada unaellas por s misma puede requerir un artculo individual. El objetivo esfamiliarizar al lector y a la lectora con algunas estrategias que estndisponibles para evaluar el cambio teraputico.

    Una de las estrategias ms simples que se puede utilizar en laprctica clnica es el estudio de caso. ste nos permite evaluar cambiosen conductas, en sntomas, en la queja principal que trae a la persona arecibir el tratamiento. El estudio de caso es un tipo de mtodo etnogr-fico que implica un estudio intenso y detallado de un solo individuo ode un grupo como una entidad ya sea a travs de observacin, auto

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    235

    reportes u otros documentos. La evaluacin continua del estatus de lossntomas de un caso o varios casos en psicoterapia, desde el comienzo,durante y al final puede producir un banco de datos que nos puedarevelar cundo y, en ocasiones, cmo, la terapia comienza a ser efecti-va. (Borckardt, Nash, Murphy, Moore, Shaw, & ONeil, 2008).

    Bernal, Wisocki y Tennen (1974) publicaron un estudio de casoen el cual se evalu la hiptesis de que el ensayo de una ejecucin exi-tosa en un ejercicio de imaginacin era ms necesario para el cambioconductual que el uso de un refuerzo independiente. La participante delestudio fue una estudiante de 17 aos que solicit servicios psicolgi-cos por padecer de fobia a las serpientes durante13 aos. Se utiliz latcnica de acercamiento conductual que consisti de 35 tareas progra-madas de forma jerrquica para acercarse al objeto de la fobia. Porespacio de 15 semanas se llev rcord del nmero de pasos que la estu-diante iba dando para acercarse a la serpiente. Tambin se evalu elnmero de veces al da, que tena pensamientos disruptivos relaciona-dos a la serpiente. El estudio describe cmo la persona va ganandopasos para acercarse al objeto de la fobia mientras los pensamientosdisruptivos disminuyen a lo largo del tratamiento.

    Otras de las estrategias de anlisis que se utiliza para evaluarcambio teraputico incluyen la prueba t para medir diferencias en pro-medio entre dos grupos, y los Anlisis de Varianza (ANOVAS) paramedir diferencias entre tres grupos o ms respecto a una variable deinters (Howell, 2007). Especficamente el ANOVA, se utiliza paraevaluar la hiptesis que la diferencia entre las varianzas de dos gruposo condiciones no es atribuible al azar. Si utilizamos el ANOVA de unsolo factor responde a la pregunta de: Es por lo menos uno de los pro-medios de K (cantidad de grupos comparados) diferente a por lo menosuno de los otros promedios mas all de lo que puede ser explicado porerror de muestreo? Dicha estrategia analtica fue utilizada por Rosselly Bernal (1999) con el propsito de comparar la eficacia de la TerapiaCognitiva Conductual (TCC) y de la Terapia Interpersonal (ITP), parael tratamiento de la depresin en adolescentes puertorriqueos/as. Elestudio tuvo un tercer grupo que se mantuvo en lista de espera hastaque finalizaron las evaluaciones. Utilizando el Inventario de Depresinpara Nios (CDI) se midieron los sntomas depresivos para los/as par-ticipantes del estudio en tres tiempos.

    En este caso en la Grfica 2 se puede observar que a pesar de quela terapia ITP obtuvo un menor promedio de sntomas de depresin al

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    236

    23

    21.2220.13

    20.12

    15.83

    13.29 13.75

    10.79

    8.91

    Pre Post Seguimiento

    I T PT C CControl

    21

    19

    17

    15

    13

    11

    9

    7

    5

    Grfica 2. Promedio total de las puntuaciones del CDI para el pretra-tamiento, postratamiento y seguimiento en TCC e ITP (Rossell &Bernal, 1999).

    Grfica 3. Promedios de las puntuaciones totales del CDI en el pre ypostratamiento para las condiciones individuales y grupales de CBT eIPT.

    2623.63

    23.13

    21.71

    19.71

    13.6912.33

    14.19

    11.09

    Pre Post

    24

    TCC-IITP-I

    ITP-GTCC-G

    22

    20

    18

    16

    14

    12

    10

    momento de finalizar el tratamiento, en una evaluacin posterior estatendencia no se mantiene mientras que el promedio para la TCC siguidisminuyendo.

    Tambin se puede evaluar el cambio teraputico realizando estu-dios de eficacia con diseos un poco ms complejos, como el ANOVAde dos factores con medidas repetidas. Rossell, Bernal y Rivera-Medina (2008) evaluaron el tipo de tratamiento TCC versus ITP pero asu vez se evalu la modalidad de terapia individual o grupal. En laGrfica 3 se puede observar que aunque los cuatro grupos de trata-

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    237

    mientos obtuvieron una disminucin significativa en los sntomasdepresivos al finalizar el tratamiento, los promedios ms bajos losobtuvieron aquellos adolescentes que recibieron TCC. Sin embargo,dicho anlisis no evidenci diferencias significativas entre las modali-dades de terapia grupal e individual aunque no se puede afirmar quesean equivalentes.

    Por otro lado, entrando en anlisis mucho ms complejos, tene-mos las curvas de crecimiento. Las curvas de crecimiento son diseosque nos permiten evaluar el cambio longitudinalmente a diversos nive-les, utilizando modelos de ecuaciones estructurales complejos (Byrne,2001). Estos modelos se desarrollaron en la dcada de los 90 y nos per-miten evaluar los cambios longitudinalmente de forma individual,entre individuos, de un grupo a otro, en interaccin entre dos variablesque afectan el cambio y utilizando variables categricas. Lo interesan-te de este tipo de anlisis para medir cambio teraputico es que al aa-dir evaluaciones a travs del proceso, ofrece ms informacin de cmoy dnde se va dando el cambio. Por ejemplo, la Grfica 4 muestracmo el cambio mayor (es decir disminucin en sntomas depresivos)se observ entre el pretratamiento y la cuarta sesin y de la cuarta a laoctava sesin. Podemos observar cmo luego de estas sesiones se siguedando una disminucin de los sntomas, pero mucho menos marcada.A su vez nos permite evaluar esta disminucin en los sntomas para

    Grfica 4. Curva de Crecimiento para los Sntomas de Depresin enAdolescentes Puertorriqueos.

    24 23.7123.0121.0720.37

    17.01

    14.7614.56 14.5

    13.84 13.4212.64

    11.7 11.411.2710.84

    12.64

    15.05

    18.02

    15.97

    Pre 4ta 8va Post Seguimiento

    22

    TCC-IITP-IITP-G TCC-G

    20

    18

    16

    14

    12

    10

    16.98

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    238

    cada grupo que estamos evaluando, en este caso se obtuvo una mayordisminucin estadsticamente significativa en los sntomas para aque-llos adolescentes que estuvieron en la TCC individual.

    Sin embargo, aunque las estrategias anteriores son muy intere-santes en trminos estadsticos y metodolgicos por el tipo de hipte-sis que permite plantearse con respecto al tratamiento, se reconoce sucomplejidad y necesidad de peritaje en el rea cuantitativa y de mto-do. Pero existen estrategias ms sencillas para medir el cambio tera-putico. Una de las estrategias ms comunes en la prctica clnica es eluso del ndice de Tamao del Efecto. El mismo nos permite medir lamagnitud del efecto del tratamiento para darnos informacin sobre elcambio teraputico. Surge como una crtica a las pruebas estadsticas elhecho que se puede identificar diferencias estadsticas, pero no necesa-riamente estas diferencias representan un cambio clnico significativo(Cohen, 1988, Jacobson & Truax, 1991 Rosnow & Rosenthal, 1996).Es una medida estandarizada de la diferencia entre dos promedios divi-dida por la desviacin estndar de cualquiera de los dos grupos. La fr-mula para su cmputo en este caso, partiendo de la premisa que lasvarianzas para ambos grupos son iguales, aparece a continuacindonde las Ms representan los promedios de cada grupo y la S la varian-za de uno de los grupos. En caso que las varianzas fueran diferentes sesustituye en la frmula la varianza de un solo grupo por la varianzaponderada de ambos grupos.

    Toda vez que es un valor estandarizado su interpretacin va a sersimilar a cuando se utiliza una puntuacin z y se busca el rango per-centil para la misma. En el estudio de Rossell, Bernal y RiveraMedina (2008) con un diseo factorial de 2 x 2 presentado anterior-mente, se consideraron los promedios de los/as adolescentes que estu-vieron en TCC versus ITP. El tamao del efecto obtenido fue de .43, yesto significa que los/as adolescentes promedio en TCC se recuperaronmejor que el 67% de los que recibieron ITP. Sin embargo, se criticaeste ndice ya que en ocasiones puede ser impreciso toda vez que sepuede obtener un tamao del efecto grande, sin embargo, el resultadono es clnicamente significativo (Beutler & Moleiro, 2001). An as, seplantea que es poco probable que un tamao del efecto grande noobtenga un cambio clnico significativo (Jacobson y Truax, 1991).

    (Ma _Mb)Sg=

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    239

    El cambio clnico significativo, por su parte, se refiere a la habi-lidad de alcanzar estndares de eficacia que se establecen por cada con-sumidor, cada investigador o investigadora o por la comunidad(Jacobson y Truax, 1991). Estos autores reconocen que no existe unconsenso de cmo se definen esos estndares para establecer el cam-bio, pero usualmente se utilizan los estndares establecidos por cmose observa la variable que estamos midiendo en una muestra de comu-nidad. Otra forma de establecer un estndar al que se desea llegar esobtener una puntuacin que sea indicativo de que la persona sali delnivel de disfuncin. Para establecer un cambio clnico significativo convarianzas iguales con una muestra clnica y una de comunidad se reco-mienda la siguiente frmula:

    Donde C = es el punto de corte donde se establece que el cam-bio en la muestra clnica fue significativo, es decir el promedio en lavariable de inters debe llegar a este valor C al finalizar el tratamien-to. Por ejemplo, si tenemos un promedio de 22.62 en sntomas dedepresin para una muestra clnica de adolescentes y el promedio quetenemos para una muestra de comunidad es de 13.25, el cmputo paraestablecer cundo se llegara a un cambio clnico significativo seobtendra de la siguiente forma:

    Es decir, se puede hablar de que ocurri un cambio clnico sig-nificativo si la muestra obtuvo un promedio de sntomas depresivosigual o menor de 17.93. Cuando no tenemos los datos para una mues-tra normativa tambin es posible establecer un cambio clnico signifi-cativo determinando un punto de corte para decidir quines salierondel nivel de disfuncin a base del promedio y dos desviaciones estn-dar.

    (Xclnico + Xcomunidad)2C=

    2 2 . 6 2 + 1 3 . 2 52

    C= = 1 7 . 9 3

    Xclnica +2 D EC=

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    240

    Por ltimo, otro ndice muy til para medir el cambio teraputi-co es el ndice de Cambio Confiable (ICC, reliable change index eningls) el cual especficamente nos dice cunto cambio ha ocurridodurante el transcurso de la terapia. Este ndice sobre todo es de granutilidad para el terapeuta pues permite determinar el cambio indivi-dualmente para cada caso y luego obtener un porcentaje de la cantidadde casos que lograron o no lograron obtener un cambio significativo.La frmula para computar el mismo es la siguiente:

    X2 X1EEDICC =

    Donde, X2 = Puntuacin cruda del participante al Post-tratamien-to, X1 = Puntuacin cruda del participante al Pre-tratamiento y EED =Error estandarizado de la diferencia obtenida. Este ltimo se puede cal-cular obteniendo el error estndar de la medida (es decir del instrumen-to que se est utilizando) discutido en detalle por Jacobson y Truax(1991). Para la interpretacin de este ndice, se considera que parareflejar un cambio significativo el valor del ICC debe ser mayor de1.96. De esta forma se considera que la puntuacin obtenida en el posttratamiento refleja un cambio real que va ms all de fluctuacionesprovocadas por un instrumento impreciso.

    Hacia una Practica Psicolgica Basada en la Evidencia y laMedicin

    En resumen, la PPBE es la integracin de la mejor evidenciadisponible al peritaje clnico en el contexto de las caractersticas decada paciente, su cultura y sus preferencias. El propsito es promoveruna prctica ms efectiva con miras a mejorar la salud pblica. Dichaprctica plantea una apreciacin de mltiples fuentes de la evidenciacientfica. Como se pudo apreciar en las estrategias para medir el cam-bio teraputico antes presentado, el incorporar la medicin en la PPBEes una propuesta alterna mucho ms flexible que la de losTratamientos Basados en la Evidencia que se fundamenta principal-mente en los ensayos clnicos para la evaluacin de eficacia del trata-miento. Es de gran utilidad al terapeuta ya que dependiendo de la can-tidad de evaluaciones que decida incorporar al proceso teraputico

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    241

    puede recibir retroalimentacin del mismo y observar cambios (o noobservarlos) de sesin a sesin. Tambin contribuira a generar estu-dios de casos individuales o de estudios de casos en serie que aporta-ran al conocimiento en el campo.

    ConclusionesLa medicin es indispensable para la evaluacin del cambio y

    poder dar cuenta de si lo que se hace dentro del contexto teraputicoes efectivo y beneficioso para cada paciente. Incorporar la medicin enla prctica psicolgica es viable en diferentes contextos tanto para elde la prctica privada como para el sector pblico y no est circunscri-to a contextos acadmicos o centros de investigacin. En Puerto Rico,existe un sinnmero de instrumentos vlidos y confiables para medirel cambio en mltiples dimensiones y hay centros, institutos, y mlti-ples recursos con el conocimiento para desarrollar instrumentos autc-tonos como para evaluar instrumentos que an no han sido validadosy adaptados para nuestra poblacin. Dado que se cuenta con las herra-mientas, es decir, los instrumentos, estrategias para medir el cambio yel conocimiento, la prctica clnica en Puerto Rico podra dirigirse msa incorporar la medicin como parte integral del tratamiento psicol-gico. Hacemos un llamado a la comunidad psicolgica para considerarla incorporacin de instrumentos de evaluacin (del malestar psicol-gico, sntomas u otras dimensiones del trabajo teraputico) de lamisma manera en que es casi inconcebible ir a una cita mdica sinpruebas de laboratorio. La medicin puede y debe ser parte del mismoproceso de tratamiento para el monitoreo del proceso como el rendi-miento (outcome) teraputico. Tambin alentamos a la comunidad psi-colgica a redoblar esfuerzo y publicar trabajos que informen sobre lasformas sistemticas de evaluar el cambio en estudios de casos. Al rea-lizar y publicar dichos trabajos ser posible construir un cuerpo deinformacin que nos permita aportar a una prctica psicolgica basa-da en la evidencia y en la medicin con estudios elaborados en PuertoRico.

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    242

    REFERENCIAS

    APA - Presidential Task Force on Evidence-Based Practice (2006).Evidence-based practice in psychology. American Psychologist,61, 271-285.

    Bernal, G. (2000). Psicoterapia: el reto de evaluar su efectividad anteel nuevo milenio. Hato Rey, PR: Publicaciones Puertorriqueas.

    Bernal, G. (2007). La prctica psicolgica basada en la evidencia:implicaciones para Puerto Rico. Boletn de la Asociacin dePsicologa de Puerto Rico, 29, 16-19.

    Bernal, G., & Scharrn-del-Ro, M. (2001). Are empirically supportedtreatments valid for ethnic minorities? : Toward an alternativeapproach for treatment research. Journal of Cultural Diversityand Ethnic Minority Psychology, 7, 328-342.

    Bernal, G., Wisocki, P., & Tennen, H. (1974, noviembre). Imagerialrehearsal of reinforcement in a covert behavioral technique: Asingle subject experiment. Presented at the Eight AnnualMeeting of the Association for the Advancement of BehaviorTherapy, Chicago.

    Beutler, L. E., Moleiro, C. (2001). Clinical versus reliable andsignificant change. Clinical Psychology: Science and Practice,8, 441-445.

    Borckardt, J. J., Nash, M. R., Murphy, M. D., Moore, M., Shaw, D.,& ONeil, P. (2008). Clinical psychology as natural laboratoryfor psychotherapy research: A guide to case-based time seriesanalysis. American Psychologist, 63, 77-95.

    Bravo, M. (2003). Instrument development: Cultural adaptations forethnic minority research (220-236). En G. Bernal, G., J.Trimble, F. A. Burlew, & F. Leung, F. (Eds.), Handbook ofethnic and racial minority psychology. Newberry, CA: SAGE.

    Byrne, B. M. (2001). Structural equation modeling with Amos.Mahwah, New Jersey: Lawrence Erlbaum Associates.

    Chambless, D. L., Sanderson, W. C., Shoham, V., Bennett-Johnson, S., Pope, K. S., & Crits-Christoph, P. (1996). Anupdate on empirically validated therapies. The ClinicalPsychologist, 49, 5-18.

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    243

    Cohen, J. (1988). Statistical power analysis for the behavioralsciences (2nd, ed.) Hillsdale, NJ: Lawrence EarlbaumAssociates.

    Guarnaccia, P., Angel, R., & Worobey, J. (1989). The factor structureof the CES-D in the Hispanic health nutrition examinationsurvey: The influence of ethnicity, gender and language. SocialSciences and Medicine, 29, 85-94.

    Howell, D. (2007). Statistical methods for psychology( 6th ed.).Belmont, CA: Thomsom Wadsworth.

    Jacobson, N. S. & Truax, P. (1991). Clinical significance: A statisticalapproach to defining meaningful change in psychotherapy.Journal of Consulting and Clinical Psychology, 59, 12-19.

    Kazdin, A. E. (2008). Evidence-based treatment and practice: Newopportunities to bridge clinical research and practice, enhancethe knowledge base, and improve patient care. AmericanPsychologist, 63, 146-159.

    Kovacs, M. (1992). Childrens Depression Inventory (CDI). NorthTonawanda, New York: Multi-Health Systems.

    Kovacs, M. (1983). Childrens Depression Inventory (CDI), Thechildrens depression inventory: A self-rated depression scalefor school-aged youngsters. Unpublished manuscript.University of Pittsburgh School of Medicine, PA.

    Miranda, J., Bernal, G., Lau, A., Kohn, L., Hwang, W., & LaFromboise, T. (2005). State of the science on psychosocialinterventions for ethnic minorities. Annual Review ofPsychology, 1, 113-142.

    Norcross, J. C., Beutler, L. E., Levant, R. F. (Eds), (2006). Evidence-based practices in mental health: Debate and dialogue on thefundamental questions. Washington, DC: AmericanPsychological Association.

    Presidents New Freedom Commission on Mental Health. (2003).Achieving the promise: Transforming mental health care inAmerica. Report of the Presidents !ew Freedom Commissionon Mental Health. Rockville, MD: Author.

    Radloff, L. (1977). The CES-D scale: A self report depression scalefor research in the general population. Applied PsychologicalMeasures, 1, 385-401.

  • MEDICIN EN EL CAMBIO PSICOTERAPUTICO

    244

    Rivera, C. L., Bernal, G., & Rossell, J. (2005). The ChildrenDepression Inventory (CDI) and the Beck DepressionInventory (BDI): Their validity as screening measures formajor depression in a group of Puerto Rican adolescents.International Journal of Clinical and Health Psychology, 5,485-498.

    Rivera-Medina, C. L., Rodrguez-Cordero, E., Caraballo, J. N.,Dvila-Marrero, E., & Bernal, G. (2008). Factor structure ofthe CES-D and measurement invariance across gender for lowincome Puerto Ricans in a probability sample. Sometido alJournal of Clinical and Consulting Psychology.

    Rossell, J. & Bernal, G. (1999). The efficacy of cognitive behavioraland interpersonal treatments for depressed Puerto Ricanadolescents. Journal of Consulting and Clinical Psychology,67, 734-745.

    Rossell, J., Bernal, G., & Rivera-Medina, C. (2008). Individual andgroup CBT and IPT for depressed Puerto Rican adolescents.Cultural Diversity and Ethnic Minority Psychology, 14, 234-245.

    Rosnow, R. & Rosenthal, R. (1996). Computing contrast, effect sizes,and counter nulls with multiple effect sizes on others peoplespublished data: General procedures for research consumers.Psychological Methods, 1, 331-340.

    Smith, M.L., Glass, V. S., & Miller, T. L. ( 1980). The benefits ofpsychotherapy. Baltimore: John Hopkins University Press.

    Trimle, J.e. & Fisher, C. B. (Eds.). (2005). Handbook of ethicalresearch with ethnocultural populations and communities.Newbury, CA: Sage.

    U.S. Surgeon General. (2001). Mental health: Culture, race, andethnicityA supplement to Mental Health: A Report of theSurgeon General. Rockville, MD: U.S. Department of Healthand Human Services.

    Vandenberg, R., & Lance, C. (2000). A review and synthesis of themeasurement invariance literature: Suggestions, practices, andrecommendations for organizational research. OrganizationalResearch Methods 2, 4-69.