uso de métodos estadísticos en campañas de adwords
TRANSCRIPT
Métodos Estadísticos para la Planificación de Campañas de Adwords
Situación Inicial
Se utiliza Adwords para generar subscripciones a unNewsletter Deportivo. La campaña muestra anuncios en español y en inglés. Se compraron 4 Keywords: Basket, Beisbol, Fútbol y Soccer. Se crearon dos grupos de anuncios, uno para fútbol y otropara el resto de los deportes. Se emplean tanto la concordancia amplia como específica. Los copys tienen diferente nivel de calidad.
Estructura de la Campaña
Campaña Grupo de anuncios Keyword Concordancia Calidad
English Futbol Soccer Amplia 8
Otros Deportes Basket Amplia 5Español Futbol Futbol Amplia 0
Otros Deportes Beisbol Exacta 7
¿Cuánto influye cada uno de estos aspectos en el CPA global de nuestra campaña?
Los Desafíos
¿Es posible ajustar un modelo estadístico a una campañacon estas características? ¿Se puede determinar el impacto de cada aspecto en el CPAGlobal de nuestra campaña? ¿Qué combinación arrojaría mejores resultados? ¿Es posible estimar el CPA a partir de los datos disponibles?
El Modelo Estadístico
En función de los datos disponibles recurrimos a un modelode Regresión Lineal Multivariante.
Este modelo busca estimar los valores de una variable independientenumérica a partir de los valores de un conjunto de variablesindependientes numéricas y dicotómicas (dummy).
Estadísticamente se expresa: Y = a + b X1 + c X2 + ... + n Xn + d
donde:Y = variable dependiente
X1 , X2 , Xn = variables independientes
a, b, c, n = coeficientes de regresiónd= error de predicción
Entendiendo el Modelo
La forma más sencilla de estimación lineal es utilizar el valorpromedio de CPA, pero esto elimina sus variaciones
Entendiendo el Modelo
La regresión lineal busca estimar el CPA usando informaciónde otras variables para disminuir el error de estimación
Entendiendo el Modelo
Lo importante es crear un modelo que permita maximizar laproporción de varianza explicada empleando pocas variablesexplicativas. Existen algunas restricciones a considerar:
- Colinealidad: las variables explicativas son independientes entre sí.- Homocedasticidad: el error de estimación tiene esperanza cero ydistribución normal para todos los valores considerados.- No autocorrelación de los residuos: los residuos no presentanautocorrelación serial.- Especificación correcta: todas las variables explicativas han sidoincluidas en el modelo y no se presenta sobre-determinación.
Planteamiento del Modelo
Para estimar el CPA planteamos las siguientes hipótesis:
- El CPA guarda relación directa con la cantidad de clics, elCPC y la posición promedio.- Mantiene relación inversa con la Calidad del Anuncio y elCPC Máximo.- Las Keywords más relevantes y el criterio de búsquedaexacto disminuyen el CPA.- La hipótesis nula indica que el CPA no es afectado por estasvariables en grado significativo.
Analizando los Datos
Primero es necesario realizar la transformación de variablescategóricas en dicotómicas (dummy) de la siguiente forma:
Var. Original:
Categorías:
Var. Dummy:
Categorías:
Keyword
Basket Beisbol Fútbol Soccer
d_Basket d_Beisbol d_Fútbol d_Soccer
Basket = 1Beisbol = 0Fútbol = 0Soccer = 0
Basket = 0Beisbol = 1Fútbol = 0Soccer = 0
Basket = 0Beisbol = 0Fútbol = 1Soccer = 0
Basket = 0Beisbol = 0Fútbol = 0Soccer = 1
Analizando los Datos
Es posible analizar los datos con Excel utilizando elcomplemento de análisis de datos que debemos instalar así:
1- Haga clic en el Botón Microsoft Office y, a continuación, haga clic en Opciones de Excel.
2- Haga clic en Complementos y, en el cuadro Administrar, seleccione Complementos de Excel.
3- Haga clic en Ir.
4- En el cuadro Complementos disponibles, active la casilla de verificación Herramientas para análisis y, a continuación, haga clic en Aceptar.
Tendremos ciertas limitaciones:
- El formato de las variables debe ser numérico.
- Los datos deben estar un rango continuo y sin celdas vacías.
- No podemos analizar más de 16 variables independientes.
- No podemos ajustar los criterios de entrada de las variables.
Analizando los Datos
Datos -> Análisis de Datos -> Regresión
Analizando los Datos
Rango Y -> var. dependiente Rango X -> var. Explicativas
Analizando los Datos
Obtendremos una salida de resultados de la siguiente forma
Analizando los Datos
Empleando el software SPSS podremos incrementar lacapacidad de análisis estadístico y resolver los problemas queconlleva Excel respecto de la estructura de los datos.
El programa seleccionara las variables que integran el modeloy podremos realizar test para comprobar el cumplimiento delos supuestos que limitan el empleo de la regresión lineal.
ADVERTENCIA: Voy a mostrar números y fórmulas es el momento
apropiado para los que se quieran escapar de la sala
El éxodo masivo
AHORA QUE SE FUERON TODOS
Interpretando los Resultados
Existen dos modelos posibles uno que explica el CPA solo enbase a los clics y otro que combina clics y gasto en Adwords.
Coeficiente de Correlación varía entre -1 y 1:1 correlación perfecta positiva-1 correlación perfecta negativa0 independencia estadística
Coeficiente de Regresión Lineal varía entre 0 y 1:Indica la proporción de varianza atribuible a la incidencia de las variables explicativas en este caso casi un 42%
Varianza o suma de cuadrados:Se descompone en la parte explicada por el modelo y la parte residual no explicada
Varianza Total =
Varianza Explicada =
Varianza Residual =
Interpretando los Resultados
Los coeficientes de regresión del modelo indican el impactode las variables sobre el CPA
Coeficientes Beta ponderan el impacto de los cambios en los
valores de las variables explicativas: a * X
Coeficientes estandarizados homogeneízan la escala de
medición para permitir comparar el impacto de las
variables
Nivel de Significación estadística su valor crítico
debe ser inferior a a=0,05 o sea un error del 5%
Para que un coeficiente sea significativo el intervalo de
confianza debe excluir al valor cero del rango que
cubre el mismo
La ecuación de la recta de regresión en nuestro caso sería:
CPA = - 0,022 + 0,024 * Clic +/- 0,42 error
Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplentenemos que observar los siguientes gráficos:
La distribución de los residuos estandarizados debería ajustarse a una curva normal. En este caso se observa una mayor desviación hacia la derecha
lo que podría indicar que estamos subestimando sistemáticamente el CPA
La probabilidad acumulada de los residuos estandarizados debería
ajustarse a la línea diagonal. En este caso tenemos mayor cantidad de
residuos con valores pequeños que lo esperado lo que indica desajuste.
Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplentenemos que observar los siguientes gráficos:
La distribución de los residuos estandarizados debería seguir un
patrón irregular para todos los valores. En nuestro caso encontramos
problemas de estimación cuando el CPA es cero o mayor a $ 0,60
Sobrestimación
Subestimación
La distribución de los residuos estandarizados debería seguir un
patrón irregular para todos los valores. En nuestro caso encontramos
problemas de estimación a medida que los valores predichos crecen
Subestimación
Sobrestimación
Interpretando los Resultados
Sin embargo no son tantos los casos donde el error depredicción es superior a 2 desvíos estándar:
Solo en 9 casos entre 124 la estimación realizada excedió el margen de error
determinado por una distribución normal
La línea media representa la recta de regresión lineal y las líneas en los
márgenes los límites superior e inferior de la estimación al 95% de confianza
Corrigiendo el Modelo
El modelo tiene errores de especificación porque la cantidadde clics es una función dependiente de otras variables. Pararesolverlo plantearemos un nuevo modelo más complejo:
CPA
Clics
CPC Promedio
Impresiones
Posición Promedio
CPC Máximo
El nuevo Modelo
Este modelo plantea una regresión en dos etapas, en la primera seestiman los clics y el CPC promedio y posteriormente el CPA. Lashipótesis se formulan de la siguiente manera:
Mayor cantidad de impresiones y mejor posición incrementan la cantidad de clicsobtenidos.
Mejor posición y mayor CPC que estamos dispuestos a pagar incrementan el CPCpromedio de la campaña.
Mayor cantidad de clics y mayor CPC promedio a igual tasa de conversiónincrementan el CPA final.
Comparando los Resultados
Puestos frente a frente los modelos comprobamosconsiderables mejoras en los estadísticos:
Mientras el primer modelo OLS solo permitía explicar el 42% de las variaciones
en el CPA el modelo 2SPS da cuenta del 62% lo que es una mejora de casi un 50%
El error del modelo se redujo considerablemente lo que incrementa la
precisión en las estimaciones del CPA
Estadísticos Modelo OLS Modelo 2SLS % de MejoraCoeficiente R 0,65 0,79 22%Coeficiente R^2 0,42 0,62 49%R^2 Ajustado 0,41 0,61 49%Error Estandar 0,22 0,09 -59%
Coeficientes Modelo OLS Modelo 2SLSConstante -0,022 - - - Clicks 0,024 0,032 CPC Promedio - - - -1,910 Error del Modelo 0,420 0,180
Además algunas de las restricciones dejan de aplicarse paralos modelos 2SLS como la colinealidad entre variables.
Comparando los Resultados
Es necesario graficar los residuales para comprobar si existenproblemas en el modelo:
Los residuales de la regresión se distribuyen con un mayor ajuste a la curva
normal debido a la mejora del modelo.
La dispersión del CPA pasa a estar explicada por 2 variables los clics y el CPC promedio lo que permite ajustar un plano
de regresión más adecuado.
La crisis existencial
Todo muy lindo nos rompemos la cabeza tratando deentender la Regresión Lineal pero…
COMO C@R@J@ PODEMOS ESTIMAR EL CPA EN ADWORDS!!!
Estimando el CPA
Es muy fácil y en realidad ya lo hicimos…
APLICANDO LA FÓRMULA!!!
Y = a + b X1 + c X2 + d
O en nuestro análisis:
CPA = 0*constante + 0,032*clics – 1,19*CPC Prom. +/- 0,18 error
Estimando el CPA
Con ello vamos a crear distintos escenarios…
APLICANDO LA FÓRMULA!!!
Resultados de la campaña durante el primer mes:
Clics: 894 Prom. diario: 28,8
Conversiones: 53 Prom. Diario: 1,71
CPC Prom.: $0,05 CPA Prom.: $0,82
Estimando el CPA
Escenario 1: se mantienen los clics y CPC promedio
CPA = 0,032 * 28,8 clics – 1,19 * $0,05 CPC Prom. +/- 0,18 error
CPA Estimado: $0,86 CPA Mínimo: $0,68 CPA Máximo: $1,04
Escenario 2: 80% de los clics y 60% del CPC promedio
CPA = 0,032*23,1 clics – 1,19 * $0,03 CPC Prom. +/- 0,18 error
CPA Estimado: $0,70 CPA Mínimo: $0,52 CPA Máximo: $0,88
Escenario 3: 120% de los clics y 150% del CPC promedio
CPA = 0,032*34,6 clics – 1,19 * $0,07 CPC Prom. +/- 0,18 error
CPA Estimado: $1,02 CPA Mínimo: $0,84 CPA Máximo: $1,20
Así podemos testear todos los escenarios que creamos probables
Precisión de la Estimación
Mucha estadística pero…
¿Funciona realmente?A las pruebas me remito…
CPA Real $ 0,89CPA Estimado $ 0,86Margen de error 3%
Conclusiones
Al ajustar el primer modelo de Regresión Lineal pudimosestablecer las variables que carecían de incidencia comofactores explicativos.
Los resultados del modelo OLS no fueron satisfactorios por loque se busco un modelo alternativo.
El modelo 2SLS arrojó resultados más satisfactoriospermitiendo mejorar en un 50% la capacidad explicativarespecto del modelo OLS.
El uso de escenarios alternativos nos permite realizar unaplanificación racional basada en datos estadísticos.
Al emplear modelos estadísticos mejoramos la comprensiónde la dinámica de las campañas de Adwords.
Tips para analistas
Desarrollar modelos estadísticos con sustento lógico.
Testear diferentes modelos hasta encontrar el másapropiado a las variables que disponemos.
Validar si se cumplen los supuestos y restricciones para noextraer conclusiones erróneas.
Las conclusiones son válidas en tanto no se produzcantransformaciones de las condiciones estructurales queanaliza el modelo estadístico.
Es posible que existan errores de especificación debidos ala falta de inclusión de variables relevantes.
Los modelos deben revisarse y ajustarse a cada campaña einclusive periódicamente en una campaña de larga duración.