![Page 1: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/1.jpg)
Análise de Mediação e Moderação
Prof. Dr. Valter Afonso Vieira (PPA/UEM)
![Page 2: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/2.jpg)
ASSOCIAÇÃO ENTRE VARIÁVEIS
É possível estabelecer ao menos seis tipos de relação entre
variáveis: (1) relação direta onde X explica Y; (2) relação onde X
impacta em Med e Med em Y, havendo ou não uma relação indireta
de X em Y; por vezes conhecida como relação mediada; (3) efeito
espúrio onde X explica Y; quando uma correlação entre duas
variáveis vem de uma causa não hipotética ou lógica; (4) relação
bidirecional entre duas variáveis X e Y, conhecida também como
cíclica; (5) efeitos não analisados e (6) efeitos moderados; nos quais
uma variável interfere na força da relação de duas outras, X e Y
(JACCARDI; TURRISI, 2003).
![Page 3: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/3.jpg)
MODERAÇÃO
De acordo com Baron e Kenny (1986), uma variável moderadora,
Mod, seja ela mensurada de forma quantitativa ou qualitativa, é
aquela que afeta a direção ou a força da relação entre uma
variável dependente e uma variável independente (entre X e Y). A
moderadora é, portanto, uma terceira variável que afeta a relação
entre outras duas, alterando a sua direção para mais ou menos.
Assim, a moderação ocorre quando o efeito que uma variável
independente exerce sobre uma variável dependente depende de
uma terceira variável, a moderadora.
![Page 4: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/4.jpg)
MODERAÇÃO
O modelo moderador da Fórmula 2 é representado na
aplicação prática pela Fórmula 3 (JAMES; BRETT, 1984). Há
moderação quando a variável X.Mod, produto entre a
variável independente X e a variável moderadora Mod, for
significativa.
![Page 5: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/5.jpg)
EXEMPLOS
COMO UM AGENTE M INTERFERE EM
UMA RELAÇÃO ENTRE X E Y?
X
M
Y
![Page 6: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/6.jpg)
DADOSN X Mod
Mod
×X Y
1 5 10 50 8
2 1 5 5 3
3 5 1 5 6
4 2 1 2 6
5 8 10 80 5
6 2 6 12 1
7 8 1 8 2
8 7 3 21 5
9 5 4 20 6
10 9 10 90 10
11 6 7 42 5
12 3 5 15 2
13 3 3 9 5
14 5 2 10 2
15 4 1 4 5
16 1 4 4 6
17 1 8 8 2
18 8 5 40 6
19 2 8 16 5
20 2 5 10 6
Média 4,35 4,95 22,55 4,80
Desvio
Padrão 2,64 3,09 25,29 2,24
1. X
2. Y
3. Mod = moderadora
![Page 7: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/7.jpg)
MÉTODO http://www.afhayes.com/
![Page 8: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/8.jpg)
RESULTADOS: DISPERSÃO
Y = 3,766+ 0,2089.Mod
R² = 0,0829
Y = 3,507+ 0,2972.X
R² = 0,123
0
1
2
3
4
5
6
7
8
9
10
0 1 2 3 4 5 6 7 8 9 10
Va
riá
vel
Dep
end
ente
Y
Variáveis Independentes X e Mod
Mod X
![Page 9: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/9.jpg)
RESULTADOS: REGRESSÃO
Variáveis
Independentes
1º Modelo 2º Modelo
B1 Sig. B1 Sig.
Constante 2,742 0,031 7,108 0,002
X 0,270 0,168 -0,587 0,131
Mod 0,179 0,281 -0,622 0,085
XMod 0,147* 0,020*
R2 0,183 0,424
1Coeficiente não padronizado. * p<0,05. Fonte: dados do trabalho.
![Page 10: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/10.jpg)
ANÁLISE PLOT
Para melhor interpretação da hipótese de moderação,
sugere-se representar graficamente o modelo de
moderação encontrado. Para tanto, deve-se estimar os
valores de Y, considerando a média de X e 1 desvio
padrão acima e abaixo dela (+1SD e -1SD). Do mesmo
modo, são também estimados valores baseados na média
de Mod e em 1 desvio padrão acima e abaixo (WEST;
AIKEN; KRULL, 1996; KIM, KAYE; WRIGHT, 2001).
![Page 11: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/11.jpg)
VALORES PARA O GRÁFICO
Os valores são estimados conforme a equação do modelo de
regressão deste exemplo dado pela Fórmula 4. Como exemplo,
serão apresentadas as equações para os seguintes cenários: (a)
Baixo X e Baixo X; (b) Média X e Médio Mod e (c) Alto X e Alto
Mod, representados pelas fórmulas 5, 6 e 7 respectivamente. A
Tabela 3 apresenta os valores para todos os cenários possíveis
Baixo Mod (-1 DP) Médio Mod (Média) Alto Mod (+1 DP)
Baixo X (-1 DP) 5,42 4,59 3,76
Médio X (Média) 4,27 4,65 5,03
Alto X (+1 DP) 3,13 4,71 6,29
Fonte: dados do trabalho
![Page 12: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/12.jpg)
GRÁFICO: MODERAÇÃO
Os resultados encontrados
indicam a existência de um
efeito moderador cruzado
para valores de Y
decorrente da interação
entre a variável
independente X e a variável
moderadora Mod.
5,42
4,593,76
4,274,65
5,03
3,13
4,71
6,29
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
Baixo X Médio X Alto X
Baixo Mod Médio Mod Alto Mod
![Page 13: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/13.jpg)
REGIÃO DE SIGNIFICÂNCIA
Com base nas propostas de
Hayes e Matthes (2009) e
Preacher, Rucker, e Hayes
(2007), elaborou-se o
gráfico de moderação
usando os betas não
padronizados, os intervalos
de confiança superior e
inferior e a região da
significância
![Page 14: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/14.jpg)
GRÁFICO DO EXCEL
www.jerem
ydawson.co
.uk/2-
way_unsta
ndardised.
xls
![Page 15: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/15.jpg)
REFERÊNCIAS http://psych.wisc.edu/henriques/mediator.html
http://www.quantpsy.org/medn.htm
www.afhayes.com/
Prado, P. H. M., Korelo, J. C., & Silva, D. M. L. (2014). Análise de
mediação, moderação e processos condicionais. Revista Brasileira
de Marketing, 13(4), 4-24.
Vieira, V. A. (2009). Moderação, mediação, moderadora-
mediadora e efeitos indiretos em modelagem de equações
estruturais: uma aplicação no modelo de desconfirmação de
expectativas. Revista de Administração (USP), 44(1), 17-33.
![Page 16: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/16.jpg)
REFERÊNCIAS
The Primer: Aiken & West (1991). Multiple regression: Testing and
interpreting interactions. Newbury Park, CA: Sage.
Cohen, Aiken, & West (2004). Regression analysis for the behavioral
sciences, [Chapters 7 and 9]
West, Aiken, & Krull (1996). Experimental personality designs:
Analyzing categorical by continuous variable interactions. Journal of
Personality, 64, 1-48.
Whisman & McClelland (2005). Designing, testing, and interpreting
interactions and moderator effects in family research. Journal of
Family Psychology, 19, 111-120
![Page 17: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/17.jpg)
REFERÊNCIAS
PREACHER, Kristopher J.; RUCKER, Derek D.; HAYES, Andrew F.
Addressing moderated mediation hypotheses: Theory, methods, and
prescriptions. Multivariate behavioral research, v. 42, n. 1, p. 185-
227, 2007.
KIM, Jin-Sun; KAYE, Judy; WRIGHT, Lore K. Moderating and
mediating effects in causal models. Issues in Mental Health
Nursing, v. 22, n. 1, p. 63-75, 2001.
WEST, Stephen G.; AIKEN, Leona S.; KRULL, Jennifer L. Experimental
personality designs: Analyzing categorical by continuous variable
interactions. Journal of personality, v. 64, n. 1, p. 1-48, 1996.
![Page 18: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/18.jpg)
Análise de Mediação e Moderação
Prof. Dr. Valter Afonso Vieira (PPA/UEM)
![Page 19: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/19.jpg)
MEDIAÇÃO
No modelo de mediação, a variável independente causa
a mediadora, na qual essa última causa a variável
dependente (McKinnon, 2008)
A mediação é um mecanismo através do qual a variável
independente foco é apta a influenciar a variável
dependente (Baron & Kenny, 1986)
A variável mediadora transmite o efeito de uma variável
independente sobre a dependente (McKinnon, 2008)
![Page 20: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/20.jpg)
MEDIAÇÃO
Women who report greater exposure (or who are given
greater exposure experimentally) to the thin-as-ideal
image of women are more likely to internalize this image
and seek thinness as a personal goal than those with less
exposure. Such internalization, in turn, leads to greater
body dissatisfaction (Cafri, Yamamiya, Brannick, &
Thompson, 2005).
![Page 21: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/21.jpg)
EXEMPLOS
Estímulo = Temperatura, X
Organismo = Sede, M
Resposta = consumo de água, Y
Y = i1 + cX + erro
Y = i2 + c’X + bM + erro
M = i3 + aX + erro
a,b,c,c’, onde a*b = efeito mediado = c
– c’;
COMO UM AGENTE CAUSAL X
TRANSMITE SEU EFEITO SOBRE Y?
![Page 22: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/22.jpg)
DADOS1 70 4 3 26 70 3 4
2 71 4 3 27 70 2 3
3 69 1 3 28 69 3 4
4 70 1 3 29 69 4 3
5 71 3 3 30 70 3 3
6 70 4 2 31 71 2 1
7 69 3 3 32 70 1 3
8 70 5 5 33 70 2 5
9 70 4 4 34 70 2 1
10 72 5 4 35 71 4 3
11 71 2 2 36 68 2 1
12 71 3 4 37 72 4 3
13 70 5 5 38 69 3 2
14 71 4 5 39 70 3 3
15 71 4 5 40 68 3 2
16 70 2 2 41 68 3 3
17 70 4 4 42 70 4 3
18 69 3 5 43 71 4 4
19 72 3 4 44 69 2 2
20 71 3 3 45 69 3 3
21 71 2 4 46 71 3 4
22 72 3 5 47 71 4 4
23 67 1 2 48 71 3 2
24 71 4 4 49 72 4 5
25 71 3 2 50 70 2 2
1. Sujeito
2. Temperatura
3. Sede
4. Consumo água
![Page 23: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/23.jpg)
MÉTODO http://www.afhayes.com/
![Page 24: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/24.jpg)
RESULTADOS
Variável Beta Erro Beta padroni significância
constante -22,05 9,42
X (tempera) .36 .13 .36 .01
Constante -12.71 9.19
X -->Y .208 .13 .208 .126 (p=NS)
M-->Y .45 .14 .41 .00
Constante -20.70 8.58
X-->M .33 .12 .37 .00
Co
nc
lus
ão
1
1º
F a
um
en
to n
a te
mp
Le
va
a 1
/3 (
33
%)
au
me
nt
Co
nsu
mo
ág
ua
![Page 25: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/25.jpg)
RESULTADOS
Variável Beta Erro Beta padroni significância
constante -22,05 9,42
X (tempera) .36 .13 .36 .01
Constante -12.71 9.19
X -->Y .208 .13 .208 .126 (p=NS)
M-->Y .45 .14 .41 .00
Constante -20.70 8.58
X-->M .33 .12 .37 .00
Co
nc
lus
ão
2
Se
de
te
m r
ela
çã
o c
om
co
nsu
mo
ág
ua
B=
.45
, q
ua
nd
o
Co
ntr
ola
nd
o p
or
tem
pe
ratu
ra.
1º
F a
um
en
to n
a te
mp
Le
va
a .4
5 c
on
su
mo
ág
ua
![Page 26: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/26.jpg)
RESULTADOS
Variável Beta Erro Beta padroni significância
constante -22,05 9,42
X (tempera) .36 .13 .36 .01
Constante -12.71 9.19
X -->Y .208 .13 .208 .126 (p=NS)
M-->Y .45 .14 .41 .00
Constante -20.70 8.58
X-->M .33 .12 .37 .00
Co
nc
lus
ão
3
O e
feito
me
dia
do
é
a*b
= .3
3*.
45
= .
36
-.2
0 =
.1
52
7
![Page 27: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/27.jpg)
MEDIAÇÃO
TOTAL DO EFEITO =
c’ + a*b =
.207+.152=c'
X --> Y
X --> Y (QUANDO HÁ M)
X --> Y (QUANDO HÁ M) a*b
![Page 28: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/28.jpg)
R² = .13 X --> Y
R² = .27 X + M --> Y
R² = .09 (MEDIADO)
Bootstrapping confidence intervals test = bootstrapping can refer to any test or metric that relies on random
sampling with replacement. Bootstrapping allows assigning measures of accuracy (defined in terms of
bias, variance, confidence intervals, prediction error or some other such measure) to sample estimates.
Intervalo não pode incluir zero (0).
Varian, H.(2005). "Bootstrap Tutorial". Mathematica Journal, 9, 768-775.
![Page 29: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/29.jpg)
R² = .13 X --> Y
R² = .27 X + M --> Y
R² = .09 (MEDIADO)
Normal theory test = Product of coefficients = Delta method =
Sobel test = Sobel test is a method of testing the significance of a mediation effect. The test is based on the work of
Michael E Sobel, a statistics professor at Columbia University in New York, NY
Sobel, Michael E. (1982). "Asymptotic Confidence Intervals for Indirect Effects in Structural Equation
Models". Sociological Methodology 13: 290–312.
Sobel, Michael E. (1986). "Some New Results on Indirect Effects and Their Standard Errors in Covariance
Structure". Sociological Methodology 16: 159–186
![Page 30: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/30.jpg)
MEDIAÇÃO: CONCLUSÕES
Há um efeito direto do aumento da temperatura sobre o
consumo da água B = .36 (x --> y)
O efeito direto do aumento da temperatura sobre o
consumo da água B = .36 é reduzido com a adição (com a
entrada) da mediadora (sede) para B = .20 (x + m --> y)
Há um efeito do aumento da temperatura por meio de
(através) da sede sobre o consumo da água B = .36 - .20 =
.1527 (x --> m --> y). Há um R2 = .09
![Page 31: Análise de Mediação e Moderação · PDF fileMODERAÇÃO De acordo com Baron e Kenny (1986), uma variável moderadora, Mod, seja ela mensurada de forma quantitativa ou qualitativa,](https://reader031.vdocuments.site/reader031/viewer/2022030412/5a9e12b97f8b9a29228d338c/html5/thumbnails/31.jpg)
REFERÊNCIAS http://psych.wisc.edu/henriques/mediator.html
http://www.quantpsy.org/medn.htm
www.afhayes.com/
Prado, P. H. M., Korelo, J. C., & Silva, D. M. L. (2014). Análise de
mediação, moderação e processos condicionais. Revista Brasileira de
Marketing, 13(4), 4-24.
Vieira, V. A. (2009). Moderação, mediação, moderadora-
mediadora e efeitos indiretos em modelagem de equações
estruturais: uma aplicação no modelo de desconfirmação de
expectativas. Revista de Administração (USP), 44(1), 17-33.