2 erc | iii conferência anual, 2009 | antónio salvador ponto de partida
TRANSCRIPT
2ERC | III Conferência Anual, 2009 | António Salvador
Ponto de Partida
3ERC | III Conferência Anual, 2009 | António Salvador
Esta conclusão, do relatório em referência, remete
para uma questão inicial:
Qual a relevância das sondagens “políticas” no mundo
dos estudos de mercado e opinião?
Dinâmica criada pelas sondagens de opinião
4ERC | III Conferência Anual, 2009 | António Salvador
O negócio das sondagens políticas e eleitorais
Para a maioria das empresas de estudos de mercado e opinião,
sobretudo as maiores, o negócio das sondagens “políticas” é
residual ou inexistente (em Portugal e em todo o mundo).
Não será este, no entanto, o caso de algumas empresas
credenciadas pela ERC (18, no total):
ERC e não APODEMO
APODEMO
Nº Empresas
Total Volume Facturação
(2008) (000€)
4.092 511
89.404
Empresas Credenciadas / Associadas
Média (000€)
8
29 3.083
5ERC | III Conferência Anual, 2009 | António Salvador
E os inquéritos de opinião de cariz não eleitoral?
A Lei 10/2000, de 21 de Junho, limita a sua aplicação a sondagens e inquéritos relativos a assuntos de carácter eleitoral (mais do que político, como é habitual referir-se), o que empola a importância deste tipo de inquéritos de opinião.
Porquê?
É por ser necessário obter a informação sobre o peso
eleitoral dos candidatos de forma fidedigna e
inquestionável?
6ERC | III Conferência Anual, 2009 | António Salvador
E os inquéritos de opinião de cariz não eleitoral?
Não faz sentido.
Neste caso, vai haver um
resultado nacional e
indesmentível na eleição.Porque não regular informação,
eventualmente importante para
a governação do país, sobre a
qual não vai existir informação
nacional e inquestionável?
7ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Só há uma explicação para a Lei 10/2000 limitar a sua aplicação a sondagens e inquéritos relativos a assuntos de carácter eleitoral: é para impedir que os resultados das sondagens possam influenciar, de forma distorcida, o voto dos eleitores.
Alguém alguma vez, incluindo a ERC, promoveu algum
estudo de carácter científico sobre a influência das
sondagens no comportamento eleitoral em Portugal?
Quanto mais não fosse, analisar o que lá fora se produziu de
científico sobre o assunto?
8ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Aposto que a maioria dos políticos, jornalistas e demais comentadores acredita na tese do Bandwaggon (ter um score elevado nas sondagens faz ter mais votos).
Paulo Portas terá certamente sido, na sequência das eleições europeias, um dos grandes responsáveis pela existência desta comissão de diagnóstico sobre a situação das sondagens.
9ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Também Santana Lopes parece seguir o mesmo raciocínio.
10ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Mas só às vezes!
11ERC | III Conferência Anual, 2009 | António Salvador
Como conhecer melhor o comportamento eleitoral?
Pegando neste célebre caso de Santana Lopes e João Soares,
não terá havido antes uma outra consequência, conhecida
como “abstenção por certeza de vitória”?
E o caso “Nuno Melo” nas eleições europeias, não poderia
ser um caso de underdog (o eleitor votar num candidato que
aparece demasiado fraco nas sondagens)?
12ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Em princípio, devia ser fácil analisar estes fenómenos.
Vejamos, por exemplo, as eleições europeias.
Se o PS teve mais, em quase todas as sondagens, do que
veio a ter na eleição, deverá ter havido abstenção por
certeza de vitória.
No caso de Nuno Melo, era normal concluir-se por um caso
de underdog.
E podíamos analisar estas evoluções de cada vez que
houvesse eleições, se…
13ERC | III Conferência Anual, 2009 | António Salvador
Os resultados das sondagens influenciam o eleitor?
Se… estivéssemos a pensar bem.
Mas a generalidade da Comunicação Social, dos políticos e
dos demais intervenientes nestas temáticas perceberam
logo a verdadeira realidade. Afinal, não houve abstenções
por certeza de vitória nem underdogs, a verdadeira
explicação era bem menos sofisticada: eram as sondagens
que estavam todas erradas.
Porquê?
14ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
Porque a generalidade da Comunicação Social, dos políticos
e dos demais intervenientes nestas temáticas sabem muito
bem que a intenção de voto não varia nos quinze dias de
campanha eleitoral.
Logo, as sondagens deviam ter dado todas o PSD a ganhar e
Nuno Melo com os votos que veio a ter.
Os tipos das sondagens são uns brincalhões: só acertam nas
sondagens de boca-de-urna. Nas outras, andam a brincar
com o país.
15ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
Esta confusão entre sondagem e previsão é a verdadeira
razão porque estamos todos aqui.
E a maior fonte de prejuízo para a credibilidade das
empresas de sondagens.
Temos que nos entender: vamos começar por partir do
pressuposto de que, independentemente das hipotéticas
influências das sondagens sobre o comportamento eleitoral,
temos que proteger o eleitor de sondagens de má
qualidade?
16ERC | III Conferência Anual, 2009 | António Salvador
Vamos proteger o eleitor
Partamos assim do pressuposto da protecção do eleitor. O que significa obrigar a que as sondagens sejam de qualidade.
Como se mede a qualidade de uma sondagem? Alguém sabe dizer? Sobretudo quando 6 empresas diferentes têm aproximadamente as mesmas metodologias e dão resultados diversos?
Só existe uma forma objectiva de avaliar uma sondagem: é através das sondagens de “boca-de-urna”.
17ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
in Correio da Manhã, 12 de Outubro 2009
O que, mesmo assim, parece nem sempre ser fácil….
18ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
in Correio da Manhã, 12 de Outubro 2009
19ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
PartidosSIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS
Previsão Desvio Previsão Desvio Previsão Desvio FINAIS
PSD 42,0 1,8 39,5 0,7 40,3 0,1 40,2
PS 37,4 0,4 38,5 0,7 38,0 0,2 37,8
PP 7,3 1,4 8,8 0,1 8,3 0,4 8,7
CDU 7,3 0,4 6,8 0,1 6,8 0,1 6,9
BE 2,7 0,0 3,5 0,8 2,9 0,2 2,7
4,0 2,4 1,0 média dos d.m.
Desv. Médio 0,8 0,5 0,2 0,5
Legislativas 2002
PartidosSIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS
Previsão Desvio Previsão Desvio Previsão Desvio FINAIS
PSD 25,2 3,5 27,0 1,7 28,1 0,6 28,7
PS 48,8 3,7 47,0 1,9 46,2 1,1 45,1
PP 7,0 0,3 6,0 1,3 6,8 0,5 7,3
CDU 8,4 0,8 7,0 0,6 7,7 0,1 7,6
BE 7,0 0,6 7,0 0,6 6,4 0,0 6,4
8,9 6,1 2,3 média dos d.m.
Desv. médio 1,8 1,2 0,5 1,2
Legislativas 2005
20ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
Partidos
SIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS
Previsão Desvio Previsão Desvio Previsão Desvio FINAIS
PSD 28,8 0,3 27,0 2,1 28,3 0,8 29,1
PS 38,3 1,7 38,0 1,4 38,0 1,4 36,6
PP 8,8 1,7 10,0 0,5 10,1 0,4 10,5
CDU 7,6 0,3 8,5 0,6 7,5 0,4 7,9
BE 10,1 0,2 10,5 0,6 10,0 0,1 9,9
4,2 5,2 3,1 média dos d.m.
Desv. médio 0,8 1,0 0,6 0,8
Legislativas 2009
21ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
Europeias 2004
Partidos
SIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS
Previsão Desvio Previsão Desvio Previsão Desvio FINAIS
PS 46,0 1,5 45,0 0,5 44,7 0,2 44,5
PSD/PP 32,0 1,3 34,0 0,7 32,8 0,5 33,3
CDU 11,0 1,9 9,0 0,1 8,7 0,4 9,1
BE 6,0 1,1 5,0 0,1 5,8 0,9 4,9
5,8 1,4 2,0 média dos d.m.
Desv. médio 1,5 0,4 0,5 0,8
PartidosSIC/Eurosondagem RTP/U. Católica TVI/Intercampus RESULTADOS
Previsão Desvio Previsão Desvio Previsão Desvio FINAIS
PSD 31,1 0,6 31,5 0,2 32,4 0,7 31,7
PS 29,6 3,0 30,5 3,9 26,1 0,5 26,6
PP 8,4 0,0 8,5 0,1 8,0 0,4 8,4
CDU 10,4 0,3 10,5 0,2 11,2 0,5 10,7
BE 12,5 1,8 10,5 0,2 11,3 0,6 10,7
5,7 4,6 2,7 média dos d.m.
Desv. médio 1,1 0,9 0,5 0,9
Europeias 2009
22ERC | III Conferência Anual, 2009 | António Salvador
Sondagens de “boca-de-urna”
Autárquicas 2009CONCELHO PARTIDO SIGLA PARTIDO
Resultados oficiais
SIC RTP TVI
Lim
mínimoLimite
MáximoPM DV
Lim mínimo
Limite Máximo
PM DVLim
mínimoLimite
MáximoPM DV
LISBOA Lisboa com Sentido PPD/PSD.CDS-PP.MPT.PPM 38,7 36,9 41,1 39,0 -0,3 34,0 38,0 36,0 -2,7 34,7 40,3 37,5 1,2
110600 B.E. B.E. 4,6 3,9 6,1 5,0 -0,4 3,0 5,0 4,0 -0,6 3,0 5,6 4,3 0,3
CDU PCP-PEV 8,1 6,6 8,8 7,7 0,4 8,5 10,5 9,5 1,4 7,1 10,7 8,9 -0,8
PS PS 44,0 41,2 45,4 43,3 0,7 44,0 48,0 46,0 2,0 42,8 48,4 45,6 -1,6
1,8 6,7 3,9
PORTO B.E. B.E. 5,0 3,9 5,7 4,8 -0,2 4,0 6,0 5,0 0,0 3,3 6,9 5,1 0,1
131200 CDU PCP-PEV 9,8 7,9 10,1 9,0 -0,8 8,5 10,5 9,5 -0,3 7,8 11,4 9,6 -0,2
O Porto em Primeiro PPD/PSD.CDS-PP 47,5 43,3 47,1 45,2 -2,3 45,0 49,0 47,0 -0,5 44,9 50,5 47,7 0,2
PS PS 34,7 35,5 39,3 37,4 2,7 33,0 37,0 35,0 0,3 31,2 36,8 34,0 -0,7
6,0 1,1 1,2
MATOSINHOS Matosinhos merece Melhor PPD/PSD.CDS-PP 17,1 13,0 16,0 14,5 -2,6 11,9 16,5 14,2 2,9
130800 B.E. B.E. 2,7 2,0 4,0 3,0 0,3 1,4 4,0 2,7 0,0
PS PS 42,3 38,0 42,0 40,0 -2,3 38,0 43,6 40,8 1,5
CDU PCP-PEV 4,4 4,0 6,0 5,0 0,6 2,6 5,2 3,9 0,5
Narciso Miranda Matosinhos Sempre I 30,7 32,0 36,0 34,0 3,3 32,2 37,8 35,0 -4,3
9,1 9,2
OEIRAS MAIS OEIRAS PPD/PSD.CDS-PP.PPM 16,4 13,0 16,0 14,5 1,9 14,2 18,8 16,5 0,1
111000 Isaltino, Oeiras mais à Frente I 41,5 41,0 45,0 43,0 -1,5 40,0 45,6 42,8 1,3
B.E. B.E. 3,9 3,0 5,0 4,0 -0,1 2,4 5,0 3,7 -0,2
PS PS 25,8 25,0 29,0 27,0 -1,2 23,3 28,9 26,1 0,3
CDU PCP-PEV 7,3 6,0 8,0 7,0 0,3 5,0 8,6 6,8 -0,5
5,0 2,4
Média 4 concelhos
21,9 16,7
5,5 4,2
Média de 2 concelhos
7,8 7,8 5,1
3,9 3,9 2,6
Abstenção 41,0 36,3 39,9 38,1 -2,9 36,0 41,0 38,5 -2,5 38,0 43,0 40,5 -0,5
23ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
No caso das sondagens pré-eleitorais, vamos partir do
pressuposto que é possível avaliar a qualidade de uma
sondagem (chamem-lhe o que quiserem: precisão,
exactidão) através da comparação do seu resultado com o da
eleição 8 ou 15 dias mais tarde?
Aparentemente, toda a gente acha que sim.
24ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
Infelizmente, até o relatório da ERC agora proposto acha que
sim:
25ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
O próprio relatório em referência, em vários momentos,
estuda os “desvios” das sondagens face aos resultados
verificados, como se, de previsões se tratasse. E, para
cúmulo, sem cuidar de analisar o timing de realização do
trabalho de campo, comparando trabalhos de campo
realizados antes e depois do inicio da campanha eleitoral.
Fazer uma previsão (só conheço um caso em Portugal,
efectuado pelo Pedro Magalhães) é antecipar o resultado de
uma eleição, independentemente do que vier a acontecer
durante a campanha eleitoral. À semelhança de autores
americanos, PM fê-lo cerca de seis meses antes da eleição.
26ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
O que é muito diferente da medição da intenção de voto num
determinado momento (que é o objectivo das sondagens
pré-eleitorais).
As chamadas sondagens pré-eleitorais não podem ser um
bom avaliador da qualidade das sondagens, e quando
analisadas ou comparadas, deverão ser com base em
resultados brutos (sem ponderações por voto anterior,
redistribuição de indecisos, ou outros procedimentos que as
aproximam do conceito de previsão).
27ERC | III Conferência Anual, 2009 | António Salvador
Sondagem e previsão
Sistematicamente, são
realizados “rankings”
para a melhor
sondagem (pré-
eleitoral) com base
nas menores
diferenças face ao
resultado efectivo
(o que, em teoria,
significaria que a
melhor sondagem pré-
eleitoral seria a que
não tivesse desvios…).
in Correio da Manhã, 12 de Outubro 2009
28ERC | III Conferência Anual, 2009 | António Salvador
Conceitos
Fala-se muito, e o próprio relatório contribui para essa
confusão, sobre se os resultados com anulação de indecisos
são, ou não, uma “previsão”.
Distinguiria 3 conceitos diferentes:
1. Intenção de voto no momento – resultados brutos da
sondagem (com indecisos); diz o que se passa no momento;
2. Previsão – trabalho de modelização, de carácter científico, que pode ter, ou não, sondagens de intenção de voto na sua base; diz o que vai acontecer no futuro;
29ERC | III Conferência Anual, 2009 | António Salvador
Conceitos
3. Extrapolação – resultados da sondagem (sem indecisos –
qualquer que seja o método); a não ser que se assuma que
se trata de uma previsão, esta extrapolação permite
comparar intenções de voto com um número diferente de
indecisos. Com efeito, para contornar esse problema, pode
anular-se os indecisos e compararmos só os votos expressos.
Há quem defenda que se trata “do resultado que teria
existido se as eleições fossem nesse dia”. O que já é mais
inteligente do que pensar que se trata do resultado que vai
acontecer daí a 10 dias.
30ERC | III Conferência Anual, 2009 | António Salvador
Conceitos
No entanto, nem isso é verdade.
Porque se a eleição tivesse sido nesse dia, as pessoas
indecisas tinham pensado, pelo menos nas horas anteriores,
em como iriam votar. O que não fizeram, por não adivinhar
que o entrevistador lá ia a casa.
Supor que os indecisos não votam, ou que o seu voto se
repartirá como o dos “decididos”, pode implicar distorções
que são de evitar.
31ERC | III Conferência Anual, 2009 | António Salvador
O erro
A margem de erro constante na ficha técnica, e
obrigatoriamente difundida pelos OCS, também não ajuda
nada.
Com efeito, a apresentação do erro não faz sentido. Por
várias razões:
1. Porque estamos a falar de um erro (de amostragem) que
não se pode aplicar às amostras que utilizamos.
32ERC | III Conferência Anual, 2009 | António Salvador
O erro
Com efeito,
(a) parte da amostragem praticada não é probabilística (e o
erro de amostragem só se pode calcular nestes casos);
(b) mesmo nas amostras ditas “probabilísticas”, o erro só se
devia calcular se não houvesse recusas; o que é
virtualmente impossível.
2. Porque estamos a falar de um erro (de amostragem) que
não é o verdadeiro erro em que toda a gente pensa: o desvio
possível em relação aos valores apresentados.
33ERC | III Conferência Anual, 2009 | António Salvador
O erro
Com efeito, quem é que entende o que é o erro de
amostragem? Ninguém, as pessoas pensam num erro global.
Ora, o erro global é o somatório do erro de amostragem e do
erro de medida. E este, não só é normalmente muito
superior ao primeiro, como não é mensurável.
Não é estar a levar as pessoas ao engano?
34ERC | III Conferência Anual, 2009 | António Salvador
Amostra e erros de medida
“Aconselhar” as empresas a “reduzir os erros sistemáticos”
parece partir do pressuposto de que esses erros são fácil e
consensualmente detectáveis e elimináveis e que há assim
“erros” que as empresas de sondagens poderiam
facilmente detectar. E a verdade é que não são.
35ERC | III Conferência Anual, 2009 | António Salvador
Erros de medida
Há dois aspectos especialmente importantes na realização de uma
sondagem de intenção de voto:
1. O modo como a pergunta é formulada
2. O local onde a pergunta é colocada
36ERC | III Conferência Anual, 2009 | António Salvador
O erro
No entanto, o próprio relatório em referência continua a fazer
questão da presença deste elemento nocivo, quer por
cientificamente não fazer qualquer sentido, quer por reforçar
a ideia de previsão.
37ERC | III Conferência Anual, 2009 | António Salvador
Conclusão
Terminaria, dizendo que estou convencido de que tem
havido omissão das questões essenciais e tem sido dada
demasiada importância ao acessório.
Como é o caso da enorme dificuldade, seguramente
reconhecida por todos, em medir a abstenção.
A questão da abstenção, embora crítica, não pode ser vista
como sendo possível de estimar através de uma sondagem.
Só com métodos previsionais (sondagem + modelo
cientifico). Mais uma vez, onde estão esses modelos?
38ERC | III Conferência Anual, 2009 | António Salvador
Conclusão
(…)
(…)
No entanto, mais uma vez, o próprio relatório em referência
continua a fazer questão em prolongar as dificuldades
39ERC | III Conferência Anual, 2009 | António Salvador
Conclusão
E como é o caso das casas decimais dos resultados.
40ERC | III Conferência Anual, 2009 | António Salvador
Conclusão
O que, em nossa opinião, pode aumentar ainda mais a
confusão.
Por exemplo, no caso dos pequenos partidos, uma diferença
de 0,01% pode criar diferenças que não serão de todo
insignificantes.
Partido X
Partido Y
Dia d Dia d+7
4,49 % 4 % 4,5%
(+1) 4,50 % 5 % 4,49%
5 %
4 %
(+1)
41ERC | III Conferência Anual, 2009 | António Salvador
Conclusão
Termino com uma sugestão.
Vamos usar as sondagens pré-eleitorais para conhecer
melhor o comportamento dos eleitores portugueses. Ou seja,
para estudar.
E não para criticar o que desconhecemos e não
compreendemos, ou, o que ainda é mais grave, para usar o
trabalho tão exigente de pessoas honestas com o objectivo
de proceder a manobras e jogos políticos – normalmente
oriundos dos políticos perdedores – que não contribuem em
nada para o desenvolvimento deste país.
42ERC | III Conferência Anual, 2009 | António Salvador