Introdução

Muito do que a gente sabe sobre o mundo reflete a realidade percebida pelas pessoas e suas opiniões sobre isso. Sem saber as opiniões dos brasileiros, não poderiamos saber a opinião publica sobre política, religião, saúde, educação, trabalho, qualidade de vida ou lazer. Em relação à grande parte da nossa vida, seríamos “surdos”.

Infelizmente, é complicado acessar essas informações, porque existem muitos indivíduos, cada um com a sua visão, e é impossivel conversar individualmente com todos. Imagine se fosse necessário conversar pessoalmente com todos os 210 milhões de brasileiros para entender a opinião publica. Felizmente, seguindo alguns procedimentos bem definidos pela ciência estatística, podemos escolher uma amostra de alguns indivíduos que permite descobrir a opinião de todos. Utilizando adequadamente essas ferramentas, não precisamos nos manter coletivamente surdos.

Dependendo da precisão desejada, algumas centenas de vozes bem escolhidas são então suficientes para ouvir a nossa sociedade inteira. A área da estatística especializada em ouvir as vozes de toda população, porém utilizando para isso apenas uma pequena amostra de pessoas, é chamada de amostragem. Na amostragem aprendemos várias técnicas para extrapolar a opinião desses poucos respondentes pertences à amostra de forma que seja possível inferir qual é a opinião de todos os brasileiros - a opinão pública.

O objetivo deste post não é discutir a amostragem em profundidade, menos ainda utilizar fórmulas e conceitos técnicos. Se você, leitor, deseja entender esse tema com mais profundidade, recomendamos esses links (margem de erro, pesquisas eleitorais,Tese de Doutorado). Para entender o que será abordado nesse texto, é suficiente compreender que existem teoremas matemáticos que nos dizem como devemos selecionar as pessoas para participar de uma pesquisa, e qual será a precisão associada à estimativa da opinião pública obtida a partir desta amostra de pessoas.

Entretanto, a teoria de amostragem, funciona perfeitamente somente em um mundo idealizado, perfeito, no qual absolutamente todas as pessoas escolhidas para participarem de uma pesquisa terão suas opiniões mensuradas sem nenhum tipo de erro ou distorção. É como aqueles exercícios de física que fazemos na escola, que supõem um mundo simplificado, onde não existe atrito ou resistência do ar, porque dessa forma é mais fácil fazer os cálculos.

Na realidade, no entanto, não vivemos nesse mundo idealizado. Vivemos no mundo real, onde existe atrito e resistência do ar. No caso das pesquisas de opinião, existem diversos fatores que impedem que todas as pessoas escolhidas para participarem de uma pesquisa de fato sejam entrevistadas. Esses fatores estão relacionados ao comportamento das pessoas, a questões logísticas que surgem na coleta das respostas, ao modo de entrevista utilizado na realização da pesquisa, a erros cometidos durante a coleta dos dados ou na elaboração do questionário, e a fraudes ou comportamentos indesejados dos entrevistadores, entre outros.

Discutiremos em mais detalhes alguns destes fatores, e como eles podem estar correlacionados entre si, na seção seguinte. Por enquanto, entretando, é suficiente compreender que alguns desses fatores são características do mundo no qual vivemos, enquanto outros podem surgir como uma consequência indesejada de decisões metodológicas. Neste post, vamos discutir um dos aspectos metodológico mais relevantes: o modo de entrevista dos respondentes em uma pesquisa de opinião pública. O modo de entrevista se refere à forma como as pessoas selecionadas para pertencer à amostra são contactadas e entrevistadas. Existem três modos principais utilizados no Brasil, e cada um tem características bastante específicas, as quais serão descritas brevemente a seguir:

• Presencial: Pesquisas presenciais são realizadas presencialmente por um entrevistador. Elas podem ser feitas nos domicilios ou em pontos de fluxo. A logística da coleta de dados para pesquisas pessoais domiciliares, por exemplo, exige que o entrevistador tenha contato face-a-face com o respondente em sua residência. Pesquisas desse tipo envolvem o deslocamento de uma equipe de entrevistadores (e supervisores), usualmente partindo dos grandes centros urbanos onde se localizam as empresas que realizam a coleta de dados, para o interior, de forma a permitir que pessoas residentes em todo o território brasileiro sejam entrevistadas.
• Telefônica: Pesquisas por telefone também são realizadas por um entrevistador, embora tais entrevistadores possam, às vezes, ser URA’s (Unidade de Resposta Audível), que promovem uma interação com o respondente usando áudio pré-gravado ou dinamicamente gerado. A logística de pesquisas telefônicas é mais fácil do que a dos presenciais, porque o contato com o respondente é feito pelo telefone, ou seja, apenas é necessário que o respondente tenha acesso a um telefone fixo ou celular ativo. É importante mencionar, entretanto, que pesquisas telefônicas de boa qualidade têm que contemplar tanto telefones fixos quanto celulares
• Online: Pesquisas também podem ser realizadas online via computador ou celular pelo próprio respondente. Geralmente o respondente preenche um questionário (auto-preenchimento). Ele pode então fazê-lo de qualquer local, como de sua casa, do seu trabalho, de uma lan house, ou até do smartphone independentemente de onde ele esteja. Nessas pesquisas a etapa de recrutamento, que consiste em entrar em contato com os potenciais respondentes para dar o link necessário para responder à pesquisa, é muito importante. É possível, por exemplo, que o recrutamento seja feito de uma forma que não dependa da internet, o que permite que mesmo uma pessoa sem acesso à internet possa participar da pesquisa; também é importante que pessoas que utilizam a internet com pouca frequência possam ser selecionadas para participar de uma pesquisa.

A escolha do modo de entrevista pode ter impacto nos resultados de uma pesquisa por duas razões principais: uma pelaa forma de que foram selecionadas as pessoas para participarem da pesquisa, e a outra a logística da coleta das respostas das pessoas. Pode, por exemplo, impactar na taxa de cobertura da pesquisa, ou seja, no percentual da população de interesse que pode ser entrevistada. Em pesquisas domiciliares, por exemplo, os entrevistadores geralmente não conseguem entrevistar pessoas que moram em locais com porteiros, como condomínios e apartamentos; e também podem ter dificuldades em acessar pessoas em favelas onde existe o crime organizado. No caso de pesquisas telefônicas, não é possível entrevistar pessoas que não tenham acesso a um telefone (fixo ou celular). Finalmente, no caso de pesquisas online, geralmente apenas pessoas com acesso regular à internet terão sua opinião ouvida, sendo que muitas vezes apenas participantes de paineis online são contemplados.

O modo de entrevista também pode impactar na taxa de não-resposta da pesquisa, ou seja, no percentual de pessoas originalmente selecionadas para participarem da pesquisa que NÃO serão entrevistadas, as quais terão que ser substituidas por outros respondentes. Em pesquisas domiciliares, por exemplo, é preciso encontrar o domicílio do potencial respondente, além de o respondente pretendido estar em casa e aceitar participar da pesquisa. No caso de pesquisas telefônicas, é preciso que o respondente atenda uma ligação de origem desconhecida, aceite participar da pesquisa e tenha paciência de completar a pesquisa pelo telefone (o que usualmente limita as entrevistas a poucas perguntas ou curto período de tempo). Finalmente, no caso de pesquisas online, além de ter acesso à internet e ao link da pesquisa, o respondente precisa compreender e responder corretamente às perguntas sem o auxílio de um entrevistador.

Os “buracos populacionais” causados pelas falhas na cobertura e os “buracos amostrais” causados pela não-resposta, os quais são diferentes para cada modo de entrevista, fazem com que a opinião-pública sendo estimada por uma pesquisa seja potencialmente diferente daquela da população de interesse. Não é possível dizer com precisão quais serão os vieses causados pelo modo de entrevista escolhido, pois em grande parte dependem do assunto sendo estudado, e de quanto este varia em função do perfil do brasileiro, principalmente no que se refere a classe social e distribuição geográfica. É possível, entretanto, fazer algumas suposições para estimar o tamanho do buraco populacional causado por cada modo de entrevista. Neste post discutimos essas suposições e mostramos que o buraco do modo presencial pode ser de até 19% da população adulta, enquanto o buraco do modo telefônico é de pelo menos 4% e o buraco do modo online é de +/- 37.3%.

Uma vez que a correlação entre estes buracos metodológicos e o assunto depende do lugar onde está sendo realizado o estudo, usar resultados levantados fora do Brasil para tentar entender o viés que ocorre em pesquisas brasileiras não é muito informativo. Com isso em mente, a Ipsos, em parceria com o PollingData, fizeram um estudo multi-modal no Brasil em Dezembro de 2021, no qual foram realizadas, em paralelo, três versões de uma mesma pesquisa, uma usando coleta de dados presencial, uma telefônica e uma online. Estas pesquisas foram feitas para serem comparáveis entre si, usando a metodologia de amostragem padrão do PollingData (veja neste link) e a coleta de dados da Ipsos (detalhes técnicos ainda não foram divulgados pela Ipsos - quando forem colocarei o link aqui). Neste estudo, foram incluídas mais de 50 perguntas para as quais estimativas nacionais são conhecidas (benchmarks); abrangem vários temas diferentes relacionados ao uso da internet, às eleições, a classe-social e à infra-estrutura do domicílio, entre outros.

Os resultados deste estudo serão apresentados aqui com o intuito de avaliar qual modo de pesquisa consegue melhor mensurar a opinião pública brasileira. Além disso, como temos um interesse especial por pesquisas eleitorais, que são um tipo específico de pesquisa de opinião, também fizemos uma análise de todas as pesquisas eleitorais registradas no Tribunal Superior Eleitoral (TSE) e divulgadas entre 2012 e 2020. Esta análise foi separada em duas partes. Na primeira analisamos mais de 4400 pesquisas eleitorais para Presidente, Governador e Prefeito e avaliamos a performance dos diferentes modos de entrevista. Na segunda concentramos especificamente na eleição presidencial de 2018, pois esse talvez seja o cenário mais comparável à eleição presidencial deste ano, o que permitira ter insights sobre o que ocorrerá na atual eleição presidencial.

O viés metodológico e o modo de entrevista

Como mencionamos acima, existem diversos fatores que podem impedir que todas as pessoas escolhidas para participarem de uma pesquisa de fato sejam entrevistadas, como também a possibilidade de que a opinião daqueles que de fato respondem à pesquisa não ser mensurada corretamente. Além disso, no contexto de pesquisas eleitorais, fatores como um grande número de candidatos e/ou desconhecimento deles podem levar a equívocos em relação à mensuração de como o respondente votará no dia da eleição, o que potencialmente também aumenta o erro observado da pesquisa. Abaixo descrevemos brevemente alguns desses fatores mais relevantes relacionados aos erros cometidos por pesquisas de opinião pública, incluindo alguns que são específicos de pesquisas eleitorais (mais detalhes podem ser encontrados no capítulo 5 da minha tese de Doutorado). Uma distinção muito importante entre eles é a possibilidade (ou não) de controle pelo instituto de pesquisa. Alguns fatores são consequência do mundo (ou do contexto) em que vivemos, e outros envolvem decisões metodológicas.

Fatores que NÃO são controláveis pelos institutos de pesquisa:

• Desvio-Padrão populacional: Se a opinião pública está muito polarizada, os resultados das pesquisas eleitorais variarão mais. Na teoria de amostragem, a precisão das estimativas depende desse “parâmetro” populacional.
• Votos Não-válidos: Quanto mais pessoas estão indecisas, mais difícil é prever o resultado da eleição. Isso ocorre porque pessoas que se dizem indecisas terão que fazer uma escolha e votar ou vão ter que se abster no dia da eleição, ou seja, elas não podem continuar indecisas.
• Tempo antes da eleição (em dias): Quanto mais cedo no ciclo eleitoral for realizada uma pesquisa, mais chance há da estimativa do voto errar em relação ao resultado da eleição. Esse erro ocorre porque a intenção de voto é dinâmica, se altera com o tempo. Sabidamente, está correlacionada com o conhecimento dos candidatos pelos eleitores, algo que aumenta conforme a proximidade da eleição. Além disso, algumas pesquisas podem contemplar pré-candidatos que depois desistem de disputar o pleito.
• Quantidade de candidatos: Quanto mais candidatos disputam uma eleição, mais difícil pode ser para o eleitor decidir o seu voto. Especificamente, é mais fácil o eleitor desconhecer os candidatos numa eleição com muitos candidatos. Além disso, se muitos desses candidatos tiverem chances reais de ganhar a eleição, o Desvio-Padrão populacional discutido acima também pode ser maior.

Fatores que SÃO decisões dos Institutos de pesquisa:

• Tamanho da Amostra: Por definição, o tamanho do erro amostral diminue conforme o tamanho da amostra aumenta. Assim espera-se que pesquisas com amostras maiores produzam resultados mais precisos, desde que sejam mantidos constantes os fatores.
• Questionário: A formulação das perguntas e do questionário pode afetar o resultado das pesquisas. Tanto o enunciado das perguntas, quanto a ordem delas, pode ser relevante. Por exemplo, em pesquisas eleitorais, usualmente as perguntas de intenção de voto estão localizadas no inicío do questionário, para que não sejam influencidas por pelas outras perguntas.
• Modo de entrevista: O modo de entrevista se refere à forma como as pessoas selecionadas para pertencerem à amostra são contactadas e entrevistadas. No Brasil existem três tipo principais: presencial, telefônica e online, como já discutido anteriormente.
• Desenho da amostra: Existem várias formas de selecionar amostras, as quais são relacionadas ao modo de entrevista. O desenho da amostra é muito importante para determinar a precisão da pesquisa e pode ajudar consideravelmente na redução da taxa de não-resposta.
• Treinamento dos entrevistadores: Entrevistadores bem treinados conseguem abordar pessoas de forma mais efetiva, conseguindo com mais facilidade conduzir as entrevistas e conseguir a coloboração dos respondentes. Além disso, o treinamento permite que os entrevistadores consigam ser mais imparciais ao realizar as entrevistas, além de seguirem corretamente as instruções de campo.
• Coleta dos dados: A forma como os dados são obtidos, como também guardados, pode ser importante para evitar erros e fraudes. A quantidade de dias planejados para coletar os dados, além da proporção desses dias que são em finais de semana, também pode ser importante para facilitar o acesso a pessoas com perfis dificeis de serem encontrados.
• Verificação/Consistência: É importante verificar a qualidade do trabalho em todos os estágios da pesquisa, incluindo a coerência das respostas e filtros aplicados nos questionários. Esta verificação pode evitar tanto erros quanto fraudes.
• Ponderação dos resultados: Certos ajustes de pós-estratificação podem ser utilizados para reduzir o viés e melhorar a precisão da pesquisa. Por exemplo, se na pesquisa houverem apenas 40% de mulheres, e sabemos que no Brasil na população existem 50% de mulheres, podemos dar um peso maior para as respostas das mulheres para que a média ponderada dos resultados reflita a quantidade de mulheres na população.

Todos os fatores descritos acima afetam a performance das pesquisas de opinião. Mesmo para aqueles fatores que estáo sob controle dos institutos, é muito difícil dizer qual será o impacto no resultado das pesquisas eleitorais. Muitas vezes essas decisões são subjetivas, sempre com o intuito de mensurar melhor a opinião pública, mas podem afetar os resultados em si de maneiras inesperadas. Além disso, como são várias decisões simultâneas, é ainda mais dificil avaliar o impacto das interações dessas decisões.

Vamos definir o viés metodológico como sendo a soma dos efeitos dos fatores sob controle do Instituto no resultado de uma pesquisa. Por simplicidade, iremos nos referir apenas ao modo de entrevista utilizado ao discutir o viés metodológico, porém deve ficar claro ao leitor que outros fatores também podem variar e potencialmente responder pelas diferenças observadas entre pesquisas presenciais, telefônicas, e online. No fundo, estamos fazendo uma suposição simplificadora de que o viés metodológico de cada instituto será constante no tempo e que ela só vai variar de acordo com o modo de entrevista.

Estudo multi-modal Ipsos/PollingData

Um estudo multi-modal foi feito pela Ipsos/PollingData para que os resultados de pesquisas de opinião executadas com diferentes modos de entrevista pudessem ser comparados, levando em consideração as especificidades do Brasil. Para isso foram realizadas, em paralelo, três versões de uma mesma pesquisa, uma utilizando uma amostra presencial, uma telefônica, e uma online. As três utilizaram a mesma metodologia de amostragem padrão do PollingData (veja neste link) e a coleta de dados foi realizada pela Ipsos (detalhes técnicos ainda não foram divulgados pela Ipsos). Estas pesquisas foram feitas para serem comparáveis entre si. Foram necessarias pequenas diferenças no questionário e na execução do campo por causa do uso dos diferentes modos de entrevista, mas a única diferença significativa se devia à população alvo da pesquisa online. Como esta pesquisa foi realizada utilizando o painel online da Ipsos, apenas pessoas das classes sociais A, B e C puderam ser incluídas no estudo. Nos outros dois modos de pesquisa, a população alvo era toda a população do país, salvo os buracos metodológicos discutidos anteriormente. O estudo tinha mais de 50 perguntas para as quais estimativas nacionais são conhecidas (benchmarks). A ideia foi que os resultados obtidos no estudo Ipsos/PollingData podessem ser comparados com resultados conhecidos, assim sendo possível avaliar desvios (erros) em relação a esses benchmarks e assim mensurar o viés metodológico de cada modo de entrevista. Para isso foi importante que fossem utilizados, como referência para os benchmarks, estudos confiáveis. Sempre que possível, foram preferidos estudos recentes divulgados pelo Instituto Brasileiro de Geografia e Estatística (IBGE), porém também foram incluídos outros estudos de forma a aumentar a quantidade de variáveis com benchmarks externos disponiveis. Foram considerados como fonte para esses benchmarks as pesquisas descritas abaixo:

• PNAD (2019 visita1 e tri4 / 2021 tri1): A Pesquisa Nacional por Amostra de Domicílios Contínua (PNADC) visa acompanhar as flutuações trimestrais e a evolução, no curto, médio e longo prazos, da força de trabalho, como também levantar outras informações necessárias para o estudo do desenvolvimento socioeconômico do país. Para atender a tais objetivos, a pesquisa foi planejada pelo IBGE para produzir indicadores trimestrais sobre a força de trabalho e indicadores anuais sobre temas suplementares permanentes. Os dados da PNAD foram utilizados como benchmark para informações demográficas, de habitação, de teconologia de informação e comunicação, de trabalho e de rendimento.
• PNAD 2020 COVID (Set): A pesquisa PNAD COVID foi uma pesquisa realizada pelo IBGE em 2020 (Setembro) com o objetivo de estimar o número de pessoas com sintomas associados à síndrome gripal e monitorar os impactos da pandemia de COVID-19 no mercado de trabalho brasileiro. Neste post usamos as informações desse estudo como benchmark para informações relacionadas a benefícios recebidos pela população durante o período da pandemia.
• PNAD 2014: Os resultados desta versão antiga da PNAD foram utilizados como benchmark para avaliar o Estado Civil da população.
• TSE (Eleições 2018): Este site trás os resultados das eleições brasileiras de 2018 divulgados pelo Tribunal Superior Eleitoral ( TSE).
• IBGE (Aglom. subnormais 2019): Este estudo trás os resultados do mapeamento preliminar dos Aglomerados Subnormais (favelas), feito pelo IBGE como preparação para a operação do Censo Demográfico 2020, adiado para 2021 em razão da pandemia de COVID-19. Essas informações foram utilizadas como benchmarks informações relacionadas ao número de domicílios localizados em Aglomeramentos Sub-normais.
• TIC 2020: Esta pesquisa foi realizada pelo Centro Regional de Estudos para o Desenvolvimento da Sociedade da Informação (Cetic.br) , com o objetivo de mapear o acesso às Tecnologia de Informação e Comunicação (TIC) nos domicílios urbanos e rurais do país e as suas formas de uso por indivíduos de 10 anos de idade ou mais. Neste post usamos as informações desse estudo como benchmark para informações relacionadas ao critério Brasil, utilizado para classificar pessoas de acordo com a classe social, acesso a TIC e infra-estrutura domiciliar.
• PollingData: É um site agregador de pesquisas eleitorais. As informações disponíveis foram utilizadas como benchmark sobre avaliação e aprovação do presidente Bolsonaro, e como também a intenção de voto na eleição presidencial de 2022.
• Datafolha: Esta pesquisa foi realizada sobre quais times de futebol preferidos dos brasileiros.

Na tabela abaixo listamos todas as perguntas que foram utilizadas como benchmarks neste post. É importante mencionar que algumas informações, como por exemplo quantos banheiros existem no domicílio tinham mais de uma referência. Além disso, alguns benchmarks não eram compatíveis, no sentido de que a pergunta feita no estudo Ipsos/PollingData diferiu bastante da pergunta feita na fonte do benchmark, de forma que as diferenças observadas nesse quesito poderiam ser causadas por essa inconsistência, e não por causa do modo de entrevista. O exemplo mais claro disso se refere à pergunta “FIN10.3) Beneficiado de algum dos seguintes programas sociais nos últimos 12 meses? Auxílio emergencial”. Na pesquisa Ipsos/PollingData foi perguntado se o respondente recebeu auxílio nos últimos 12 meses, porém no benchmark da PNAD COVID 2020 (Setembro) a pergunta se referia ao mês anterior. Finalmente, as perguntas na tabela também foram agrupadas de acordo com os seguintes temas: Classe Social, Habitação, Eleições, TIC, Demografia, Benefícios, Trabalho e Lazer.

Por causa de algumas das questões metodológicas discutidas anteriormente, usualmente a amostra inicialmente planejada para uma pesquisa não é aquela que é efetivamente observada ao final da coleta de dados. O efeito cumulativo desses desvios pode ter impacto direto na capacidade de entender a população alvo sendo estudada a partir da amostra observada. Esta distorção da amostra incialmente planejada pode, entretanto, ser corrigida durante a análise. A técnica mais utilizada para este fim é chamada de ponderação (ou pós-estratificação). A ponderação funciona de uma forma relativamente simples, aumentando o peso de grupos de pessoas que foram sub-representados na pesquisa, e complementarmente, reduzindo o peso de grupos sobre-representados, como já explicado acima para o caso de respondentes femininas. Para isso, adiciona-se à base de dados da pesquisa uma variável de peso, que contém todos os ajustes necessários. Dessa forma, para que os ajustes sejam aplicados aos resultados de uma pesquisa, basta calcular os resultados ponderados por esta variável de peso. Os pesos podem também ser calculados de forma que muitas variáveis sejam ajustadas simultaneamente, permitindo assim que estratégias de correção bastante complexas sejam implementadas.

Os resultados do estudo estão sendo divulgados com três versões de ponderação. A primeira versão, denominada “Sem ponderação”, mostra os resultados sem utilizar nenhum ajuste de ponderação. Na segunda versão, denominada “Pond. Demográfica”, são ajustados dentro de cada região do país os perfis de sexo, idade, escolaridade e pertencimento à força de trabalho, de forma que os percentuais relativos das categorias de cada uma dessas variáveis, dentro de cada região do país, sejam iguais ao da população. E finalmente, na terceira versão, denominada “Pond. Classe Social”, adicionou-se a variável Classe Social às variáveis demográficas da segunda versão. Esta variável foi incluída para que a comparação com o modo de entrevista online fosse mais justa, pois dificilmente algum estudo online será divulgado sem ser ajustado pela Classe Social calculada de acordo com o critério Brasil. Nos gráficos disponibilizados nos links abaixo, três colunas são apresentadas, cada uma referente a uma dessas versões dos resultados. Os resultados detalhados para o páis e para as regiões podem ser baixados nesses links:

• Relatório com os resultados nacionais.
• Relatório com os resultados regionais.

No relatório regional, apenas divulgamos a a ponderação “Pond. Demográfica”. Neste relatório apenas alguns dos benchmarks estão disponíveis. Os gráficos disponibilizados nos links acima resumem todos os resultados dos benchmarks. Note que além de mostrar as estimativas pontuais de cada modo de entrevista (Presencial em verde,Telefônica em azul e Online em vermelho), também mostramos as estimativas intervalares na forma de pequenas barras horizontais. Estes intervalos indicam a precisão dos resultados da pesquisas, ou seja, quanta variação pode ocorrer devido ao fato de estarmos analisando os resultados de uma amostra. A sobreposição dessas barras horizontais indica que não há uma diferença estatisticamente significativa entre os resultados. Por outro lado, quando as barras não se sobrepõem, existe bastante evidência de diferenças reais. Por simplicidade, os benchmarks são tratados como se fossem, de fato, os valores populacionais, assim sendo, eles não são apresentam barras.

Os resultados de cada benchmarks não serão mostrados aqui. Por brevidade, mostraremos apenas os resultados da ponderação Demográfica., e também criamos um único indicador que resume os erros observados em todos os benchmarks: o erro médio absoluto (EMA). Esse indicador representa a diferença em absoluto do percentual estimado pela a pesquisa comparado com o percentual do benchmark (com os benchmarks considerados incompatíveis sendo excluídos). Depois de calculado este indicador para cada benchmark, calculamos uma média geral do erro cometido por modo de pesquisa. Replicaremos a mesma análise por região, pois existe um interesse claro em saber se a performance dos modos de pesquisa é igual em todas as regiões, pois os buracos metodológicos são distribuídos geograficamente de forma diferente.

Pensando neste estudo como um guia para a escolha do modo de entrevista em função do tema de interesse de uma futura pesquisa, faria sentindo calcular um indicador por tema, agregando os seus respectivos benchmarks, porém tal análise fugiria do objetivo principal do post. Neste post até faria sentido olhar os resultados apenas dos benchmarks relacionados a pesquisa eleitorais, como os da eleição de 2018. Porém resolvemos não apresentar essa análise aqu, pois perguntas relacionadas ao voto em eleições passadas não são muito confiáveis, uma vez que os respondentes podem informá-las de maneira equivocada para mostrar coerência com a sua atual intenção de voto.

Na tabela 1 abaixo, mostramos a média geral do EMA por modo de entrevista, levando em conta todos os benchmarks. Como esse indicador mede o erro cometido, fica evidente que quanto menor for a sua média, melhor a performance. Assim, fica claro pelos resultados apresentados que os modos de entrevista Telefônica e Presencial têm uma performance bastante similar, com uma pequena vantagem (insignificante) para a telefônica. A pesquisa online comete quase o dobro de erros do que os outros dois modos de pesquisa. Na tabela abaixo também mostramos os tamanhos amostrais de cada modo.

A tabela 2 abaixo apresenta as mesmas informações que a tabela acima, porém com os resultados especificados pela região do país. Analisando os erros por região, fica evidente que há diferenças regionais, mostrando uma melhor performance da pesquisa telefônica nas regiões Sul e Sudeste, enquanto a presencial performa melhor nas regiões Norte e Centro-Oeste. Na região Nordeste a telefônica é um pouco melhor, mas a diferença é muito pequena. Estes resultados parecem fazer bastante sentido, pois nas regiões onde existem mais condomínios, apartamentos e favelas, a pesquisa telefônica se sai melhor. Já em regiões mais pobres, onde mais pessoas não têm acesso a telefones, a pesquisa presencial performa melhor. No Nordeste, onde mais pessoas têm telefones se comparado as regiões N e CO, a performance entres os dois modos de pesquisa é similar. E em todas as regiões a pesquisa Online é a pior, embora seja um pouco melhor em regiões mais ricas.

Este estudo da Ipsos/PollingData assim mostrou claramente que de forma geral as pesquisas de ambos os modos, presenciais e telefônicas, são eficazes em reproduzir benchmarks (com os online sendo menos eficazes). Tambem mostrou que há diferenças claras em relação ao região do país, com pesquisas telefonicas sendo um pouco mais precisas, mas com as presenciais sendo melhor no Centro Oeste e Norte, onde telefones são menos prevalentes. A clara vantagem apresentada pelos dois modos em relação ao online pode ser fruto do acesso limitado à internet nessas regiões, como também uma reflexão da amostra que não inclui nrespondentes das classes D e E nesta modalidade. Mas o interesse aqui é especificamente pesquisas eletorais. Da mesma maneira que modo de entrevista pode fazer uma diferença em função da região, tambem pode sofrer uma influencia especial devido ao assunto da pesquisa. Uma vez que este post está focado em pesquisas eleitorais, vale a pena procurar outros dados para investigar o efeito do modo nesse contexto.

As eleições brasileiras de 2012 a 2020

Uma vez que, para serem publicadas, são obrigatoriamente registradas todas as pesquisas eleitorais no TSE, o site desse orgão (PesqEle) é uma fonte rica de dados. Assim foi possível consultar todas as pesquisas eleitorais para Presidente, Governador e Prefeito (com resultados publicados) feitas entre 2012 e 2020 para esta parte da investigação.

Aqui temos apenas um benchmark: o erro entre o percentual de votos válidos nas pesquisas e o resultado obtido nas respectivas eleições. Embora a informação sobre o modo de entrevista não seja registrado explicitamente, para quase todas as pesquisas foi possivel recuperar esta informação a partir de uma analise da descrição da metodologia e do desenho amostral. Foram utilizados dois critrérios textuais simples para classificar as pesquisas segundo o modo de entrevista, classificando como telefônica qualquer pesquisa que contivesse alguma variação das palavras “Telefone”,“Telefônica”, “Celular”, “Móvel e”Discador”, e como presencial as contendo no texto alguma variação de palavras usualmente utilizadas para descrever aspectos logísticos e/ou metodológicos das pesquisas presenciais, como por exemplo: Setor, Endereço, Survey, Ponto de fluxo, Abordar, etc…. Algumas poucas descrições usaram o termo telefone para informar como foi feita a verificação dos resultados da pesquisa, apesar da pesquisa ser presencial - esses casos foram corrigidos. Para apenas 13 pesquisas não foi possivel identificar o modo de entrevista; estas foram classificadas como indefinido. Não foram encontradas pesquisas online no registro do TSE.

A tabela 3 abaixo apresenta o cenário das pesquisas eleitorais dos últimos 10 anos no que se refere ao modo de entrevista - nesta tabela apresentamos tanto a quantidade de pesquisas registradas quanto o preço médio delas, de acordo com as informações do TSE. Fica evidente que quase não haviam pesquisas telefônicas antes de 2018, e que depois deste ano, quanto maior fosse a abrangência geográfica da pesquisa, mais comum foram as pesquisas telefônicas. Assim, a incidência de pesquisas telefônicas foi maior em pesquisas nacionais, depois em estaduais, e a menor incidência se deu em pesquisas municipais. Provavelmente são dois os motivos pelo qual isso ocorreu: em primeiro lugar, o ganho de custo para pesquisas telefônicas nacionais é maior do que para as municipais, como podemos ver na tabela. Em segundo lugar, em pesquisas telefônicas municipais, é mais difícil controlar a distribuição geográfica da pesquisa, algo que pode torná-las menos interessantes do ponto de vista de custo/benefício, uma vez que a precisão delas pode diminuir bastante sem este controle.

Para estimar o efeito do modo de entrevista nas eleições brasileiras de 2012 a 2020, foi adotado um modelo estatistico chamado de Modelo de Efeitos Mistos, que é bastante utilizado para tentar estimar relações de causa/efeito. Modelos são utilizados porque, ao simplificar a nossa visão do mundo, ajudam na compreensão dos dados. Neste caso, o modelo será utilizado para descrever os erros cometidos pelas pesquisas eleitorais ao utilizá-las para prever o resultado da eleição.

Considerar diversos fatores de interesse além do modo de entrevista, é como se descontássemos os efeitos de todos os outros fatores conhecidos, para revelar uma estimativa do efeito do modo de entrevista. Como medida de erro utilizaremos de novo erro médio absoluto (EMA), discutido na seção anterior. O EMA foi calculado comparando o percentual de votos válidos obtidos numa pesquisa com o percentual de votos válidos registrados na eleição correspondente. Um ponto importante é que quando houveram pré-candidatos numa pesquisa que abandonaram o pleito e consequentemente não receberam votos, o percentual foi calculado excluindo estes pré-candidatos, como também votos alocados a Outros candidatos também foram excluídos. Entretanto, no modelo, incluimos o percentual de pré-candidatos removidos da eleição como um fator explicativo.

A importância do modelo utilizado foi que ele permitiu levar em consideração, simultâneamente, diversos fatores que poderiam ser relevantes para entender os erros cometidos pelas pesquisas. Ele levou em conta tanto os fatores que estavam sob controle dos institutos de pesquisa quanto os que não estavam, como foi descrito na seção discutindo o viés metodológico. Algumas outras variáveis também foram consideradas, como o tipo do pleito (Presidente, Governador e Prefeito), pois cada um tem suas particularidades, principalmente no quesito da abrangência geográfica, e faz sentido que o erro médio observado seja potencialmente diferente. Também consideramos o turno da eleição no modelo, pois cada situação implica diretamente no número de candidatos e também nível de conhecimento dos candidatos.

Além desses fatores, talvez o aspecto mais interessante deste modelo é que ele também permite estimar o viés metodológico de cada instituto. Para identificar os institutos, utilizamos uma combinação dos CNPJ’s dos institutos com seus nomes declarados no registro do TSE (do instituto e de fantasia), embora algumas suposições tivessem que ser feitas pois alguns institutos têm mais de um CNPJ. No período e nos pleitos sendo analisados, foram identificados 392 institutos de pesquisa. Esse modelo também serve para criar um ranking de institutos, que será posteriormente divulgado pelo PollingData. Para os estatísticos de plantão, mais detalhes do modelo são apresentados no rodapé¹.

O percentual da variabilidade dos erros explicado pelo modelo foi de 40% (pseudo-\(R^2\)), ou seja, considerando que utilizamos um modelo razoavelmente simples, com poucas variáveis (parcimonioso), conseguimos explicar quase metade da “informação contida” nos dados. Na tabela 4 resumimos as estimativas dos efeitos de todos os fatores considerados pelo modelo (efeitos fixos) com exceção do viés estimado por instituto (efeitos aleatórios, o que será divulgado apenas no momento de publicação do ranking de institutos no site). Os efeitos estimados, mostrados na coluna Estimativa (Beta), podem ser interpretados como o aumento médio do EMA quando essa variável é incrementada em uma unidade. Na coluna Efeito Significativo indicamos se aquele efeito é diferente de zero (estatisticamente significativo com 95% de confiança).

A forma de olhar os resultados de um modelo é geralmente considerar apenas os efeitos que são estatisticamente significativos, o que quer dizer que o sinal observado para aquele fator é maior que o ruído, ou seja, não é um efeito potencialmente causado apenas por variação amostral e têm importância “real”. Porém, para os objetivos deste post, é suficiente identificar a tendência de aumento ou diminuição dos erros conforme os fatores são incrementados, ou seja, avaliar se os fatores utilizados no modelo têm o comportamento esperado, mesmo que apresentem muito ruído. O erro diminui com vários fatores: com o aumento do tamanho da amostra, com o aumento da proporção de dias de campo realizados no final de semana, com a ponderação dos resultados da pesquisa, com a quantidade de candidatos e com a redução da proporção de pré-candidatos incluídos na pesquisa que não disputaram as eleições e aumentou quando o pleito estava mais disputado (variância populacional maior) e quando a proporção de indecisos na pesquisa aumentou. O único fator que teve um comportamento inesperado foi a quantidade de “Dias de Campo”, pois esperava-se que pesquisas conduzidas com mais dias de campo pudessem ser melhor executadas.

Este levantamento mostrou que pesquisas presenciais dão conta da esmagadora maioria das pesquisas eletorais, embora tenham um custo fianceiro muito mais alto. Mas o exito em acertar o benchmark é equivalente, com um acerto marginalmente melhor para a telefonica. Mesmo com ruido, a redução de erro estimada para pesquisas telefônicas, comparado com o erro das pesquisas sem modo de entrevista definido, foi de 2,2%; para as pesquisas presenciais, foi de 1,8%. Embora esta redução de erro relativa possa variar dependendo dos outros fatores considerados, inclusive o cargo envolvido, de forma absoluta as pesquisas telefonicas cometiam, em media, um erro (EMA) 0,4% menor do que as pesquisas presenciais. Como referência, se utilizarmos as características da eleição presidencial de 2022 (com 12 candidatos, 10% de indecisos, 3 dias de campo sendo nenhum deles no final de semana), e supormos que todos os candidatos atuais permanecerão na disputa até o dia da eleição, como também que a eleição do primeiro turno seria hoje, a previsão do modelo seria que as pesquisas telefônicas cometeriam um erro 10% menor do que as pesquisas presenciais. Se fosse hoje o segundo turno da eleição, a previsão é que o erro cometido pelas pesquisas telefônicas seria 4% menor do que o das pesquisas presenciais. Essas estimativas são genéricas, sem considerar qual instituto faria a pesquisa.

A eleição presidencial brasileira de 2018

A análise realizada anteriormente tratou cada pesquisa como uma previsão do resultado da eleição. Agora iremos fazer uma análise diferente, na qual todas as pesquisas num mesmo pleito são agregadas, utilizando o modelo do PollingData de forma a obter uma única estimativa para aquela eleição. Nesta análise consideraremos apenas as pequisas da eleição presidencial de 2018. Foram de novo calculados versões especificas do modelo para três situações, uma considerando apenas pesquisas presenciais, uma com as pesquisas telefônicas, e a terceira com todas as pesquisas. A ideia era de utilizar as previsões destes modelos para ver qual teria errado menos em 2018, tanto no primeiro turno, quanto no segundo. Para o leitor mais interessado, detalhes do modelo usado pelo PollingData podem ser vistos nesse link.

A tabela 5 abaixo apresentamos os resultados da eleição presidencial de 2018. Nesta tabela, os votos Não Válidos incluem votos em branco, votos nulos e abstenções. Esta tabela está incluída no post para mostrar a diferença entre os percentuais válidos (em roxo) e os percentuais totais (em laranja). Não existe uma escolha óbvia sobre qual desses percentuais utilizar para calcular o erro EMA cometido por cada modo de entrevista. Uma dificuldade que surge ao usar as pesquisas eleitorais para prever o resultado da eleição, é o efeito das respostas “Não sabe/Não respondeu”, pois no dia da eleição esses eleitores terão que decidir, se votariam (válido ou não) ou se se absteriam. Assim, para avaliar a performance das pesquisas, estas respostas teriam que ser ou eliminadas, utilizando os votos válidos, ou incluidas nas respostas Não Válidas, utilizando os votos totais. Ambas as alternativas cometem um erro. Inclusive, por esta razão, o site PollingData agora tem coletado as informações das pesquisas com o cuidado de registrar as respostas “Não sabe/Não respondeu” como uma categoria separada (e não mais incluí-las na categoria “Não Válidos”). Nas seções anteriores consideramos apenas os votos válidos pois utilizamos uma base antiga do site, na qual não havia a informação necessária para calcular os votos totais, pois naquele momento do tempo ainda não havíamos percebido a potencial importância de também calcular esse percentual.

Pelos motivos discutidos anteriormente, nesta análise calculamos o erro EMA, tanto levando em consideração os percentuais de votos válidos quanto os de votos totais. Nas médias apresentadas na tabela 6, entretanto, as categorias “Outros” e “Não Válidos” foram retiradas, pois estamos avaliando o erro médio cometido ao prever o voto nos candidatos. Nesta tabela fica evidente que em 2018 as pesquisas telefôncias tiveram performance melhor se consideramos os votos totais. No caso dos votos válidos, as pesquisas presenciais foram melhores no primeiro turno, porém no segundo turno o modelo com melhor performance foi aquele incluindo pesquisas realizadas com ambos os modos de entrevista. Ou seja, novamente nesta análise, não é óbvio que um dos métodos seja definitivamente melhor. As evidências mostram que as pesquisas telefônicas são pelo menos equivalentes às presencias, visto sua performace em 3 dos 4 indicadores considerados.

E a eleição presidencial de 2022?

No ciclo eleitoral de 2022, tem havido bastante discussão sobre modo de entrevista que melhor mensura a opinião pública brasileira. Um exemplo dessas discussões metodológicas pode ser visto nesta reportagem de capa da revista VEJA. Para que o problema fique mais claro, no gráfico 1 abaixo, apresentamos a vantagem de Lula sobre Bolsonaro por modo de entrevista, de acordo com o modelo do PollingData (com percentual de vantagem calculado considerando os votos totais). Tanto no primeiro turno, quanto num segundo turno, é evidente que nas pesquisas presenciais a vantagem de Lula é consistentemente maior do que nas pesquisas telefônicas. Para ver isso no gráfico abaixo, perceba que as linhas verdes (que representam as pesquisas presenciais) estão sempre acima das linhas azuis (que representam as pesquisas telefônicas), e as linhas nunca se cruzam.

Figure 1: Vantagem de Lula sobre o Bolsonaro por modo de entrevista (Votos totais)

Na tabela 7 mostramos que, em média, a vantagem de Lula no primeiro turno que aparecesse nas pesquisas presenciais é \(4.8\%\) maior do que nas pesquisas telefônicas. Já no segundo turno, esta vantagem cai para \(3.8\%\). Estas diferenças são grandes o suficiente para indicar uma chance significativamente maior de vitória de Lula no primeiro turno. As evidências apresentadas aqui, apesar de indicarem que as pesquisas telefônicas têm menos viés, não conseguem determinar categoricamente qual é a melhor metodologia de pesquisa. Por este motivo, passaremos a divulgar as estimativas para presidente do site PollingData, no nível nacional, com abertura por modo de entrevista. Dessa forma será possível ter uma visão mais abrangente do cenário eleitoral da disputa presidencial de 2022.

Conclusão

Trabalho com amostragem e pesquisas eleitorais há muito tempo, desde 2002. Na maior parte da minha carreira trabalhei com pesquisas presenciais que era a metodologia mais utilizada no Brasil. Inclusive na minha tese de Doutorado, fiz uma justificativa teórica para a versão com cotas, que é a versão de fato utilizada pelos intitutos. Nessa época quase não existiam pesquisas telefônicas. As poucas que eram feitas eram “corrigidas” por pesquisas presenciais para que seus resultados pudessem ser utilizados, pois elas continham muitos viéses. Naqueles tempos um percentual grande da populaçao não tinha nem telefone fixo, e o telefone celular estava somente começando a ser difundido no país.

Quando terminei meu Doutorado, no final de 2010, fui trabalhar com pesquisas eleitorais nos Estados Unidos. Chegando lá, para minha surpresa, já fazia 10 anos que quase não se faziam mais pesquisas presenciais no país, por causa do seu custo proibitivo. Já era mais um momento de transição, com pesquisas online começando a ser mais difundidas, porém as pesquisas consideradas de qualidade aindaeram as telefônicas. Lembro de ter tido a sensação de que estava no futuro, quase duas gerações de metodologias de pesquisa à frente do Brasil.

Na minha mente há poucas dúvidas de que o futuro das pesquisas de opinião pública no Brasil (e no mundo) será uma combinação dos modos online e telefônico. O recrutamento e seleção de respondentes será feito pelo smartphone, porém o modo de entrevista será majoritariamente online (talvez telefônica em alguns casos). Será uma metodologia híbrida, moderna. Além de reduzir os “buracos metodológicos” discutidos neste post, também será mais barata. É apenas questão de tempo para que a metodologia presencial, a qual já foi tão importante para ouvir a voz do brasileiro, deixe de ser utilizada. O ciclo da vida é assim, o “novo” surge, e deixa o “velho” para trás.

Porém, no Brasil, ainda não chegamos neste futuro. Estamos numa fase de transição, passando das pesquisas presenciais para as telefônicas. Por este motivo é difícil dizer qual metodologia é mais confiável hoje em dia - presencial ou telefônica? As evidências apresentadas neste post indicam que talvez já estejamos um pouco mais próximos das telefônicas do que das presenciais, mas ainda não ficou claro. Existe muito ruído. Por enquanto, talvez a resposta ainda dependa do tema sendo estudado, ou da região de interesse. Por mais que ainda estejamos num momento de transição, não é hora de sentir nostalgia pelas pesquisas presenciais, pois como disse o escritor americano Bart D. Ehrman:

“A busca pela verdade guia você para onde a evidência o leva, mesmo que, a princípio, você não queira ir até lá.”