a1) Erros de observação

Os erros de observação então, no geral, se referem à mensuração inadequada da opinião dos respondentes. Podem ser resultado de problemas com o questionário, como também do comportamento do entrevistador ou do próprio respondente. Apesar desses tipos de erro influenciarem bastante a qualidade dos resultados, e a importância de considerá-los ao se planejar uma pesquisa, eles envolvem pouco a estatística e fogem do escopo desse post. Vamos listar abaixo as principais fontes desse tipo de erro, porém não entraremos em muito detalhes sobre cada um.

• Questionário (Instrumento de coleta): Erros de observação podem occorer se o questionário for mal formulado, de maneira a não permitir que uma pessoa responda e/ou compreenda a pergunta corretamente. Por exemplo, se é perguntado ao respondente se “o seu posicionamento político é de esquerda ou direita?” e o respondente não entender os extremos desse espectro político, ou não se situar em algum dos extremos, não conseguirá responder corretamente à essa pergunta. Aspectos psicométricos são bastante relevantes para que a opinião de uma pessoa consiga ser captada por perguntas em um questionário. O tipo e a simples ordem podem alterar a resposta do respondente. É diferente ser questionado sobre intenção de voto quando o respondente precisa fornecer espontaneamente o nome do candidato (intenção de voto espontânea) do que quando deve escolher uma opção de uma lista de candidatos disponíveis (intenção de voto estimulada). As respostas de uma pessoa aos dois tipos de pergunta podem ser diferentes, principalmente pelo desconhecimento dos candidatos pelo respondente, mas também por questões como a quantidade e a ordem com que os candidatos são apresentados, a explicitação dos partidos ao lado dos nomes dos candidatos e a inclusão do apelido dos candidatos, entre outros motivos. O enunciado de perguntas localizadas antes de uma pergunta de intenção de voto no questionário pode alterar a resposta do respondente, principalmente se elas versam sobre assuntos referentes aos candidatos/partidos, como conhecimento, popularidade ou corrupção. Fica claro então que questões aparentemente sutis podem alterar bastante o resultado da mensuração da opinião de uma pessoa.
• Entrevistador: O entrevistador pode induzir a resposta do respondente ou simplesmente não aplicar corretamente o questionário (com ou sem intenção). O entrevistador também pode fraudar a pesquisa, seja inventando respostas, entrevistando uma pessoa diferente daquela selecionada para estar na amostra, ou pulando perguntas no questionário para reduzir o tempo total da entrevista. Muitas vezes, define-se antes da pesquisa um percentual de entrevistas que serão verificadas por uma outra pessoa, checando se as mesmas respostas são dadas pelo respondente às mesmas perguntas, com o objetivo de inibir a ocorrência de fraudes.
• Respondente: O prórpio respondente pode responder equivocadamente (com ou sem intenção). Ele pode não querer informar, por exemplo, a sua renda ou ter medo ou vergonha de responder corretamente (como em questões pessoais sobre sexualidade ou saúde ou em situações onde existe um lado “politicamente correto”, nesse caso conhecido, em inglês, como Social desirability bias). Além disso, algumas pessoas têm personalidades aquiescentes, sendo mais propensas a concordarem com declarações do que discordarem - independentemente do conteúdo. Freqüentemente, essas pessoas vêem o entrevistador como um especialista, o que faz com que seja mais provável que elas reajam positivamente à qualquer pergunta mesmo que ele não esteja realmente de acordo (viés de simpatia ou em inglês satisficing bias). As vezes o respondente até acha que está dando informações corretas, mas erra porque desconhece algo (de outro morador do domicílio, por exemplo).

a2) Erros de não-observação

Embora erros de observação sejam importantes numa pesquisa de opinião pública, e por isso foram incluídos neste post, do ponto de vista estatístico, a discussão mais interessante está relacionada a medir a opinião-pública da população, e não a opinião de uma pessoa. São os erros de não-observação que se mostram mais relevantes no planejamento de uma pesquisa de opinião-pública, porque eles estão relacionados, implicita ou explicitamente, à seleção dos respondentes que participarão na pesquisa. Estes erros determinam quais pessoas pertencerão efetivamente à amostra (e podem levar ao enviesamento dos resultados). São três os tipos principais de erros de não-observação.

• Amostral: O erro amostral ocorre porque apenas algumas pessoas são selecionadas para participar da pesquisa. Praticamente toda pesquisa de opinião pública terá um erro amostral associado a ela, pois a pesquisa é baseada em uma amostra da população alvo, enquanto os seus resultados são generalizados para toda a população. O erro amostral observado pode ser definido como a diferença média (ignorando o sinal) entre a resposta das pessoas na pesquisa e a de todas as pessoas da população (se esta quantidade fosse conhecida).
• Cobertura: Erros de Cobertura ocorrem quando pessoas são excluídas da população a qual pertencem, consequentemente não tendo chances de pertencer à amostra. Isso geralmente ocorre quando as listagens utilizadas para selecionar as amostras estão incompletas ou desatualizadas. Por exemplo, em pesquisas telefônicas, pessoas sem telefone são excluídas da pesquisa. Similarmente, em pesquisas online, pessoas sem acesso à internet não podem participar das pesquisas. Esse tipo de erro também ocorre em pesquisas presenciais, muitas vezes por escolha dos responsáveis pela pesquisa. É comum não incluir na amostra áreas rurais muito afastadas, ou até mesmo favelas, como forma de reduzir o custo da pesquisa.
• Não-Resposta: O erro de não-resposta ocorre quando não se consegue mensurar as opiniões de interesse (perguntas) de pessoas selecionadas para pertencer à amostra. São dois tipos de falta de resposta: não-resposta da unidade, quando nenhuma das perguntas do questionário è mensurada e não-resposta do item, quando algumas das perguntas (ou itens) não são mensuradas. A não resposta da unidade é resultado de não conseguir respostas dos respondentes desejados, ou por não encontrá-los (endereço errado, telefone errado, domicílio de residência vazio, entre outros motivos) ou pela recusa das pessoas em responder (não atende a campainha ou o telefone, ou depois de atender, se recusar a participar da pesquisa, entre outros motivos). A não-resposta do item ocorre quando uma pessoa se recusa a responder a uma pergunta (item) específica, como é frequente com as perguntas sobre renda. É comum, por exemplo, que pelo menos 20% dos respondentes não respondam a uma pergunta aberta sobre valor do seu salário, ou o informa errado.

A descrição dos erros acima é superficial, e tem o objetivo apenas de pontuar os tipos de erros existentes, das mais variadas fontes, que podem ocorrer em pesquisas de opinião pública. Mesmo num mundo ideal, onde o questionário é claro e bem desenhado, onde os entrevistadores são bem treinados, onde os respondentes são facilmente encontrados e honestos, onde a amostra é selecionada usando listagens novas e abrangentes de forma a minimizar o erro amostral, haverão erros e vieses na pesquisa. Do ponto de vista prático, esses erros são inevitáveis. É impossível prever exatamente qual será o efeito total da soma de todos os erros nas estimativas das pesquisas. É comum se referir ao efeito cumulativo de todos esses erros como viés metodológico. Esse nome se refere à metodologia utilizada para fazer a pesquisa, pois ela envolve diversas decisões em todas as etapas da pesquisa, as quais têm como consequência erros como os discutidos acima.

b1) Amostragem: a impossibilidade de entrevistar todas as pessoas

O Brasil tem hoje uma população de aproximadamente 210 milhões de pessoas. Se todas as vezes que houvesse interesse em saber a opinião dos brasileiros sobre algum assunto fosse necessário entrevistar a todos, não poderíamos saber a opinião-pública sobre nenhum tema. Não saberíamos as opiniões dos brasileiros sobre política, religião, saúde, educação, trabalho, qualidade de vida ou lazer. Não saberíamos quanto foi a inflação no mês passado; não saberíamos quanto é o desemprego atualmente; não saberíamos quantas crianças deixam de ir para escola; não saberíamos quantos corinthianos existem. Em relação à grande parte da nossa vida, seríamos “surdos”. O único momento onde saberíamos a nossa opinião coletiva seria em eleições e plebiscitos, que ocorrem de 2 em 2 anos, e no censo, que ocorre a cada 10 anos.

Felizmente, não somos coletivamente surdos, pois não é necessário ouvir 210 milhões de vozes para compreender qual é a opinião pública. Dependendo da precisão desejada, algumas centenas de vozes bem escolhidas são suficientes para ouvir a nossa sociedade. Nessa seção discutiremos com mais detalhes a área da estatística especializada em ouvir as vozes de toda população, porém utilizando para isso apenas uma pequena amostra de pessoas: a amostragem.

O objetivo desta seção não é discutir os conceitos da amostragem em profundidade, menos ainda utilizar fórmulas e conceitos técnicos. É para discutir dois aspectos principais que precisamos considerar em pesquisas de opinião-pública: erro amostral e estratificação. O erro amostral é um conceito incrivelmente difícil de ser explicado com palavras, mas vou tentar fazer justamente isso, porém a explicação pode ser cansativa. Se o leitor quiser pular esta seção, é suficiente compreender que quando analisamos os resultados de somente uma amostra de pessoas, é necessário acrescentar uma medida de incerteza aos resultados, a margem de erro, para falar da opinião de todos. Isso se faz necessário pois não temos certeza sobre a opinião de cada pessoa na população. Quanto mais incerteza existe sobre a opinião-pública, maior será a margem de erro (o famoso +/- x%).

O segundo aspecto a ser discutido é a estratificação geográfica da amostra, a qual implicitamente também controla aspectos sócio-económicos da população sendo estudada. Ou seja, como escolher nesse país de dimensões continentais, as pessoas que participarão da nossa amostra para representar de forma mais efetiva a opinião do brasileiro. Efetivo nesse contexto quer dizer com mais precisão, e com menos margem de erro. A forma como a amostra é escolhida pode aumentar bastante a efetividade da pesquisa, reduzindo gastos e permitindo também que possamos mensurar a opinião de áreas menores.

A importância da estratificação (geográfica)

Quando existem estratos (subgrupos) identificáveis na população alvo antes de realizar a pesquisa, usualmente existe uma ganho de eficiência ao se utilizar amostragem estratificada. A amostragem estratificada pré-determina a quantidade de entrevistas que serão realizadas em cada estrato. Quanto mais diferente for a opinião (por exemplo, voto no candidato A) em cada estrato, mais efetiva se torna a amostragem estratificada.

Num pais com a dimensão do Brasil, com todas as suas diferenças sócio-econômicas e particularidades regionais, usualmente existe um ganho significativo de eficiência ao se utilizar algum tipo de estratificação geográfica na seleção da amostra. Estratos como regiões e estados, ou até resoluções mais refinadas como Macroregiões ou Microregiões, podem ser utilizados se o escopo do projeto e o tamanho da amostra permitirem. Por exemplo, no contexto eleitoral brasileiro recente, sabemos que a popularidade do Partido dos Trabalhadores (PT) é maior na região Nordeste do que nas outras regiões. Se uma pesquisa nacional fosse realizada sem uma estratificação por região, é possível que a amostra selecionada tenha mais (ou menos) entrevistas proporcionalmente nessa região do que a proporção real de eleitores. Se tiver menos entrevistas, é possível que esta amostra específica apresente um erro amostral observado desfavorável ao PT, e se tiver mais entrevistas, um erro favorável ao PT. Se a amostra for estratificada por região, essa fonte de erros é eliminada. Ainda poderão haver distorções causadas por configurações diferentes de cada possível amostra, mas eliminamos o desbalanço geográfico como fonte de erro amostral. Ou seja, o erro amostral médio cometido em todas as possíveis amostras com a estratificação geográfica será menor do que o daquelas sem estratificação.

O escopo de uma pesquisa afeta bastante a escolha de qual controle geográfico se faz necessário, ou se é possível. Em pesquisas de nível nacional, é muito importante controlar pelo menos por região. Se o número de entrevistas (tamanho da amostra) for grande o suficiente, é possível controlar também pelo estado, e até talvez por alguma área dentro do estado. Menos provavel é a possibilidade de controlar por áreas dentro de cidades selecionadas para pertencer à amostra, pois poucas cidades têm mais do que uma dezena de entrevistas alocadas a elas. Em pesquisas estaduais, é geralmente possível algum controle de regiões dentro do estado (macro/micro regiões), e talvez dentro de alguns municípios em que existe algum interesse analítico, frequentemente nas capitais. Em pesquisas municipais, os controles geográficos são muito importantes, tanto por questões analíticas quanto por eficiência da amostra, porém dependem muito da existência de informações suficientes para que esse controle seja realizado.

Essa questão de controle geográfico varia com o modo, ou metodologia, adotada para a pesquisa. Como foi discutido anteriormente, são três os modos adotados no Brasil (entrevistas pessoais, telefônicas e online). Cada uma delas se baseia em formas muito diferentes de contato com a população em função do meio de comunição envolvido. Para as pessoais, é necessário que o entrevistador se encontre fisicamente com o respondente, enquanto para as telefônicas é preciso que o respondente tenha um telefone (fixo ou celular), para que seja entrevistado. Já a pesquisa online depende do acesso do respondente à internet. Por causa dessa dependência diferenciada nos meios de comunicação, o modo de entrevista acaba determinando as possíveis escolhas de estratos geográficos, assim determinando os desenhos amostrais que podem ser utilizados na pesquisa e influenciando diretamente no erro amostral esperado.

Para pesquisa pessoais é possível ter um controle geográfico muito refinado. Nas pesquisas em pontos de fluxo, o controle geralmente estará limitado ao nível do município. Porém em pesquisas domiciliares, onde o entrevistador encontra os respondentes nas suas casas, é possível ter um controle geográfico mais fino, não só no sentido da estratificação geográfica, mas também no que se refere à seleção de respondentes. Nesse tipo de pesquisa, a seleção da amostra é usualmente feita em estágios, sorteando-se primeiramente municípios, depois setores censitários e finalmente dos domicílios e de seus moradores.

O setor censitário, que é a menor unidade geográfica para a qual existem informações oficiais do Instituto Brasileiro de Geografia e Estatistica (IBGE), possui em média 300 domicílios em áreas urbanas. Assim é possível distribuir uma amostra para pesquisas pessoais domiciliares com enorme controle sobre a dispersão geográfica. Na figura abaixo, mostro o setor censitário onde a minha residência está localizada.

Exemplo de um setor censitário

Nesse link é possível visualizar toda a malha censitária do país, que é composta por mais de 300 mil setores. Na figura abaixo, mostro a malha de setores da cidade de Campinas, onde cada setor está delimitado em azul escuro. Em pesquisas domiciliares, a estratificação geográfica pode ser feita em todos os níveis. No nível municipal, entretanto, ela depende da disponibilidade de informações da malha de setores cenistários. Sempre é possível criar regiões geográficas para estratificação agrupando setores, porém para que essas regiões tenham interesse analítico, devem estar relacionadas com áreas geo-políticas existentes na cidade.

Malha de setores censitários de Campinas(SP)

Apesar da possibilidade de controle geográfico extremamente refinado das pesquisas domiciliares, essa metodologia possue um aspecto negativo, conhecido como efeito de conglomeração. Esse é um termo estatístico relacionado à perda de efetividade do desenho amostral que ocorre por causa da concentração de entrevistas num mesmo local. Esse efeito é quase sempre negativo em populações humanas, porque pessoas que moram próximas umas as outras são mais parecidas entre si do que pessoas que moram longe uma das outras, e isso faz com que haja perda de informação ao selecionar pessoas que residem no mesmo setor. Esse efeito ocorre por uma questão de logística. Para que os entrevistadores não gastem a maioria do seu tempo se locomovendo a domicílios espalhados por toda a cidade, seleciona-se um setor censitário para concetrar as entrevistas. Assim os entrevistadores podem utilizar o seu tempo tentando efetivamente entrevistar as pessoas, sem perder tempo na locomoção. Apesar de haverem muitos ganhos nesse tipo de pesquisa no que se refere à estratificação geográfica, uma parte desta eficiência é perdida por questões logísticas.

Para pesquisas telefônicas também existem dois tipos principais de metodologias: uma de RDD (Random Digit Dialing), onde o cadastro utilizado para selecionar uma amostra tem todos os números de telefone que existem no país, e a outra de Listagem, onde o cadastro é proveniente da listagem dos telefones comprados de algum(ns) fornecedor(es). A diferença entre esses dois tipos de pesquisas telefônicas pode parece sutil, porém é de bastante importância, tanto com relação à qualidade da pesquisa quanto com relação ao tempo de coleta dos dados.

No caso da RDD, utiliza-se cadastros da Agência Nacional de Telecomunicações (ANATEL), onde todos os números de telefones que já foram alocados para alguma operadora telefônica são listados. No cadastro de telefones fixos, é possível identificar o município ao qual o número pertence, mas no cadastro de telefones móveis, não existe nenhuma identificação geográfica. A grande vantagem desse tipo de pesquisa é que a cobertura do cadastro é de 100%, ou seja, todas as pessoas do país que têm telefones têm que estar no cadastro. A desvantagem é que existem muitos números que, apesar de terem sido alocados a operadoras, não estão em uso. Por este motivo, durante a coleta dos dados é comum que muitos telefones sendo contactados não existam, algo que reduz a velocidade execução da pesquisa. Muitas vezes é necessário utilizar um discador automático para que seja possível completar a pesquisa em tempo hábil. A discagem manual de cada número que não existe implica na perda de vários segundos, enquando a utilização da discagem automática leva à perda de muito menos tempo. Outra dificuldade da RDD ocorre no caso de pesquisas municipais. Como não é possível saber à qual cidade um telefone celular do cadastro de da ANATEL pertence (apenas conhecemos o DDD), é necessário fazer um filtro de município no questionário da pesquisa, algo que dificulta a coleta de dados, além de aumentar o tempo necessário para completar a pesquisa.

No caso das Listagens, utilizam-se cadastros comprados de fornecedores. A grande vantagem dessa abordagem é que a proporção de números telefones inativos deve ser bem menor do que no caso do RDD, e também existe a possibilidade de haver informações geográficas para telefones celulares. A desvantagem é que não é possível saber a cobertura dessas listagens, nem também o quão atuais elas são. Mesmo que tenham informações geográficas, estas podem estar desatualizadas. Provavelmente a coleta dos dados com esse tipo de pesquisa será mais rápida, porém a eficiência da amostragem pode ser comprometida por causa da cobertura.

Com relação à estratificação geográfica em pesquisas telefônicas, ela é sempre possível até o nível do DDD, que é um nível geográfico com refinamento maior do que o nível do estado, como pode ser visto no gráfico abaixo. Desta forma, tanto pesquisas nacionais quanto estaduais podem ter uma estratificação geográfica bastante razoável. Porém, em pesquisas municipais, a estratificação será dependente da qualidade da listagem, e não é possível no caso das pesquisas RDD com telefones celulares. Nesse último caso, pode-se perguntar no questionário sobre bairro ou CEP da residÊncia do respondente, e usar estas informações durante a etapa de análise dos dados para ajustar a distribuição geográfica da pesquisa, como será discutido posteriormente. Porém, muitas pessoas desconhecem o seu CEP, e a definição de bairro não é uma informação muito confiável para ser utilizada com o objetivo de melhorar a qualidade da pesquisa.

Mapa de DDD’s

Em pesquisas online, as informações disponíveis sobre os respondentes dependem muito da forma de recrutamento utilizada, tema que será discutido na próxima seção (sobre cobertura). Quando existe alguma informação previamente disponível para ser usada na estratificação da amostra, como Estado, Cidade ou CEP, ela pode ser utilizada. Porém, geralmente, não existem respondentes suficientes em várias estratos de interesse, inviabilizando o controle geográfico em níveis mais refinados que estados, ou muitas vezes regiões.

Durante a coleta dos dados por pesquisas online, informações geográficas também podem ser coletadas, como CEP ou então o endereço de IP, ambas informações que permitiriam ajustes geográficos na etapa de análise dos dados da pesquisa, como será discutido posteriormente. Porém, no caso dessas pesquisas online, muitas vezes os respondentes têm preocupação com a sua privacidade e podem não responder ou não permitir o acesso a essas informações.

b2) Cobertura: as dificuldades de acesso às pessoas

A cobertura de uma pesquisa se refere ao percentual da população alvo que pode ser entrevistada. Utilizando os termos da seção anterior, consiste na determinção de quantas pessoas têm uma probabilidade positiva de serem selecionadas para fazer parte da pesquisa. Uma cobertura de 100%, por exemplo, implica que todas as pessoas da população podem ser selecionadas para participar da pesquisa. Uma cobertura de 90% implica que 10% da população alvo têm probabilidade zero de ser selecionado para participar. Quando existe uma parcela da população que não têm chance de participar da pesquisa, a pesquisa potencialmente terá viés de cobertura. O tamanho desse viés depende do percentual de pessoas que não podem ser selecionadas e também do quão diferentes essas pessoas são daquelas pessoas que podem ser selecionadas. Se a proporção de pessoas excluídas é baixa, e/ou se quem é excluído é muito semelhante às que não são excluídas, esse viés pode ser ignorável.

Como foi discutido anteriormente, existem três modos principais de entrevistas utilizados no Brasil, os quais são dependentes de maneiras diferentes dos meios de comunicação. Para entender melhor os pontos fracos e fortes de cada metodologia, é importante também entender quais pessoas não podem ser acessadas/encontradas pelas diferentes estratégias de recrutamento de respondentes, ou seja, entender como o modo de entrevista pode influenciar a cobertura da pesquisa.

Note que quando falamos dos diferentes modos de pesquisa, é comum utilizar o termo recrutamento ao invês de seleção. Algumas vezes não é tão óbvia a diferença entre os dois termos, sendo até utilizados como sinônimos, porém a diferença entre os termos pode ser muito importante para determinar a qualidade de uma pesquisa. Quando o termo seleção é utilizado, implicitamente refere-se a um controle mais rígido sobre os respondentes: apenas pessoas que forem selecionadas podem fazer parte da pesquisa. Quando o termo recrutamento é utilizado, usualmente refere-se a encontrar pessoas com o perfil desejado para a pesquisa, muitas vezes até oferencendo incentivos (financeiros ou não) pela sua participação. O termo recrutamento então está associado principalmente à auto-seleção do respondente: quem decide se irá participar ou não da pesquisa é o próprio respondente. É importante destacar, porém, que independente de haver um seleção rigososa ou não dos respondentes, no final das contas são sempre os indivíduos que decidem se querem participar ou não da pesquisa. A relação entre auto-seleção e não-resposta será discutida na seção seguinte.

Para avaliar o potencial impacto da metodologia (e consequentemente, do modo de entrevista) na cobertura das pesquisas, utilizaremos os dados mais atuais e abrangentes para discutir a dificuldade de acesso dos institutos de pesquisas a sub-grupos da população brasileira. Para esse fim, serão utilizados os microdados da Pesquisa Nacional por Amostragem de Domicílios (PNAD), realizada continuamente pelo IBGE. A PNAD permite a leitura dos resultados em diferentes recortes analíticos e frequência (mensal, trimestral e anual), sendo assim uma das pesquisas mais importantes executadas pelo IBGE (acesse esse link para uma explicação detalhada da pesquisa). Talvez a maior restrição da PNAD seja o baixo nível de refinamento geográfico dos resultados, mostrado na figura abaixo (1A), se limitando às Capitais de cada estado, às Regiões Metropolitanas (RM)(ou Regiões Integradas de Desenvolvimento (RIDE) que contém alguma capital estadual) e o resto do estado.

Áreas analíticas da PNADc

Um dos recortes da PNAD versa sobre as características dos domicílios brasileiros, incluindo informações sobre posse de telefone e acesso à internet dos residentes. Também existem informações sobre o tipo do domicílio (se é um apartamento ou não) e sobre a infra-estrutura do mesmo. Alguns dessas informações são relevantes quando consideramos o acesso de entrevistadores à população, o qual é um dos aspectos mais importantes para determinar a cobertura da pesquisa, e consequentemente, o quão bem a metodologia da pesquisa permite avaliarmos a opinião do brasileiro.

A logística da coleta de dados em pesquisas pessoais domiciliares exige que o entrevistador tenha contato com o respondente em sua residência. Pesquisas desse tipo envolvem o deslocamento de uma equipe de entrevistadores (e supervisores), usualmente partindo dos grandes centros urbanos onde se localizam as empresas que realizam a coleta de dados, para o interior, de forma a permitir que pessoas residentes em todo o território brasileiro sejam entrevistadas. Os roteiros de viagem seguidos por essas equipes dependem do número de equipes localizadas em uma àrea e das cidades dessa área onde é necessário realizar entrevistas. Geralmente, a amostra de pessoas/cidades nas várias áreas é restrita a roteiros logisticamente aceitáveis, permitindo que os entrevistadores de uma equipe trabalhem dias completos em numa cidade, depois se locomovendo o mais rapidamente possível para a próxima cidadem do roteiro, de preferência sem “perder” nenhum dia apenas em deslocamento (sem realizar entrevistas).

Nesse modo de entrevista, dois aspectos são importantes para que o entrevistador consiga entrevistar a pessoa selecionada para participar da pesquisa: conseguir chegar ao município de residência, e obter permissão para falar com residentes que moram em lugares com acesso restrito. Pelo primeiro motivo, é comum algumas pesquisas excluírem lugares muito distantes de centros urbanos, geralmente rurais e sem acesso rodoviário. Um exemplo típico de áreas evitadas são os municípios que têm apenas acesso hidroviário no Norte do país. Esses locais são evitados pois representam poucas pessoas no país e o custo de realizar as entrevistas seria alto. O segundo motivo, relacionado ao acesso ao domicílio em si, ocorre pela existência de porteiros. No caso de apartamentos e condomínios, geralmente o acesso às áreas internas só é permitido com autorização de algum residente, dificultando bastante que pessoas residentes nesses locais participem de pesquisas, principalmente quando o procedimento de seleção do domícilio é realizado pelo próprio entrevistador. No caso de favelas, situações similares ocorrem: muitas vezes só é permitido que residentes do local sejam entrevistados se os entrevistadores obtiverem autorização do chefe da comunidade, ou se algum representante dele estiver presente durante a entrevsita. Esse tipo de controle é mais comum em favelas onde existe crime organizado, ou se o controle da comunidade está sendo disputado por diferentes grupos.

De acordo com a PNADc de 2018 (visita 1), mais de 24,3 milhões de pessoas moram em apartamentos (+/- 12,8% da população). Utilizando os dados da PNAD, não existem informações sobre quantas pessoas residem em condomínios ou aglomerações urbanas sub-normais (favelas), porém de acordo com dados do Censo 2010, cerca de 11,4 milhões de pessoas moram em favelas (+/- 6% da população) e 3,1 milhões de pessoas moram em condomínios ou vilas (+/- 1,6% da população). A combinação dessas três estatísticas mostra que provavelmente 38 milhões de brasileiros moram em áreas que podem ser de difícil acesso para pesquisas domiciliares (+/- 19% da população).

A logística de pesquisas telefônicas é mais fácil. O contato com o respondente é feito pelo telefone, ou seja, apenas é necessário que o respondente tenha acesso a um telefone fixo ou celular ativo. É importante mencionar, entretanto, que pesquisas telefônicas de boa qualidade têm que contemplar tanto telefones fixos quanto celulares; caso contrário, a cobertura da mesma será bastante reduzida. Apesar da inclusão dos dois tipos de telefone complicar um pouco a logística da coleta de dados e a análise dos resultados (como será discutido na seção de análise), o ganho em cobertura compensa o esforço. O principal motivo da importância da inclusão dos tipos de telefones é que pessoas que têm Somente Celular, Somente Fixo e Celular e Fixo são bem diferentes entre si, e a exclusão de algum desses grupos pode aumentar bastante o viés de cobertura desse modo de pesquisa.

De acordo com os dados da PNADc de 2018 (visita 1), mais de 199 milhões de brasileiros residem em domicílios onde existe telefone fixo ou onde pelo menos um morador tenha um telefone celular (+/- 96% da população). Uma ressalva importante a essa estatística é que o telefone celular geralmente é considerado como sendo de uso pessoal. Então o fato de um morador ter um telefone celular não necessariamente implica que os outros moradores do mesmo domicílio são acessíveis pelo celular. Até por esse motivo, as perguntas feitas pela PNAD sobre posse de telefone celular (“Neste domicílio, quantos moradores têm telefone móvel celular para uso pessoal?”) e de telefone fixo (“Este domicílio tem telefone fixo convencional?”) são bastante diferentes.

Em pesquisas online, para que uma pessoa possa participar da pesquisa, é necessário que tenha acesso à internet. Como nesses casos geralmente é o próprio respondente que preenche o questionário (auto-preenchimento), ele pode fazê-lo de qualquer local, como de sua casa, do seu trabalho, de uma lan house, ou até do smartphone. A etapa de recrutamento, que consiste em entrar em contato com os potenciais respondentes dando-lhes o link necessário para responder a pesquisa, pode ser muito importante. É possível que o recrutamento seja feito de uma forma que não dependa da internet, o que permite que mesmo uma pessoa sem acesso à internet na sua casa ou celular possa participar da pesquisa; também é importante que pessoas que utilizam a internet com pouca frequência possam ser selecionadas para participar de uma pesquisa.

A forma mais comum de recrutamento online é feita utilizando painéis online. Nestes painéis pessoas se cadastram para poderem ser contactadas para participar de pesquisas, pois recebem algum incentivo (financeiro ou não) para tanto. Outra forma de recrutamento que vem se tornando mais popular é chamada de river sampling, onde as pessoas são recrutadas enquanto utilizam a internet da forma como normalmente fazem. Esse tipo de recrutamento também tende a oferecer algum tipo de incentivo online, como pontos ou acesso exclusivo aos mais variados produtos e serviços. Outra forma bastante popular de recrutamento é através de listagens de emails. O recrutamento offline também é utilizado, muitas vezes feito no momento em que a pessoa iniciaria o acesso à internet, como em Lan Houses ou wi-fi’s públicos, algumas vezes oferencendo como incentivo pela participação na pesquisa o acesso gratuíto. Também é possível que o recrutamento seja feito pelo telefone (Whatsapp, SMS ou Smartphone), ou quando uma pessoa realizar uma compra numa loja física; em alguns casos mais raros, até pode ser feito pelo correio.

Mesmo com dados de uma pesquisa específica sobre o uso da internet, como por exemplo a TIC Domicílios 2018, é difícil avaliar a abrangência (ou cobertura) de uma pesquisa online, principalmente porque o questionário de uma pesquisa pode ser acessado de locais públicos e por causa das diferentes possibilidades de recrutamento. Me parece evidente, no entanto, que conforme a penetração de smartphones for aumentando no país, mais efetivas as pesquisas online podem se tornar. As pessoas poderiam ser contactadas pelo telefone, e responderiam a pesquisa pelo próprio smartphone, tornando a cobertura similar ao caso das pesquisas telefônicas. Nesse post mostraremos estatísticas da PNAD relacionadas à possibilidade de acesso à internet no domicílio, sem nos preocuparmos com a frequência de acesso. A pergunta que consideramos foi esta: “Algum morador tem acesso à Internet no domicílio por meio de microcomputador, tablet, telefone móvel celular, televisão ou outro equipamento?”. De acordo com a PNADc de 2018 (visita 1), aproximadamente 166 milhões de pessoas têm acesso à internet no seu domicílio (+/- 79,9% da população). É importante mencionar também que como, geralmente, as pesquisas online são de auto-preenchimento, pessoas analfabetas não podem participar dessas pesquisas. Ainda de acordo com a PNADc de 2018 (visita 1), aproximadamente 15 milhões de pessoas têm menos de 1 ano de estudo (+/- 7,2% da população).

Na figura abaixo (1B) mostramos uma comparação das estatísticas relacionadas com o acesso aos respondentes por área da PNAD. Para isso utilizamos um mini gráfico de pizza para cada área, indicando três estatísticas diferentes: Sem Internet, em amarelo, que se refere ao percentual de pessoas que residem em domicílios onde nenhum morador têm acesso a internet, Sem telefone, em cinza escuro, que se refere ao percentual de pessoas que residem em domicílios onde nenhum morador têm acesso a um telefone (fixo ou celular) e Sem acesso físico(apartamento), em azul, que se refere ao percentual de pessoas que residem em domicílios classificados como apartamentos. Também mostramos no gráfico os locais onde existem favelas no país, em rosa.

Note que essas estatísticas não têm que somar 100%, o que pode gerar críticas ao uso do gráfico de pizza, porém esta foi a forma encontrada de apresentar, ao mesmo tempo, os aspectos relevantes do acesso aos respondentes para os diferentes modos de pesquisa nas áreas da PNAD. É importante lembrar que o mapa não mostra o tamanho populacional das áreas³, porém sabidamente as maiores concentrações populacionais estão na região sudeste e nos grandes aglomerados urbanos, os quais correspondem aproximadamente aos locais onde existem favelas. O leitor pode olhar cada área com detalhe, se assim desejar, porém o que é importante perceber desse mapa é como o acesso à população têm uma geografia muito diferente para cada modo de entrevista. A existência de porteiros (favelas e apartamentos) é maior em todos os grandes centros urbanos; a maioria dos locais onde pessoas não têm acesso ao telefone estão concentradas no interior das regiões Norte e Nordeste, e finalmente, domicílios sem acesso à internet estão espalhados por todo o país.

É importante fazer algumas ressalvas ao analisar esses dados. Não são todos os apartamentos e favelas que possuem “porteiros”; a posse de telefone celular por um residente não implica que todos os residentes podem ser contactados por celular; e um domicílio ter a possibilidade de acesso à internet não quer dizer que ela é de fato acessada. Porém, a visualização dessas estatísticas deve ajudar o leitor a compreender a complexidade da realização de pesquisas de opinião pública no país, tanto no aspecto da logística quanto dos potenciais erros de cobertura que estarão presentes nos diferentes modos de entrevista.

Dados PNADc 2018

Cotas

Durante a etapa de coleta de dados os entrevistadores podem não conseguir entrevistar as pessoas inicialmente selecionadas para participarem da pesquisa. Por isso, é necessário um critério para substituir tais pessoas, o qual é definido durante o planejamento da pesquisa. Geralmente, o critério envolve um número máximo de tentativas de realizar uma entrevista. Também incluí a determinação dos aspectos do perfil do respondente que devem ser considerados ao substituí-lo. Essas variáveis que controlam a substituição do respondente são denominadas de cotas.

A ideia por traz das cotas é muito semelhante à motivação da estratificação discutida anteriormente: fixa-se o número de entrevistas em cada cota de modo que para todas as possíveis amostras observadas, o número de entrevistas em cada uma se mantenha constante. No entanto, o que difere bastante no caso de cotas é a motivação para a escolha das variáveis a serem controladas. Nesse caso, busca-se variáveis sócio-demográficas que sejam relacionadas com a chance de ocorrência do erro de não-resposta. Uma vez que pessoas que trabalham fora de casa são mais difícieis de serem entrevistadas nos domicílios, por exemplo, devemos controlar a proporção de pessoas desse perfil que participa da pesquisa para evitar que ele seja sub-representado.

A sub-representação pode ocorrer quando variáveis importantes, relacionadas à probabiladade de uma pessoa participar da pesquisa, não são controladas nas cotas. Se não conseguir entrevistar uma pessoa desejada em uma pesquisa domiciliar, será feita uma substituição de acordo com a regra pré-estabelecida. No exemplo acima, se o respondente não entrevistado trabalha fora de casa. e essa variável não está nas cotas, ele pode ser substituido por uma pessoa com o mesmo perfil nas variáveis de cota porém que NÃO trabalha fora de casa.

A regra padrão utilizada para substituir respondentes depende da metodologia da pesquisa. Em quase todos os casos a regra é tentar fazer contato/entrevistar a pessoa um número pré-especificado de vezes (frequentemente 3, porém pesquisas de menor qualidade às vezes limitam as tentativas a apenas uma única vez). As variáveis geralmente utilizadas nas cotas (que são correlaciondas com a chance de uma pessoa responder a pesquisa), estão listadas abaixo, juntamente com a justificativa para a sua inclusão.

• Sexo: No geral, é mais fácil encontrar mulheres em casa, como idosas e donas de casa. Elas também são menos propensas a se recusar a participar de uma pesquisa se comparadas aos homens.
• Idade: No geral, é mais fácil encontrar jovens e idosos em casa. Jovens adultos são mais acessíveis pelo telefone celular do que pelo telefone fixo, e também têm uma presença mais forte na internet se comparados com as outras faixas etárias.
• Escolaridade: No geral, pessoas com escolaridade maior se recusam mais a responder às pesquisas. Além disso, pessoas analfabetas não conseguem acessar à internet.
• Ocupação: No geral, pessoas que trabalham são mais difíceis de serem encontradas em casa do que pessoas que não trabalham. Elas também têm chance maior de ter um telefone celular pessoal, e muitas vezes podem acessar a internet com mais frequência e de outros lugares além da residência, como do trabalho.
• Classe Social: No geral, pessoas de classe social mais alta são mais inacessíveis, pois moram em condomínios fechados ou em apartmentos. Elas também são mais propensas a recusarem participação numa pesquisa. Por outro lado, têm chance maior de possuir um smartphone de uso pessoal e de acessar a internet com frequência.
• Tipo de residência: No geral, pessoas que residem em apartamentos são mais difíceis de serem contactadas do que moradores de casas, com exceção de condomínios fechados ou mansões.

A etapa de coleta de dados se faz mais demorada com a utilização de cotas, entretanto é importante utilizá-las. Por isso é importante ser criterioso na escolha das mesmas, pois não é possível controlar todas as variáveis que podem ser relacionadas com a chance de algúem responder. Além disso, é comum que algumas cotas deixem de ser controladas no final da coleta de dados, pois conforme as cotas mais fáceis de serem preenchidas vão se esgotando, agumas combinações improváveis de perfis difíceis de serem entrevistados sobram para o final da coleta de dados, impossibilitando o termino da pesquisa no prazo desejado. Um exemplo típico desse tipo de combinação que dificulta muito o campo são pessoas com menos de 24 anos e com escolaridade superior completa.

A utilização de cotas na coleta de dados é uma das maiores críticas dos acadêmicos às pesquisas realizadas na prática, por permitir a substituição de pessoas que haviam sido originalmente selecionadas para participar da pesquisa. Não é o objetivo desse post discutir mais profundamente a questão, porém se você, leitor, tiver mais interesse no assunto, é o tema central de toda a discussão sobre amostragem na minha tese de doutorado.

c1) Quais variáveis devem ser ajustadas na ponderação?

O objetivo da ponderação é corrigir os vieses que podem ocorrer durante a execução da pesquisa. A efetividade dos ajustes depende de quais variáveis são utilizadas, e das suposições que são feitas sobre a importância dessas variáveis para corrigir/remover o viés. Nesses ajustes podem ser utilizadas apenas variáveis que foram incluídas no questionário da própria pesquisa e para as quais os valores populacionais sejam conhecidos, ou seja, estão disponíveis em pesquisas públicas (preferencialmente confiáveis). A melhor estratégia geralmente envolve planejar o ajuste antes da coleta dos dados, pois dessa forma variáveis importantes para a remoção dos potenciais viéses podem ser incluídas no questionário e enunciadas de forma a reproduzir as perguntas feitas nas pesquisas utilizadas como referência para os ajustes.

Por exemplo, como vimos na seção b2 sobre a cobertura das pesquisas, sabemos que pesquisas online, com recrutamento online, têm dificuldade de encontrar respondentes no interior das regiões Norte e Nordeste, fato que muitas vezes faz com que essas regiões sejam sub-representadas nessas pesquisas. Se for adotada a estratégia de aumentar o peso dos respondentes dessas áreas para terem o mesmo tamanho relativo que têm na população brasileira, uma suposição bastante forte está sendo feita: de que as pessoas que não foram entrevistadas são iguais às pessoas que foram entrevistadas. Essa suposição sempre é forte, porém no contexto de pesquisas online é ainda mais forte. Sabe-se que a incidência da internet nessas regiões é baixa e que pessoas que acessam pouco ou quase nunca à internet são diferentes daquelas que acessam a internet com frequência com relação a vários aspectos, como renda, tipo de trabalho e acesso à informação. Ou seja, ao fazer esta suposição ignora-se não somente o tamanho do erro de cobertura, mas também a sua gravidade. O viés de cobertura nesse caso é potencialmente muito grande, e o ajuste sendo aplicado não leva em consideração aspectos importantes da questão.

Nesse exemplo, um ajuste mais razoável (que faz suposições mais fracas), seria também considerar uma outra variável importante: frequência de uso da internet. Uma estimativa confiável dessa informação no nível populacional pode ser obtida de pesquisas como a TIC Domicílios 2018. Se a mesma pergunta for incluída na pesquisa online sendo realizada, ela pode ser utilizada na etapa de ponderação dos dados. Essa estratégia então ajustaria o peso relativo de pessoas que utilizam pouco a internet, as quais provavelmente estão sub-representadas na amostra online. Mais que isso, se o recrutamento foi online, não existirão pessoas na pesquisa que não usam a internet. Porém tais pessoas existem na população geral, fato esse que ficará evidente na ponderação pois não será possível criar um fator de ajuste para essas pessoas na pesquisa. Note que nesse ajuste, suposições continuam sendo feitas, porém são mais fracas.

Outra alternativa nesse caso seria divulgar a pesquisa se referindo a um público alvo mais realista. Ao invês de dizer que a pesquisa representa a população inteira, pode-se dizer que ela representa a população brasileira com acesso à internet. Dessa forma, o viés de cobertura seria, em grande parte, eliminado.

Mesmo no caso idealizado, onde apenas o erro amostral se faz presente nos resultados da pesquisa, a ponderação dos dados seria recomendada. Em primeiro lugar, porque a amostra pode ser desbalanceada intencionalmente, com grupos de pessoas tendo probabilidades de serem selecionadas não-proporcionais ao tamanho relativo dos grupos aos quais pertencem. Nesses casos é necessário ajustar a amostra para corrigir esse desbalanço amostral. Em segundo lugar, para ajustar variáveis sócio-demográficas com distribuição conhecida na população alvo, de forma que distribuição dessas variáveis na amostra observada coincidam com os totais populacionais. Esse ajuste pode ter tanto caráter estético, quanto de fato melhorar a efetividade da pesquisas se as variáveis ajustadas forem correlacionadas com variáveis análiticas importantes, como intenção de voto no caso de pesquisas eleitorais.

As variáveis que devem ser utilizadas dependem do modo de entrevista. No geral, todas as variáveis discutidas na seção sobre as cotas podem ser também consideradas nessa etapa. Em pesquisas domiciliares, por exemplo, informações como tipo de residência e quantos dias por semana a pessoa fica em casa, poderiam ser usadas para tentar corrigir o viés de cobertura e de não-resposta, porém a última pode não ter um referencial público.

Em pesquisas telefônicas atenção especial é dada à questão do tipo do telefone, pois para selecionar a amostra telefônica utilizam-se dois cadastros, um de telefones fixos e um de telefones celulares. A motivação em considerar essa informação na ponderação é porque pessoas que têm os dois tipos de telefone têm mais chance de pertencer à pesquisa e a sua proporção na amostra pode ser super-estimada. Além disso, existem estudos mostrando que tais pessoas têm perfil de voto mais conservador, aumentando o potencial de um viés relevante na pesquisa. Em pesquisas realizadas por URA é importante tentar corrigir o viés que pode ocorrer por subgrupos da população não participarem de pesquisas desse tipo, porém quais ajustes devem ser feitos ainda não é tão claro.

Em pesquisas online atenção especial é dada a informações como frequência de uso da internet, pelos motivos discutidos no início da seção. Um outro aspecto importante com relação às pesquisas online que merece atenção são os respondentes profissionais. Pesquisas onde o recrutamento é feito somente em painéis são muitas vezes criticadas, pois respondentes profissionais se cadastram nesses paíneis com o objetivo de ganhar incentivos para responder a pesquisas. Estes são muito diferentes das outras pessoas, geralmente mais pró-ativos, principalmente em questões relacionadas ao uso da internet e adoção de novas tecnologias. Para tentar remover esse tipo de viés, uma opção é utilizar alguma pergunta sobre o tipo de uso da internet que o respondente faz.

Os tipos de variáveis consideradas também dependem do objetivo da pesquisa. No contexto específico de pesquisas eleitorais, por exemplo, onde o objetivo é prever corretamente a intenção de voto das pessoas, algumas variáveis relevantes que podem ser consideradas são: religião, recebimento de auxílio do bolsa-família, voto na eleição anterior e bairro/CEP. Nesse caso específico, busca-se variáveis que estão relacionadas com o voto e que não sejam muito correlacionadas com as variáveis de cota. Com isso haverá um ganho adicional por também poder controlar essas variáveis na ponderação.

c2) Truncamento dos pesos (Viés versus variância)

Apesar da ponderação ser um técnica de extrema importância para ajustar os resultados de uma pesquisa, é necessário certo cuidado ao utilizá-la. Se muitas variáveis com muitas categorias forem utilizadas, podem haver combinações de algumas categorias de variáveis que tenham um número muito pequeno de entrevistas. Nesses casos, pode não ser possível reproduzir os percentuais populacionais na pesquisa.

Nesse mesmo contexto, uma situação menos extrema mas bastante relevante ocorre quando existem entrevistas suficientes para calcular o ajuste, porém os pesos necessários para corrigir a amostra são muito grandes. O problema com pesos grandes, ou extremos, é que eles fazem com que alguns poucos respondentes tenham uma importância muito grande para o resultado da pesquisa. A consequência desses pesos grandes é que os resultados da pesquisa se tornam instáveis, pouco confiáveis, pois podem variar muito entre possíveis amostras que poderiam ter sido selecionadas da população alvo. Isso quer dizer que se for realizada uma outra pesquisa similar, os resultados que eram de alguma forma baseados nessas pessoas com pesos grandes podem não ser observados novamente. Ou seja, aquilo que parecia ser uma resultado importante era apenas “ruído” amostral. Nesse contexto, utilizar cotas também é importante pois é uma forma de reduzir o tamanho dos pesos necessários após a coleta dos dados.

Nesse exercício mental de imaginar que a seleção de uma amostra pode ser repetida infinitas vezes usando a mesma metodologia, essa variação entre os resultados das possíveis amostras chama-se variância. Quanto maior a variância, mais instáveis são os resultados de uma pesquisa, consequentemente sendo menos confiáveis. A margem de erro, discutida anteriormente, nada mais é do que uma forma de quantificar essa variação dos resultados da pesquisa causada pela seleção de uma amostra especifica da população. O viés, por outro lado, geralmente é definido como sendo um erro “fixo”, que é constante em todas as possíveis amostras . Esse erro não é causado pelo fato de selecionar uma amostra específica, mas por algum outro motivo de algo que ocorreu durante a execução da pesquisa. Por exemplo, em pesquisas eleitorais, se o viés for de 5% é como se todas as possíveis amostras tivessem a intenção de voto do candidato A super-estimadas, sempre 5% maior do que a realidade.

O viés e a variância são igualmente importantes para determinar a precisão de uma pesquisa de opinião pública, e ambos devem ser evitados. No contexto discutido aqui, geralmente deseja-se remover todo o viés dos resultados da pesquisa observada, ou seja, tenta-se ajustar o maior número possível de variáveis. Porém se esta estratégia for repetida em todas as possíveis amostras, apesar do viés ser reduzido, a variância da metodologia aumenta muito, fazendo com que os resultados fiquem, em média, com um erro maior. Muitas vezes a melhor estratégia para a redução do erro médio é permitir a ocorrência de um pouco de viés, pois desta forma a variância será menos inflada.

Com os pesos da ponderação, é geralmente isso que ocorre. Assim, no caso descrito acima onde os pesos do ajuste são muito grandes consequentemente inflando a variância, uma estratégia comum é truncar o pesos, de forma que eles não possam ser maiores do que um valor máximo X. Pesos maiores serão alterados, passando a ter o valor de X. Dessa forma adiciona-se um pouco de viés nos resultados da pesquisa, pois agora o ajuste aplicado na amostra não reproduz exatamente a distribuição populacional dessas variáveis conhecidas. Em compensação, a variância tem seu tamanho reduzido. O balanço entre viés e variância, nesse contexto, é determinado pelo valor X. Em termos práticos, é impossível distinguir o viés da variância se existe apenas uma única pesquisa para analisar, então a decisão sobre qual deve ser o tamanho de X é feita fazendo-se algumas suposições sobre o comportamento dos pesos. Quando existem mais pesquisas para balizar o tamanho de X, suposições mais fracas podem que ser feitas.