1. Retorno para coleta presencial confirma nota técnica anterior: pesquisas telefônicas do Datafolha sobre-estimaram sistematicamente a aprovação do governo Bolsonaro durante a pandemia do COVID-19

Em nota técnica divulgada no dia 8 de abril de 2020¹, Atlas apontou para um indício de viés de seleção na primeira coleta telefônica realizada pelo Datafolha para a medição da aprovação do governo Bolsonaro no contexto da instalação da pandemia do COVID-19 no Brasil. Tanto no início da crise do COVID-19 e depois da demissão dos ministros Luiz Henrique Mandetta e do Sérgio Moro, as pesquisas Datafolha indicaram um aumento da aprovação do presidente Jair Bolsonaro, dentro da margem de erro da pesquisa, de 30% de “Ótimo e bom” em dezembro de 2019 para 33% de “Ótimo e bom” nas pesquisas de abril de 2020 e de maio de 2020. Em maio de 2020, logo depois da saída do Sérgio Moro do governo, Jair Bolsonaro registrou seu mínimo histórico de aprovação na pesquisa Atlas com 21% de “Ótimo e bom,” uma diferença de 12 pontos percentuais em relação ao Datafolha.

Atlas apontou que a estabilidade dos percentuais de aprovação do Jair Bolsonaro nas pesquisas Datafolha existia num contexto de instabilidade de variáveis de controle da distribuição amostral. A partir da mudança de metodologia para coleta telefônica, a vantagem do Jair Bolsonaro no voto passado dos entrevistados (“recall”) no segundo turno da eleição de 2018 contra Fernando Haddad subiu para 25 pontos percentuais (63% vs. 37%), muito distante dos 10 pontos (55% vs. 45%) registrados no resultado da votação. Além disso, o perfil racial das amostras e a correlação entre escolaridade e nível de renda sofreram alterações importantes. O percentual de brancos na amostra Datafolha subiu 20% entre dezembro de 2019 e maio de 2020, enquanto o percentual de pretos caiu 33%. As distorções em termos da distribuição do voto passado, perfil racial, e perfil de renda resultaram num aumento sistemático das taxas de aprovação do governo Bolsonaro reportados pelo Datafolha entre abril de 2020 e março de 2021, durante a pandemia do COVID-19 e da apresentação de pedidos de impeachment no Congresso Nacional.

A partir de abril de 2020, o voto passado dos entrevistados não é mais apresentado nos relatórios do Datafolha², impossibilitando em parte a corroboração deste argumento após a retomada da coleta presencial. No entanto, a distribuição racial retornou aos níveis pré-pandemia na última coleta do Datafolha.

Composição amostral: percentual de eleitores do Fernando Haddad nas amostras Datafolha
(inclui primeira coleta telefônica realizada durante a pandemia do COVID-19)

Composição amostral: perfil racial nas amostras Datafolha
(inclui primeira coleta telefônica realizada durante a pandemia do COVID-19)

2. Por conta da diferença de método, consideramos inadequada a apresentação dos resultados de maio de 2021 dentro da mesma série histórica dos resultados das coletas telefônicas

Apesar da mudança da metodologia de coleta e dos claros indícios da existência de um “mode effect”, os resultados da última pesquisa com coleta presencial do Datafolha divulgada no dia 12 de maio foram inseridos na mesma série histórica das pesquisas com coleta telefônica, sem qualquer comentário sobre desafios de comparabilidade. Mais do que isso, a manchete oferecida pela Folha da São Paulo a pesquisa foi “Aprovação a Bolsonaro recua 6 pontos,” ou seja uma comparação direta com a pesquisa de março que tinha sido conduzida utilizando outra metodologia. Tanto a inserção dos resultados dentro da mesma série histórica quanto a comparação direta dos resultados e a interpretação destes como caracterizando uma tendência de queda de popularidade vão contra as boas práticas sugeridas pela literatura acadêmica sobre o assunto, a partir da identificação recorrente do impacto do tipo de coleta sobre os resultados obtidos³.

As pesquisas high-frequency do Atlas e a série histórica das pesquisas públicas Atlas revela um crescimento da aprovação do presidente Jair Bolsonaro entre os meses março e maio de 2021 fora da margem de erro da pesquisa. O aumento de aprovação é fortemente correlacionado com a recuperação das expectativas econômicas sobre o país, a família e o mercado de trabalho, no contexto do pagamento do novo auxílio emergencial e da melhoria relativa da crise no sistema de saúde com o avanço da vacinação contra do COVID-19. Os resultados são corroborados pelas pesquisas de aprovação do governo de outros institutos que mantiveram a mesma metodologia de coleta e estratificação amostral durante este período como também pela Sondagem do Consumidor da Fundação Getúlio Vargas divulgada no final do mês de abril (no que diz respeito a recuperação das expectativas econômicas).

3. A última pesquisa Datafolha não representa adequadamente o perfil do eleitorado brasileiro por nível de renda

A distribuição amostral da primeira pesquisa presencial do Datafolha sobre o cenário eleitoral de 2022 não é representativa da população brasileira por faixa de renda de acordo com as projeções feitas pela AtlasIntel para o mês de maio de 2021 a partir da evolução das series históricas da PNAD-Continua. Segue uma tabela comparativa entre a distribuição da amostra Datafolha e as nossas estimativas sobre o perfil da população por faixa de renda.

Destacamos que a representatividade das amostras por nível socioeconômico da população é um elemento extremamente importante de calibragem amostral. A sobre-representação do segmento da população com até 2 salários mínimos em mais de 50% e sub-representação dos outros segmentos com renda familiar mensal maior teve um impacto considerável sobre os resultados globais da pesquisa.

Uma possível explicação deste fenômeno é sobre o perfil do público que frequenta os pontos de fluxos visitados pelos entrevistadores do Datafolha no contexto da pandemia do COVID-19: provavelmente a chance de encontrar trabalhadores essenciais é maior e a chance de encontrar respondentes com maior poder aquisitivo é menor do que seria em circunstâncias normais, sem o impacto das medidas de distanciamento social e da prática do “home office”. Neste contexto, ressaltamos a importância da divulgação de variáveis de controle da estabilidade da composição amostral anteriormente divulgados pelo Datafolha, como por exemplo o voto passado dos entrevistados da eleição de 2018.

4. Ajustando pelo perfil de renda da amostra, os resultados do Datafolha se aproximam das estimativas do Atlas no primeiro e no segundo turno, para todos os cenários

Aplicando uma reponderação das faixas de renda para os níveis estimados pelo Atlas a partir da PNAD-Continua, a diferença entre os resultados Datafolha e Atlas diminui para todos os cenários. Para o primeiro turno, as estimativas para todos os candidatos ficam dentro da margem de erro (diferença de até 4 pontos entre as duas pesquisas, admitido um desvio de 2 pontos percentuais para as estimativas em cada uma), com a exeção do resultado do Jair Bolsonaro, que continua fora da margem de erro. No segundo turno, a diferença máxima é de 6,3 pontos percentuais (o resultado do Bolsonaro no cenário com o Lula), fora da margem de erro, mas bem mais próximo do que o resultado original.

Aplicando a reponderação por renda, a diferença entre Lula e Bolsonaro na pesquisa Datafolha cai de 18 para 12 pontos no primeiro turno e de 23 para 17 pontos no segundo turno.

Mesmo com resultados mais próximos depois da ponderação, as diferenças entre as duas pesquisas continuam significativas, por conta de um ponto chave: a diferença entre os resultados para o Jair Bolsonaro nos cenários de primeiro turno.

5. As pesquisas Atlas e Datafolha apresentam padrões compatíveis em termos do comportamento do eleitor

As pesquisas Atlas e Datafolha mostram Lula com uma vantagem semelhante em relação ao Ciro Gomes e João Doria nos cenários de segundo turno contra Bolsonaro. Lula pontua 7 pontos a mais que Ciro Gomes na pesquisa Datafolha (5 pontos depois da reponderação) e 4 pontos a mais na pesquisa Atlas. Em relação ao João Doria, Lula pontua 15 pontos a mais na pesquisa Datafolha (12 pontos depois da reponderação) e 11 pontos a mais na pesquisa Atlas.

No contexto de discrepâncias entre as pesquisas, esses resultados ajudam identificar melhor o principal ponto de divergência: o nível de apoio de Jair Bolsonaro no primeiro turno, que acaba impactando diretamente nos cenários de segundo turno. Uma vez esclarecida esta diferença, todos os cenários de segundo turno deveriam ficar alinhados naturalmente.

6. A coleta presencial não é necessariamente superior à outras metodologias

A coleta presencial tem certas vantagens em relação a outras metodologias, por conta de taxas muito menores de não resposta, o que simplificam bastante o trabalho de calibragem amostral e correção de viés. No entanto, as pesquisas face-a-face do Datafolha não tiveram um desempenho superior as pesquisas via coleta web da Atlas nas eleições municipais de 2020. Em cada uma das cinco capitais onde Atlas conduziu pesquisas de intenção de voto (São Paulo, Rio de Janeiro, Recife, Fortaleza e Porto Alegre), os resultados do Atlas ficaram mais próximos do resultado da votação que qualquer outra pesquisa; acertaram o vencedor em 100% dos casos; e ficaram dentro da margem de erro em relação ao resultado da votação em 60% dos casos). Com a mesma metodologia de coleta web, Atlas foi a melhor empresa de pesquisa no ciclo eleitoral de 2020 nos Estados Unidos e nas eleições presidenciais da Argentinas de 2019. Atlas tem um selo “A” no ranqueamento de pesquisas realizado pela plataforma de análise FiveThirtyEight.

¹ https://www.atlasintel.org/media/atlas-technical-note-20200408

² A distribuição amostral do voto passado não aparece mais na versão atual do relatório da pesquisa Datafolha PO4008 divulgado no dia 06.04.2020. A tabela relevante aparecia na versão inicial do relatório.

³ Veja por exemplo: https://www.pewresearch.org/methods/2015/05/13/from-telephone-to-the-web-the-challenge-of-mode-of-interview-effects-in-public-opinion-polls/; https://academic.oup.com/poq/article-abstract/75/2/349/1862343