A margem de erro e o
futuro das pesquisas
Por Laura Kroeff, VP de planejamento e pesquisa do NCGroup; e Tiago Ritter, Chairman do NCGroup e CEO da W3haus
Por Laura Kroeff, VP de planejamento e pesquisa do NCGroup; e Tiago Ritter, Chairman do NCGroup e CEO da W3haus
“O
futebol é uma caixinha de surpresas”. O dito popular, tão verdadeiro quanto
antigo, parece ter trocado o esporte pela urna eletrônica no primeiro turno das
eleições, quando uma importante parte dos prognósticos se mostrou
equivocada. Tanto quanto os resultados do pleito, a “margem de erro” tomou
conta das conversas no país. Entre questionamentos, reclamações e
interpretações bem-humoradas, uma pergunta parece ser cada vez mais relevante:
quais são os caminhos para a modernização e melhoria dos métodos de
pesquisas?
Errrrrou!
Tendo como referência as pesquisas Datafolha e Ibope, divulgadas na véspera das eleições, o candidato à presidência Aécio Neves (PSDB) teria de 24% (Datafolha) a 26% (Ibope) das intenções de voto, quando na verdade obteve 33,55% dos votos. Candidato ao governo do RS, José Ivo Sartori (PMDB) aparecia em terceiro lugar nas pesquisas com 29% nos dois institutos, mas acabou o primeiro turno em primeiro lugar com 40% dos votos. Na Bahia, a situação foi semelhante com Rui Costa (PT), que era apontado com 46% dos votos e obteve 54,53%.. Já em SP, Alexandre Padilha (PT) obteve 18,22% dos votos, enquanto o Datafolha indicava 13% e o Ibope 14% no dia anterior à votação O candidato se sentiu prejudicado na campanha, pois a diferença entre pesquisas e urnas teria lhe custado valioso espaço nos jornais da Rede Globo, que utilizam este critério para definição do volume de exposição diário dos políticos.
Debates e questionamentos despontaram entre especialistas, na imprensa e também entre os eleitores nas redes sociais. Um meme do personagem Félix, vilão de Amor à Vida que caiu nas graças dos telespectadores, traduziu a perplexidade com humor e logo se espalhou: “Hoje é segunda-feira, 6 de outubro. Mas considerando a margem de erro do Ibope: Feliz Natal”, diz a imagem produzida pelo perfil @FelixAmargo.
Não parece ser coincidência que o apontamento das falhas nas previsões venha justamente das redes sociais, já que os métodos tradicionais de pesquisa não contemplam as intenções de votos manifestadas nesses meios.
Te dou um dado. Ou não
Muitos questionam a margem de erro de pesquisas que usariam amostras de poucos milhares de entrevistados para representar um país de mais de 200 milhões de habitantes. Mesmo que a população votante ultrapasse em 2014 os 140 milhões, o cálculo estatístico da amostra necessária não seria o problema, se a amostra fosse probabilística, método comprovado cientificamente. Esse método, porém, costuma ser substituído pelo sistema de cotas, uma alternativa mais rápida e econômica.Neste sistema, a quantidade de entrevistados que compõe uma amostra representativa é construída pelo instituto de pesquisa a partir de grupos com semelhanças culturais e sociais, cujos resultados dentro de cada grupo são replicados / projetados sobre uma amostra final. A amostragem probabilística pressupõe que todos os eleitores têm chances iguais de serem entrevistados, enquanto na por cotas, se determina previamente o total de indivíduos de cada grupo que deve ser entrevistado. A justificativa dos institutos está na dificuldade de abordagem ampla da população através do método probabilístico, ainda que o mesmo já tenha sido adotado na Inglaterra desde 1992.
O fato é que o método vinha funcionando muito melhor do que ocorreu neste 1º turno de 2014. E, por isso, vem sendo utilizado além do cenário eleitoral. Como em pesquisas de mercado que ajudam a definir a estratégia de grandes empresas na hora de fatiar os investimentos pesados entre produto, comunicação, equipe, canais de vendas, etc.. O que poderia ter mudado no cenário para colocar em xeque um sistema utilizado há tantas décadas?
No meio do caminho tinha um byte. Tinha um byte no meio do caminho
Podemos listar algumas possíveis causas para esta mudança. Todas ligadas à rápida inclusão digital que se espalhou pelo país e as decorrentes mudanças de comportamento. Com mais de 105 milhões de internautas e na liderança de uso das principais redes sociais do mundo, a população brasileira rapidamente se empoderou do uso de tecnologias digitais. Existem mais aparelhos de celular habilitados do que habitantes no Brasil, por exemplo.
As duas primeiras conseqüências que interferem diretamente no trabalho dos institutos são a heterogeneidade de clusters comportamentais e a velocidade de mudança dos mesmos. Como afirma o filósofo Zygmunt Bauman, vivemos uma realidade cada vez mais líquida. A conexão digital ampliou drasticamente a quantidade e a velocidade com que somos impactados por novas referências. Brasileiros de todas as classes, idades e regiões têm a oportunidade de se inspirar em visões e atitudes de pessoas que habitam qualquer lugar do país, ou até do mundo. Entre identificar alguma nova “verdade” sobre um produto, marca, ou mesmo candidato, que não condiz com os seus valores, deixar de consumi-lo e até mesmo passar a criticá-lo publicamente podem se passar apenas alguns minutos.
Como conseqüência, muitas empresas de pesquisa e marcas mais inovadoras abandonaram já há alguns anos a segmentação demográfica ou mesmo a definição de perfis comportamentais. Os perfis, rígidos e estereotipados, não pertencem a uma realidade tão diversa e fluida e são substituídos por “Moods”. Entre elas, não se fala mais que alguém “é”, mas sim que alguém “está” de determinada maneira. Com isso, em vez de tentar enquadrá-la em perfis, as pesquisas passam a fotografar os diversos “humores”, ou estados de espírito possíveis de serem assumidos por diferentes ou até mesmo pela mesma pessoa.
A tecnologia tem sido o grande propulsor dessa aceleração de realidade e das consequentes transformações comportamentais da atualidade. Ao mesmo tempo que disponibiliza um universo de conhecimento ao público, ela absorve tera e mais tera bytes de rastros de informação deixados pelo mesmo. A inteligência de cruzar, interpretar e dar sentido a esse altíssimo volume de dados é o chamado BigData. E no processamento de BigData em Real Time pode estar a resposta para as pesquisas do futuro.
Sabe quem perguntou pra você? Ninguém
Não vemos aqui apenas a capacidade de dar conta de uma amostra muito maior e mais abrangente geograficamente. Tampouco apenas a possibilidade de ter um instrumento capaz de acompanhar em tempo real as mudanças de humor dessa população heterogênea. Talvez um dos pontos mais valiosos do desenvolvimento desses novos métodos esteja na coleta de opiniões da maneira mais espontânea possível.
Fatores como a comunicação assíncrona e a ausência física do interlocutor, especialmente de contato visual, são algumas das causas do ‘Efeito de desinibição online’ identificadas pelo pesquisador americano John Suler. O tal efeito se refere a tese de que somos mais propensos a revelar emoções e desejos no ambiente digital. Para os pesquisadores que buscam continuamente, muitas vezes em vão, não interferir ou alterar a realidade do público com a sua presença e as suas perguntas, essa capacidade de observar milhões de conversas de longe se apresenta como uma valiosa alternativa. Buscar a opinião das pessoas na hora em que elas querem dar e não quando se quer receber é uma forma de garantir respostas muito mais precisas.
Com isso, o monitoramento de menções espontâneas nas redes sociais se torna uma grande ferramenta de captura de opinião e sentimento da população. Ferramentas que conseguem capturar essas menções, interpretar, agrupar e devolver em forma de dados já estão no mercado e servem para infinitos propósitos, até para entender as intenções políticas da população. A exemplo do ‘Causa Brasil’ (vimeo.com/71093637<http://vimeo.com/71093637>), uma plataforma que identificou e tornou pública em tempo real as causas mais relevantes para o brasileiro por trás das passeatas de julho de 2013.
Essa inteligência de busca e análise que damos o nome de Real Time Research aponta para uma tendência de caminho sem volta e que está impactando em larga escala o universo de pesquisa. Essa realidade já provocou fortes mudanças na maneira como grandes marcas lidaram com as respostas de seus públicos durante o Mundial de 2014. Da mesma forma, o Governo também esteve próximo de iniciativas como essa durante as manifestações de 2013. A discrepância entre as pesquisas eleitorais e o resultado dos votos pode vir a ser o estopim para envolver os grandes institutos nesse movimento de digitalização, que não tem volta. E assim, quem sabe, deixar as surpresas cada vez mais reservadas para o futebol.
Tendo como referência as pesquisas Datafolha e Ibope, divulgadas na véspera das eleições, o candidato à presidência Aécio Neves (PSDB) teria de 24% (Datafolha) a 26% (Ibope) das intenções de voto, quando na verdade obteve 33,55% dos votos. Candidato ao governo do RS, José Ivo Sartori (PMDB) aparecia em terceiro lugar nas pesquisas com 29% nos dois institutos, mas acabou o primeiro turno em primeiro lugar com 40% dos votos. Na Bahia, a situação foi semelhante com Rui Costa (PT), que era apontado com 46% dos votos e obteve 54,53%.. Já em SP, Alexandre Padilha (PT) obteve 18,22% dos votos, enquanto o Datafolha indicava 13% e o Ibope 14% no dia anterior à votação O candidato se sentiu prejudicado na campanha, pois a diferença entre pesquisas e urnas teria lhe custado valioso espaço nos jornais da Rede Globo, que utilizam este critério para definição do volume de exposição diário dos políticos.
Debates e questionamentos despontaram entre especialistas, na imprensa e também entre os eleitores nas redes sociais. Um meme do personagem Félix, vilão de Amor à Vida que caiu nas graças dos telespectadores, traduziu a perplexidade com humor e logo se espalhou: “Hoje é segunda-feira, 6 de outubro. Mas considerando a margem de erro do Ibope: Feliz Natal”, diz a imagem produzida pelo perfil @FelixAmargo.
Não parece ser coincidência que o apontamento das falhas nas previsões venha justamente das redes sociais, já que os métodos tradicionais de pesquisa não contemplam as intenções de votos manifestadas nesses meios.
Te dou um dado. Ou não
Muitos questionam a margem de erro de pesquisas que usariam amostras de poucos milhares de entrevistados para representar um país de mais de 200 milhões de habitantes. Mesmo que a população votante ultrapasse em 2014 os 140 milhões, o cálculo estatístico da amostra necessária não seria o problema, se a amostra fosse probabilística, método comprovado cientificamente. Esse método, porém, costuma ser substituído pelo sistema de cotas, uma alternativa mais rápida e econômica.Neste sistema, a quantidade de entrevistados que compõe uma amostra representativa é construída pelo instituto de pesquisa a partir de grupos com semelhanças culturais e sociais, cujos resultados dentro de cada grupo são replicados / projetados sobre uma amostra final. A amostragem probabilística pressupõe que todos os eleitores têm chances iguais de serem entrevistados, enquanto na por cotas, se determina previamente o total de indivíduos de cada grupo que deve ser entrevistado. A justificativa dos institutos está na dificuldade de abordagem ampla da população através do método probabilístico, ainda que o mesmo já tenha sido adotado na Inglaterra desde 1992.
O fato é que o método vinha funcionando muito melhor do que ocorreu neste 1º turno de 2014. E, por isso, vem sendo utilizado além do cenário eleitoral. Como em pesquisas de mercado que ajudam a definir a estratégia de grandes empresas na hora de fatiar os investimentos pesados entre produto, comunicação, equipe, canais de vendas, etc.. O que poderia ter mudado no cenário para colocar em xeque um sistema utilizado há tantas décadas?
No meio do caminho tinha um byte. Tinha um byte no meio do caminho
Podemos listar algumas possíveis causas para esta mudança. Todas ligadas à rápida inclusão digital que se espalhou pelo país e as decorrentes mudanças de comportamento. Com mais de 105 milhões de internautas e na liderança de uso das principais redes sociais do mundo, a população brasileira rapidamente se empoderou do uso de tecnologias digitais. Existem mais aparelhos de celular habilitados do que habitantes no Brasil, por exemplo.
As duas primeiras conseqüências que interferem diretamente no trabalho dos institutos são a heterogeneidade de clusters comportamentais e a velocidade de mudança dos mesmos. Como afirma o filósofo Zygmunt Bauman, vivemos uma realidade cada vez mais líquida. A conexão digital ampliou drasticamente a quantidade e a velocidade com que somos impactados por novas referências. Brasileiros de todas as classes, idades e regiões têm a oportunidade de se inspirar em visões e atitudes de pessoas que habitam qualquer lugar do país, ou até do mundo. Entre identificar alguma nova “verdade” sobre um produto, marca, ou mesmo candidato, que não condiz com os seus valores, deixar de consumi-lo e até mesmo passar a criticá-lo publicamente podem se passar apenas alguns minutos.
Como conseqüência, muitas empresas de pesquisa e marcas mais inovadoras abandonaram já há alguns anos a segmentação demográfica ou mesmo a definição de perfis comportamentais. Os perfis, rígidos e estereotipados, não pertencem a uma realidade tão diversa e fluida e são substituídos por “Moods”. Entre elas, não se fala mais que alguém “é”, mas sim que alguém “está” de determinada maneira. Com isso, em vez de tentar enquadrá-la em perfis, as pesquisas passam a fotografar os diversos “humores”, ou estados de espírito possíveis de serem assumidos por diferentes ou até mesmo pela mesma pessoa.
A tecnologia tem sido o grande propulsor dessa aceleração de realidade e das consequentes transformações comportamentais da atualidade. Ao mesmo tempo que disponibiliza um universo de conhecimento ao público, ela absorve tera e mais tera bytes de rastros de informação deixados pelo mesmo. A inteligência de cruzar, interpretar e dar sentido a esse altíssimo volume de dados é o chamado BigData. E no processamento de BigData em Real Time pode estar a resposta para as pesquisas do futuro.
Sabe quem perguntou pra você? Ninguém
Não vemos aqui apenas a capacidade de dar conta de uma amostra muito maior e mais abrangente geograficamente. Tampouco apenas a possibilidade de ter um instrumento capaz de acompanhar em tempo real as mudanças de humor dessa população heterogênea. Talvez um dos pontos mais valiosos do desenvolvimento desses novos métodos esteja na coleta de opiniões da maneira mais espontânea possível.
Fatores como a comunicação assíncrona e a ausência física do interlocutor, especialmente de contato visual, são algumas das causas do ‘Efeito de desinibição online’ identificadas pelo pesquisador americano John Suler. O tal efeito se refere a tese de que somos mais propensos a revelar emoções e desejos no ambiente digital. Para os pesquisadores que buscam continuamente, muitas vezes em vão, não interferir ou alterar a realidade do público com a sua presença e as suas perguntas, essa capacidade de observar milhões de conversas de longe se apresenta como uma valiosa alternativa. Buscar a opinião das pessoas na hora em que elas querem dar e não quando se quer receber é uma forma de garantir respostas muito mais precisas.
Com isso, o monitoramento de menções espontâneas nas redes sociais se torna uma grande ferramenta de captura de opinião e sentimento da população. Ferramentas que conseguem capturar essas menções, interpretar, agrupar e devolver em forma de dados já estão no mercado e servem para infinitos propósitos, até para entender as intenções políticas da população. A exemplo do ‘Causa Brasil’ (vimeo.com/71093637<http://vimeo.com/71093637>), uma plataforma que identificou e tornou pública em tempo real as causas mais relevantes para o brasileiro por trás das passeatas de julho de 2013.
Essa inteligência de busca e análise que damos o nome de Real Time Research aponta para uma tendência de caminho sem volta e que está impactando em larga escala o universo de pesquisa. Essa realidade já provocou fortes mudanças na maneira como grandes marcas lidaram com as respostas de seus públicos durante o Mundial de 2014. Da mesma forma, o Governo também esteve próximo de iniciativas como essa durante as manifestações de 2013. A discrepância entre as pesquisas eleitorais e o resultado dos votos pode vir a ser o estopim para envolver os grandes institutos nesse movimento de digitalização, que não tem volta. E assim, quem sabe, deixar as surpresas cada vez mais reservadas para o futebol.
