Experts de verdade sabem que eles não sabem

O analista ignorante tem certeza absoluta; o verdadeiro especialista compreende seus próprios limites e sabe fazer as perguntas certas

Acaso a imposição de pena de morte reduz as taxas de crimes violentos? Que políticas econômicas conduzirão a uma prosperidade ampla? Quais tratamentos médicos devemos permitir e incentivar para tratar novas doenças? Essas perguntas têm algumas coisas em comum. Elas têm consequências importantes para todos nós, e, por isso, os formuladores de políticas públicas, bem como o público em geral, querem saber suas respostas – se é que existem boas respostas. Felizmente, há comunidades inteiras de especialistas que produzem literatura científica rigorosamente regulamentada dedicada a respondê-las. Infelizmente, elas também são perguntas difíceis que exigem conhecimento causal, cuja aquisição não é fácil.

Com a ascensão das redes sociais, os especialistas dispostos a compartilhar seus conhecimentos duramente conquistados nunca antes foram tão acessíveis ao público. Assim, poderia-se pensar que a comunicação entre especialistas e os responsáveis pelas tomadas de decisão deveria ser melhor do que nunca, ou, ao menos, não pior do que em épocas anteriores. Mas esse não é o caso. Como pode atestar qualquer pessoa que tenha passado tempo no Twitter ou vendo noticiários da TV a cabo, esses meios de comunicação estão repletos de autoproclamados “especialistas”, cuja falta de conhecimento específico não os impede de compartilhar amplamente suas opiniões.

Não é nenhuma novidade a existência de pseudoespecialistas, ou mesmo de charlatões descarados, e eles não se limitam só a questões de política. Em todos os domínios em que os responsáveis pela tomada de decisões precisam do conhecimento de especialistas, aqueles que não possuem o conhecimento relevante – quer reconheçam isso ou não – competem com os verdadeiros especialistas por dinheiro e atenção. Os analistas querem tempo de TV, os acadêmicos querem atrair atenção aos seus trabalhos e consultores querem futuros negócios. Muitas vezes, esses especialistas estão corretamente confiantes em suas declarações. No mercado privado da expertise, entretanto, o oposto pode ser mais comum. Daryl Morey, gerente geral do time de basquete Houston Rockets, descreveu que grande parte de sua experiência como consultor consistia em tentar fingir certeza absoluta sobre coisas incertas; uma espécie de teatro de expertise. Em “The Undoing Project” [O projeto desfazer] (2016), de Micheal Lewis, Morey descreve uma entrevista de emprego com a empresa de consultoria administrativa McKinsey, em que ele foi repreendido por admitir dúvida. “Eu disse que era porque eu não tinha certeza. E eles disseram: ‘Nós cobramos 500 mil dólares por ano dos clientes, então você tem que ter certeza do que está falando.'”

Com a escassez da expertise genuína, a presença de especialistas que superestimam suas conclusões acrescenta ruído ao ambiente da informação, tornando mais difícil aos responsáveis pelas tomadas de decisões saberem o que fazer. O desafio é separar o sinal do ruído.

Quando consideramos questões importantes em domínios desafiadores, como previsões econômicas e crises de saúde pública, há muitas ocasiões em que os especialistas não têm as respostas. Com pouca frequência, admitem isso.

Devemos aceitar que qualquer avaliação de especialistas pode ser apenas palavras vazias ou, na melhor das hipóteses, um perito qualificado indo além de sua competência? Ou podemos fazer melhor que isso?

Para melhor compreendermos o problema da comunicação do conhecimento científico aos formuladores de políticas públicas e ao público geral, dividir a dificuldade das perguntas em três níveis pode nos ajudar. Perguntas de nível 1 são aquelas que qualquer pessoa, mesmo com uma expertise modesta ou com acesso a um buscador virtual, pode responder. Algumas perguntas de economia política nesta categoria incluem, por exemplo: “O controle de preços causa escassez?” ou “Os governos em exercício têm mais chances de ter desempenho melhor nas eleições quando a economia vai bem?’

Perguntas de nível 2 são aquelas em que apenas os especialistas mais qualificados têm algo a dizer. Algumas perguntas políticas e econômicas que acreditamos que se enquadram nesta categoria são: “Podemos criar algoritmos para atribuir programas aos residentes médicos de maneira eficaz?” (sim) e “Limites para mandatos políticos melhoram a performance dos governos?” (não). Essas são questões para as quais uma literatura científica substancial revisada por pares fornece respostas, e elas podem ser abordadas pelo que o filósofo americano Thomas Kuhn, em 1962, chamou de “ciência normal”: Isto é, dentro dos paradigmas existentes do conhecimento acadêmico.

Perguntas de nível 3 são aquelas em que até os melhores especialistas não sabem as respostas, tais como se a pena de morte reduz a criminalidade violenta, ou quais serão as taxas de juros daqui a dois anos. Essas perguntas, ou não podem ser respondidas tendo em conta os paradigmas atuais de pesquisa, ou são fundamentalmente perguntas sem resposta. Grande parte do empreendimento científico em si consiste em distinguir entre quando mais investigações ou informações tornarão as perguntas possíveis ou não de serem respondidas. É importante dizer que, para efeitos de formulação de políticas, não importa necessariamente o motivo pelo qual não podemos saber a resposta. Assim, para comunicar sobre ciência com o público, é de suma importância a distinção entre o nível 2 (perguntas que exigem conhecimento verdadeiro) e o nível 3 (aquelas que, na realidade, não são, pelo menos até o momento, possíveis de serem respondidas).

Os políticos e os executivos raramente são especialistas nos domínios em que tomam decisões.

Se você não tem certeza se a nossa classificação destas perguntas em nível 2 vs. nível 3 está correta, de certo modo esse é o ponto. Saber quais perguntas se inserem em quais categorias requer conhecimento especializado. (O que, para sermos claros, nós mesmos não temos para algumas das perguntas referenciadas, mas consultamos trabalhos recentes da literatura, de especialistas consagrados.) De fato, os próprios experts podem, às vezes, errar nesta distinção. Os sovietólogos pensavam que a pergunta “A URSS é um país estável com risco mínimo de colapso?” estava bem respondida (incorretamente acreditando que “sim”), e muitos especialistas pensaram que de forma nenhuma um outsider político tão divisor como Donald Trump poderia ganhar a nomeação do Partido Republicano, muito menos a presidência (incorretamente acreditando que “não”).

No entanto, os especialistas estão certamente mais suscetíveis a saber quais perguntas podem ser respondidas do que os responsáveis pelas tomadas de decisão relevantes. Os políticos e os executivos podem até ser experts no domínio da tomada de decisões, mas raramente são experts nos domínios em que tomam as decisões.

Não precisamos nos preocupar muito com as perguntas de nível 1. É claro, algumas pessoas podem ser preguiçosas demais para pesquisar no Google, e podem negar questões já resolvidas pela ciência. Nós não queremos descartar o perigo potencial de experts (ou políticos) fazerem alegações obviamente falsas, mas este perigo não deve representar um problema consistente para alguém responsável por tomar decisões que tenha um interesse honesto pela verdade.

As coisas tornam-se complicadas ao distinguirmos entre o segundo e o terceiro nível, as perguntas que podem ser respondidas agora e as que não podem. A principal diferença entre estes tipos de perguntas é: “Um expert competente e bem versado na literatura científica relevante estaria razoavelmente confiante na resposta?” Note-se que a questão diz respeito tanto à aptidão do perito quanto à possibilidade da pergunta ser ou não respondida.

Isto significa que, ao tomar decisões que exigem uma perspectiva especializada, admitir que não se sabe, ao menos ainda, pode ser uma marca distintiva de um verdadeiro expert. E, se não tivermos a certeza de quais são as perguntas que podem ser respondidas, estamos vulneráveis a experts desinformados que nos convencem de que possuem as respostas. Pior ainda, os bons experts, quando perguntados sobre algo que não é possível responder, podem fazer o mesmo. Do ponto de vista do expert, ele sabe que admitir incerteza pode prejudicar sua reputação, pois os experts ruins são mais suscetíveis a estar desinformados do que os bons. Mais concretamente, dizer “não sei” não gera boas análises, um terreno nada desejável para analistas ou consultores ambiciosos que esperam poder justificar seus honorários.

Quando especialistas e analistas não podem ou não querem dizer “não sei”, as consequências podem ser terríveis. No curto prazo, aconselhamento ruim conduz a más decisões. No contexto de admitir incerteza diante de questões difíceis, há duas maneiras que isso pode acontecer. Isso é particularmente claro e notável no contexto da pandemia da COVID-19.

Em primeiro lugar, diante de um problema de nível 2, a orientação de experts qualificados pode perder-se em meio aos ruídos, ou os responsáveis pelas tomadas de decisão podem simplesmente perguntar aos especialistas errados. Entre o público geral, demorou muito tempo para muitos entenderem a mensagem de que lavar mais as mãos salvaria vidas, que o distanciamento social era necessário e que grandes encontros deveriam ser cancelados.

Provavelmente mais comum nas grandes escolhas políticas, os responsáveis pelas tomadas de decisão podem ser persuadidos a tomar medidas arriscadas ou a encontrar justificativas para as ações que já tomariam de qualquer forma, baseados na falsa confiança estimada por experts. Isso pode acontecer quando outros especialistas mais qualificados estão dando as orientações. Por exemplo, alguns artigos em meados de março de 2020 do jurista americano Richard Epstein, que minimizaram a ameaça da COVID-19, tiveram alegada influência entre alguns no governo Trump. Para colocar de forma gentil, os argumentos de Epstein não eram sólidos.

Se não soubermos quais perguntas estão sem resposta, não saberemos para onde melhor direcionar os nossos esforços.

Políticas ruins também podem surgir quando a fronteira da pesquisa não oferece respostas definitivas, ou dá as respostas erradas. A história da medicina está repleta de exemplos de tratamentos que sabemos que fizeram mais mal do que bem, como a sangria, o tabaco e o ópio. Todas essas técnicas tinham “provas” de que eram na verdade saudáveis, desde teorias vagas sobre “humores” (sangria) até evidências reais de que reduziam a dor, mas sem consideração suficiente dos efeitos colaterais (ópio). Muitas vidas teriam sido salvas se os médicos percebessem que não sabiam se esses tratamentos funcionavam bem o suficiente para compensar os efeitos colaterais, e fossem também capazes de admitir isso.

Embora seja difícil evitar custos a curto prazo em tempos de crise, há consequências importantes a longo prazo se não dermos a devida atenção às incertezas. Confrontar-se com a incerteza é fundamental para o empreendimento científico, e deveria haver um lugar para se reconhecer isso. Se não soubermos quais perguntas estão sem resposta, não saberemos para onde melhor direcionar os nossos esforços. Ter uma falsa confiança na compreensão de questões importantes atrasa a descoberta de melhorias reais. Como o físico teórico americano Richard Feynman disse em uma palestra em 1963:

É no reconhecimento da ignorância e no reconhecimento da incerteza que há esperança para o movimento contínuo dos seres humanos em alguma direção que não fique confinada, permanentemente bloqueada, como tantas vezes aconteceu em vários períodos da história humana.

Confiança demasiada na precisão falsa ou exagerada dos experts desestimula o investimento em recursos para tentativas metódicas de resolver questões difíceis. Por outro lado, há ao menos o mesmo risco em ignorar completamente as recomendações dos especialistas.

Compreender o mercado dos experts, e quando estes estão mais ou menos dispostos a admitir incerteza, é um desafio que merece nossa atenção. Para obter alguma compreensão sobre essas questões, desenvolvemos um modelo matemático simples (publicado na American Political Science Review) para estudar quando os experts estão dispostos a admitir a incerteza. Como é comum aos modelos, esse cria algumas hipóteses simplificadoras e faz abstrações a partir de características importantes da realidade. Por exemplo, uma simulação de contágio de doenças pelo repórter gráfico Harry Stevens no Washington Post, em 14 de março de 2020, ilustrou as pessoas como bolas flutuando, saltando umas de encontro às outras, e a quarentena como uma parede física separando-as. Pelo lado positivo, esta simplicidade gráfica ilustrou claramente como s quarentena e outras políticas, como o distanciamento social, podem “achatar a curva” das infecções. É claro que as vidas das pessoas são complexas demais para serem fielmente representadas por bolas saltitantes, mas tantas pessoas acharam este modelo esclarecedor que ele se tornou o artigo mais visto na história do site do jornal.

Os modelos servem para simplificar (e simplificamos ainda mais aqui; veja o artigo para mais detalhes); no nosso modelo do mercado de experts, existe um único expert e uma única responsável pela tomada de decisões. Partindo do nosso exemplo inicial, suponhamos que a política em questão seja permitir ou não o uso de um novo medicamento para tratar uma doença. Consideramos uma interação “one-shot” (em única etapa), onde a responsável pela tomada de decisão é confrontada com esta escolha e pede o conselho de um especialista médico. Na terminologia apresentada acima, essa pode ser uma questão de nível 2 ou de nível 3, mas a responsável pela tomada de decisões não sabe qual é. Ou seja, pode haver ou não evidências sólidas da eficácia do remédio.

O especialista pode ser competente, caso em que saberá se as evidências reunidas até aquele momento indicam que a droga é segura e eficaz (uma questão de nível 2, mas não se não houver evidências suficientes para afirmar com confiança se a droga é ou não segura e eficaz, o que é uma questão de nível 3). Se o especialista for inepto, ou a questão estiver fora do escopo de sua especialidade, ele não terá orientações úteis para dar, independentemente do que a literatura médica disser. (É claro, “especialista inepto” pode parecer um oximoro; pense nisso como uma pessoa geralmente qualificada que é consultada sobre uma questão fora do escopo de sua especialidade real.)

Se o medicamento for eficaz, a formuladora de políticas públicas irá querer permitir o uso, e se não for, ela irá querer banir o uso. Se a evidência ainda não for forte em qualquer das duas direções, vamos supor, para fins de simplificação, que a alternativa ideal para a formuladora de políticas seja escolher uma diretriz “intermediária”, talvez aprovando o uso para casos graves ou permitindo estudos-piloto limitados. Uma implicação fundamental (e realista), tendo em vista as evidências disponíveis, é que a formuladora de políticas só poderá fazer a melhor escolha possível se o especialista se comunicar de forma honesta, inclusive nos casos em que não tiver certeza. É claro que a formuladora de políticas quer saber quando a droga é ou não eficaz. E quando a evidência é fraca, ela também quer saber isso, já que tomar a ação mais incisiva é pior do que a escolha com restrições. A tomada de decisão ideal exige que os especialistas admitam quando não sabem as respostas.

Infelizmente, a penalidade por dar o palpite errado nunca parece tão alta

Mas será que o expert alguma vez dirá “Não sei”? Se ele só se importa que a boa política seja implementada, sim. No entanto, a forma como os experts se preocupam com sua reputação pode criar problemas. Mesmo que bons especialistas não tenham certeza sobre a verdade quando confrontados com um problema de nível 3, especialistas ineptos não terão certeza. Os formuladores de políticas provavelmente não sabem quão difícil é o problema. Consequentemente, a aptidão e o conhecimento são correlacionados, e assim admitir incerteza faz com que um expert pareça menos competente, mesmo que seja qualificado mas esteja enfrentando uma dificuldade genuína dentro ou além das fronteiras do conhecimento naquele campo. Especialistas que se preocupam mais com a sua reputação do que com a verdade têm um incentivo para tentar “adivinhar” quando e se a droga é ou não segura.

Quando o especialista está desinformado, a formuladora de políticas pode acabar aprovando ou proibindo um medicamento quando a escolha oposta seria a melhor. Além disso, como ela sabe que o especialista às vezes tenta adivinhar, ela nunca pode ter certeza absoluta se a droga é ou não segura.

O que podemos fazer em relação a este problema? Uma solução aparentemente óbvia seria verificar se as alegações dos especialistas estão corretas. Se os especialistas que fazem afirmações fortes e que são então refutadas forem penalizados e perderem futuros contratos, isso pode dissuadi-los de fazer alegações falsas ou exageradas. Infelizmente, a penalidade por dar um palpite errado nunca parece ser tão alta: aqueles que arquitetaram a guerra do Iraque e os responsáveis pelas decisões que conduziram às crises financeiras de 2008 estão, em geral, se dando muito bem profissionalmente. E o nosso modelo fornece uma justificação teórica do porquê. Assim como alguns especialistas que não têm uma boa resposta a perguntas são na realidade capacitados mas enfrentam uma pergunta para qual não há resposta, aqueles que dão um palpite e acabam errando também podem ser competentes. Na verdade, se todos os especialistas desinformados tentam adivinhar a verdade, então dar um palpite e estar errado não é pior do que admitir incerteza abertamente. Assim, os desinformados poderiam muito bem lançar os dados e adivinhar: se eles estiverem certos, eles parecerão competentes; se não, eles não parecerão piores do que se eles tivessem sido honestos sobre a sua incerteza.

Esta situação é particularmente frustrante para os especialistas competentes confrontados com uma pergunta difícil: precisamente porque são competentes, sabem que estão perante uma questão difícil, e estão tão suscetíveis a adivinhar a política correta quanto um charlatão. O que eles sempre sabem melhor que um charlatão é discernir se estão diante de uma pergunta que é ou não possível de ser respondida. A verdadeira expertise exige que saibamos os limites do nosso conhecimento.

Reconhecer onde os verdadeiros experts têm uma vantagem definitiva também oferece caminhos de como as instituições podem ser concebidas para encorajá-los a admitir incertezas: em vez de validar se as suas previsões estão corretas, a chave é verificar se era possível responder à pergunta em primeiro lugar. Desta forma, bons especialistas estarão dispostos a dizer: “não sei, pois esta é uma pergunta que não há como responder”, confiantes de que a última parte será validada. E, uma vez que os especialistas competentes estiverem dizendo “não sei”, especialistas inaptos podem fazê-lo também, se propor (“chutar”) que o problema é impossível de ser respondido for mais vantajoso para eles do que propor (“chutar”) corretamente qualquer solução em particular.

A lição fundamental do modelo é que, embora a verificação de fatos de especialistas seja útil para alguns fins, ela não é eficaz para estimular os especialistas a admitar incerteza. Por outro lado, a “validação da dificuldade”, ou encontrar uma forma de verificar se era possível responder à pergunta em primeiro lugar, pode motivar bons especialistas a dizer “não sei” – e, por vezes, também os especialistas ruins.

Além disso, acreditamos que existem instituições do mundo real que já estão adotando esta abordagem.

Por exemplo, a publicação acadêmica baseia-se na revisão por pares, onde outros especialistas leem esboços de artigos e fornecem contribuições cruciais sobre se os resultados são críveis e interessantes o suficiente para serem publicados. O importante é que os avaliadores não verificam, geralmente, se as afirmações em um artigo estão corretas, mas sim se os autores chegaram a um método para tornar a pergunta do artigo possível de ser respondida.

Seguem algumas ideias práticas de como melhorar a comunicação de experts em outros ambientes.

Em primeiro lugar, é útil não somente fazer perguntas a diferentes especialistas, mas também fazer diferentes perguntas a diferentes especialistas (e pequenas diferenças nas questões feitas podem fazer grandes diferenças na resposta). Em vez de perguntar aos especialistas: “a medicação vai funcionar?”, pergunte a alguns deles: “há boas evidências sobre se a droga vai funcionar?” Especialistas qualificados nem sempre saberão a resposta para a primeira pergunta, mas sempre saberão a resposta para a segunda.

Mesmo verdadeiros especialistas podem ter um incentivo para blefar quando confrontados com perguntas que não podem ser respondidas

Em segundo lugar, não divulgue apenas os pontos de vista mais extremos e confiantes. Os mais confiantes por aí podem ser os mais informados, ou os mais suscetíveis ao efeito Dunning-Kruger: não conhecedores o suficiente para perceberem que não deveriam ser confiantes. Na nossa experiência, quando nos deparamos com questões realmente importantes e desafiadoras, esses últimos podem ser mais comuns.

Em terceiro, ouça as conversas entre especialistas. Uma vez que os especialistas sabem que as afirmações exageradas não vão convencer seus pares, eles podem ser mais honestos sobre o seu nível de confiança neste contexto do que quando falam na TV. Este pode ser o verdadeiro benefício das redes sociais: conversas entre especialistas já não acontecem apenas em reuniões de laboratório ou conferências. Muitas vezes ocorrem abertamente onde qualquer um pode ouvi-los.

Em uma de nossas partes favoritas do programa de televisão de Jimmy Kimmel – “Lie Witness News” – os entrevistadores percorrem as ruas de Nova York fazendo perguntas impossíveis como “está na hora de trazer as tropas de Wakanda de volta para casa?” Os entrevistados inevitavelmente enfrentam com coragem o desafio, respondendo com confiança e em detalhes (imaginários). O nosso trabalho sugere que, na presença de incentivos reputacionais, o mercado de orientação especializada pode não ser muito melhor, e que, pior ainda, mesmo os verdadeiros experts podem ter um incentivo para blefar quando confrontados com perguntas para as quais não se tem respostas.

Então, como fomentamos a confiança e a integridade no discurso sobre a ciência? Uma pequena, mas real parte do problema é que os incentivos reputacionais para parecer qualificados e detentores de conhecimento levam os especialistas a exagerar em suas certezas. Uma maneira de se contrapor a essa tendência é fazer perguntas melhores, e isso geralmente implica em fazer perguntas sobre a natureza da evidência e o que ela permite saber. Também podemos mudar a forma como nos relacionamos com os especialistas, não apenas ouvindo as vozes mais barulhentas e mais confiantes, mas àquelas com um histórico de apenas afirmar até onde as provas levam, e uma disposição em dizer: “Não sei.”