Os Limites da Inteligência Artificial na Saúde
Um estudo recente trouxe à tona preocupações sobre a confiabilidade dos chatbots de Inteligência Artificial (IA) na área da saúde. De acordo com a pesquisa, esses sistemas não se mostraram mais eficazes do que uma simples busca no Google ao guiar os usuários em diagnósticos ou na tomada de decisões sobre suas condições de saúde. O estudo, publicado na Nature Medicine, revela que, apesar do entusiasmo ao redor dessas tecnologias, os riscos de informações equivocadas permanecem altos.
Os pesquisadores conduziram um experimento com mais de 1.200 participantes britânicos, sendo a maioria sem formação médica. Eles foram apresentados a cenários médicos detalhados, com sintomas e histórico de saúde, e orientados a interagir com chatbots para determinar os próximos passos a seguir, como chamar uma ambulância ou se automedicar. Entre os modelos testados estavam o ChatGPT da OpenAI e o Llama da Meta.
Os resultados foram alarmantes: os usuários escolheram a conduta considerada correta, definida por um painel de médicos, em menos de 50% das situações. Além disso, apenas 34% dos participantes foram capazes de identificar corretamente condições como cálculos biliares ou hemorragias. Curiosamente, o grupo de controle, que se utilizou do Google para buscar informações, não teve um desempenho inferior ao dos que usaram os chatbots.
A Complexidade da Medicina
Adam Mahdi, professor do Instituto de Internet de Oxford e autor do estudo, expressou preocupação com a eficácia dos chatbots em situações médicas reais. Segundo ele, a medicina é uma área complexa e cheia de nuances. “A medicina não é assim. É complexa, incompleta e estocástica”, destacou Mahdi.
Embora os chatbots tenham mostrado capacidade de superar médicos em diagnósticos de problemas complexos, isso não garante que sejam eficazes em orientações práticas para o dia a dia dos pacientes. O estudo sugere que a falta de informações adequadas por parte dos usuários é um fator que limita a eficácia dos chatbots. Muitas vezes, os participantes não forneciam detalhes suficientes sobre seus sintomas, o que resultava em diagnósticos imprecisos.
Um exemplo do experimento ilustra essa questão: um chatbot sugeriu que dores de estômago intensas poderiam ser causadas por indigestão, pois o usuário não forneceu detalhes cruciais sobre a dor. Quando os pesquisadores alimentaram os chatbots com informações completas, a taxa de acerto nos diagnósticos aumentou para 94%.
A Responsabilidade do Usuário e do Modelo
Robert Wachter, chefe do departamento de medicina da Universidade da Califórnia, enfatizou que reconhecer quais informações são relevantes para o diagnóstico é uma habilidade fundamental que médicos desenvolvem ao longo de suas formações. A pesquisa levantou um ponto importante: o ônus de formular a pergunta ideal não deve recair apenas sobre os usuários. Andrew Bean, principal autor do artigo, questionou se a responsabilidade de coletar informações relevantes não deveria ser compartilhada com os chatbots, que poderiam fazer perguntas complementares, assim como os médicos fazem durante as consultas.
As empresas de tecnologia estão cientes dessa necessidade e estão trabalhando para melhorar a interação dos chatbots com os usuários. Os modelos atuais do ChatGPT, por exemplo, são significativamente mais propensos a realizar perguntas complementares do que versões anteriores, de acordo com informações apresentadas por um porta-voz da OpenAI.
Desafios e Erros na Comunicação
Apesar dos avanços, o estudo evidencia que mesmo ao inserir informações completas, os chatbots ainda enfrentam dificuldades em discernir a urgência de uma condição médica. Danielle Bitterman, pesquisadora no Mass General Brigham, observou que isso acontece porque esses modelos são treinados principalmente em dados de livros didáticos, carecendo da experiência prática que os médicos adquirem ao longo de suas carreiras.
Os pesquisadores também notaram que os chatbots às vezes geravam informações falsas. Um exemplo foi um modelo que orientou um participante a ligar para um número de emergência que não era real. Além disso, o formato das perguntas dos usuários influenciava diretamente as respostas dos bots, resultando em conselhos diferentes para a mesma condição, dependendo de como os sintomas eram descritos.
Esse estudo, portanto, traz à tona questões cruciais sobre a utilização de chatbots na saúde, ressaltando a necessidade de um uso cauteloso e consciente dessa tecnologia. Enquanto o potencial dos chatbots é inegável, é fundamental que tanto os usuários quanto os desenvolvedores busquem aprimorar a precisão e a segurança dessas ferramentas antes que elas se tornem parte integrante do cuidado médico.