Um novo estudo liderado por investigadores do Mass General Brigham descobriu que o ChatGPT apresentou cerca de 72% de precisão na tomada de decisões clínicas gerais, desde a elaboração de possíveis diagnósticos até a realização de diagnósticos finais e decisões de gestão de cuidados.
O chatbot de inteligência artificial do modelo de linguagem grande
(LLM) teve um desempenho igualmente bom tanto na atenção primária quanto em
ambientes de emergência em todas as especialidades médicas. Os resultados da
equipe de pesquisa são publicados no Journal of Medical Internet Research.
"Nosso artigo avalia de forma abrangente o suporte à decisão
via ChatGPT desde o início do trabalho com um paciente, passando por todo o
cenário de atendimento, desde o diagnóstico diferencial até o diagnóstico e
tratamento", disse o autor correspondente Marc Succi, presidente associado
do líder de inovação e comercialização e inovação estratégica no Mass General
Brigham e diretor executivo da Incubadora MESH.
"Não existem referências reais, mas estimamos que esse
desempenho esteja no nível de alguém que acabou de se formar na faculdade de
medicina, como um residente. Isso nos diz que os LLMs em geral têm o potencial
de ser uma ferramenta para a prática da medicina e apoiar a tomada de decisões
clínicas com precisão impressionante".
As mudanças na tecnologia de inteligência artificial estão
ocorrendo em ritmo acelerado e transformando muitos setores, incluindo os de
saúde. Mas a capacidade dos LLMs para auxiliar em todo o âmbito dos cuidados
clínicos ainda não foi estudada.
Neste estudo abrangente e interespecializado sobre como os LLMs
poderiam ser usados no aconselhamento clínico e na tomada
de decisões, Succi e sua equipe testaram a hipótese de que o ChatGPT seria capaz de trabalhar durante todo um
encontro clínico com um paciente e recomendar uma investigação diagnóstica,
decidir o curso de manejo clínico e, finalmente, fazer o diagnóstico final.
A ferramenta primeiro foi solicitada a apresentar um conjunto de
diagnósticos possíveis, ou diferenciais, com base nas informações iniciais do
paciente, que incluíam idade, sexo, sintomas e se o caso era uma emergência.
O ChatGPT recebeu então informações adicionais e foi solicitado a
tomar decisões gerenciais, bem como fornecer um diagnóstico final – simulando
todo o processo de atendimento a um paciente real.
A equipe comparou a precisão do ChatGPT em diagnóstico
diferencial, testes diagnósticos, diagnóstico final e gerenciamento em um
processo estruturado, atribuindo pontos para respostas corretas e usando
regressões lineares para avaliar a relação entre o desempenho do ChatGPT e as
informações demográficas.
Os pesquisadores descobriram que, no geral, o ChatGPT tinha cerca
de 72% de precisão e era melhor para fazer um diagnóstico final, com 77% de
precisão. Teve o desempenho mais baixo na realização de diagnósticos
diferenciais, em que teve apenas 60% de precisão. Foi apenas 68% preciso nas
decisões de manejo clínico, como descobrir com quais medicamentos tratar o
paciente após chegar ao diagnóstico correto.
Outras conclusões notáveis do estudo incluíram que as respostas do ChatGPT não
mostraram preconceitos de gênero e que o seu desempenho global foi
estável, tanto nos cuidados primários, como nos de emergência.
Os autores observam que antes que ferramentas como o ChatGPT
possam ser consideradas para integração nos cuidados clínicos, são necessárias
mais pesquisas de referência e orientações regulatórias.
O surgimento de ferramentas de inteligência artificial na saúde tem sido inovador e tem o potencial de remodelar positivamente a continuidade dos cuidados. O Mass General Brigham, como um dos principais sistemas de saúde acadêmicos integrados do país e uma das maiores empresas de inovação, está liderando o caminho na condução de investigação rigorosa sobre tecnologias novas e emergentes para informar a incorporação responsável da IA na prestação de cuidados, no apoio à força de trabalho e nos processos administrativos.
Rubens de Fraga Júnior - Professor de Gerontologia da
Faculdade Evangélica Mackenzie do Paraná (FEMPAR) e médico especialista em
Geriatria e Gerontologia pela Sociedade Brasileira de Geriatria e Gerontologia
(SBGG).
Fonte: A Rao et al., Assessing the Utility of ChatGPT Throughout the Entire Clinical Workflow: Development and Usability Study, Journal of Medical Internet Research (2023). DOI: 10.2196/48659
Nenhum comentário:
Postar um comentário