A Inteligência Artificial não deve apenas produzir respostas corretas. Precisamos compreender como ela chega às suas conclusões, saber quando confiar nelas e, sobretudo, preservar a capacidade humana de questioná-las.
A rápida disseminação da Inteligência Artificial está deslocando o debate para uma questão mais profunda. Durante algum tempo, grande parte da atenção esteve concentrada no desempenho dos algoritmos: precisão, velocidade, capacidade de previsão e processamento de grandes volumes de dados. Hoje, isso já não é suficiente.
A questão passa a ser:
Como construir sistemas de IA que auxiliem efetivamente o raciocínio e a decisão humana, sem transformar seus usuários em simples executores de recomendações algorítmicas?
Essa discussão estabelece uma importante convergência entre a Inteligência Artificial Explicável — XAI (Explainable Artificial Intelligence), tema que o IVEPESP vem acompanhando, e o conceito de “accountable intelligence”, apresentado pelo Prof. José E. Krieger no artigo Clinical cognition in the age of cardiovascular AI, publicado em julho de 2026 na Frontiers in Cardiovascular Medicine.
1. Da precisão à explicação
A XAI surgiu da necessidade de enfrentar um dos principais problemas dos sistemas contemporâneos de IA: modelos capazes de produzir resultados de elevada qualidade, mas cujo processo de decisão pode ser difícil de compreender.
Em áreas de grande impacto — saúde, educação, finanças, justiça, administração pública ou gestão empresarial — saber que determinado algoritmo apresenta elevada precisão não resolve todo o problema.
Precisamos também perguntar:
Por que a IA chegou a essa conclusão? Quais informações foram determinantes? Qual é o grau de incerteza? Em quais situações o modelo pode falhar? O resultado continua confiável se os dados ou o ambiente mudarem? E quem responde pela decisão tomada com auxílio da IA?
É justamente nesse ponto que a XAI deixa de ser apenas um problema de engenharia de software e passa a integrar uma discussão mais ampla sobre confiança, cognição, responsabilidade e governança.
2. A contribuição de José E. Krieger
No artigo, Krieger propõe uma mudança particularmente relevante: em vez de avaliar a IA cardiovascular somente pela capacidade de previsão, devemos perguntar se ela melhora o pensamento clínico.
A IA é apresentada não como substituta da intuição ou do julgamento do profissional, mas como um instrumento cognitivo, capaz de modificar a maneira como as equipes percebem, priorizam, raciocinam, decidem, comunicam e aprendem.
Essa abordagem utiliza a conhecida distinção entre dois processos cognitivos: o Sistema 1, associado ao reconhecimento rápido e intuitivo de padrões, e o Sistema 2, relacionado ao raciocínio mais lento, deliberado e analítico.
A boa IA deveria fortalecer a interação entre os dois, e não substituir nenhum deles.
Aqui encontramos uma ponte particularmente fértil com a XAI.
3. Explicar não é apenas abrir a “caixa-preta”
Um dos aspectos mais importantes do trabalho de Krieger é mostrar que explicabilidade não pode ser tratada como um elemento decorativo do sistema.
A explicação deve permitir que o usuário calibre sua confiança na IA, reconheça suas limitações, identifique situações em que o modelo está sendo utilizado fora do contexto adequado e transforme o resultado algorítmico em uma ação segura.
Além disso, diferentes usuários necessitam de diferentes tipos de explicação. Um cardiologista, um enfermeiro, um técnico e um paciente não necessariamente precisam receber a mesma informação nem no mesmo grau de complexidade.
Essa constatação amplia significativamente o significado da XAI.
Não basta perguntar:
“O algoritmo é explicável?”
Precisamos acrescentar:
“A explicação apresentada é compreensível, útil e adequada para que aquela pessoa tome uma decisão melhor?”
Portanto, uma boa explicação não é necessariamente a mais detalhada tecnicamente. É aquela que fornece ao usuário correto, no momento correto, as informações necessárias para compreender o resultado, avaliar sua incerteza e decidir se deve aceitá-lo, investigá-lo ou rejeitá-lo.
4. XAI, aprendizado contínuo e concept drift
Há outra conexão relevante com uma linha que o IVEPESP vem acompanhando: a interpretabilidade de modelos submetidos a fluxos contínuos de dados e aprendizado contínuo.
Nesse contexto surge o problema conhecido como concept drift: as relações presentes nos dados podem mudar ao longo do tempo. Consequentemente, um modelo que funcionava adequadamente em determinado momento pode passar a se comportar de maneira diferente.
Isso cria um desafio adicional para a XAI:
não basta explicar uma decisão hoje; precisamos acompanhar se o modelo — e as razões de suas decisões — estão mudando ao longo do tempo.
Essa perspectiva dialoga diretamente com o artigo de Krieger quando ele destaca os riscos de dataset shift e defende monitoramento contínuo, validação local, detecção de mudanças, trilhas de auditoria, regras para retreinamento e até critérios para retirar modelos de operação.
É uma conexão particularmente importante com a pesquisa desenvolvida por Hélio Henrique Villela Dias, no doutorado na UNIFESP, sobre interpretabilidade de modelos para fluxo de dados com aprendizado contínuo.
Nesse caso, a questão deixa de ser apenas:
“Por que o modelo decidiu?”
e passa também a incluir:
“Como e por que suas decisões e explicações estão mudando?”
5. Da explicabilidade à validação na prática
Para transformar esses princípios em pesquisa aplicada, não basta armazenar os dados utilizados pelo algoritmo. É necessário acompanhar toda a cadeia que relaciona dados, previsão, explicação, decisão humana e resultado.
No caso cardiovascular, isso significa integrar dados clínicos e demográficos, ECG, imagens, biomarcadores, sensores e histórico longitudinal, registrando também a versão do modelo, sua previsão, o grau de incerteza e a explicação produzida.
O artigo de Krieger destaca justamente a natureza multimodal e longitudinal das informações envolvidas na decisão cardiovascular.
A estrutura poderia ser representada de forma simples:
Paciente → dados → modelo → previsão → explicação XAI → decisão humana → desfecho
Essa cadeia permite mudar a própria pergunta utilizada para avaliar uma IA.
Em vez de perguntar somente:
“O modelo acertou?”
podemos investigar também:
“Por que chegou àquela conclusão?”
“A explicação ajudou o profissional a decidir?”
“O profissional soube identificar quando deveria discordar da IA?”
“As razões utilizadas pelo modelo permaneceram estáveis ao longo do tempo?”
Essa última questão abre uma possibilidade especialmente interessante para sistemas de aprendizado contínuo.
Além do conhecido concept drift, podemos investigar o que denominaremos aqui explanation drift: mudanças, ao longo do tempo, nos fatores que sustentam as explicações produzidas pelo modelo.
É importante ressaltar que utilizamos aqui explanation drift como uma extensão analítica da discussão, e não como conceito proposto por Krieger no artigo.
Um sistema poderia, por exemplo, manter desempenho aparentemente estável e, ainda assim, passar a fundamentar suas previsões em variáveis diferentes. Monitorar essas mudanças acrescentaria uma dimensão importante à segurança, interpretabilidade e governança dos sistemas de IA.
O objetivo da XAI, portanto, não deveria ser simplesmente aumentar a confiança na máquina, mas promover uma confiança calibrada:
saber quando confiar, quando questionar e quando discordar da IA.
Essa abordagem é coerente com a defesa de Krieger de uma supervisão humana ativa, na qual o profissional deve ser capaz de contrariar o modelo quando as evidências e o contexto clínico assim exigirem.
Forma-se, assim, uma sequência conceitual:
XAI → aprendizado contínuo → concept drift → explanation drift → confiança calibrada → supervisão humana → inteligência responsável.
6. Da XAI à inteligência responsável
É nesse ponto que o conceito de “accountable intelligence” apresentado por Krieger pode representar um passo além da explicabilidade.
Para o autor, uma IA responsável não é simplesmente um algoritmo estatisticamente preciso. O sistema precisa possuir finalidade claramente definida, apresentar resultados interpretáveis no contexto, indicar incertezas e limitações relevantes, permitir intervenção humana, ser validado e calibrado localmente, examinado quanto a desigualdades de desempenho e continuamente monitorado.
Podemos representar essa evolução da seguinte maneira:
IA → XAI → compreensão → confiança calibrada → supervisão humana → decisão → responsabilidade → monitoramento contínuo.
A explicabilidade é, portanto, condição importante, mas não suficiente, para uma IA verdadeiramente responsável.
7. O ser humano precisa continuar capaz de dizer “não” à IA
Talvez uma das mensagens mais importantes do artigo esteja relacionada à supervisão humana.
Krieger observa que funções executivas e metacognitivas são fundamentais para impedir que a IA seja transformada em uma espécie de “oráculo”.
O profissional deve continuar perguntando se os dados são confiáveis, se aquele paciente ou situação pertence ao contexto para o qual o modelo foi desenvolvido, se informações importantes estão ausentes e se a recomendação realmente deve alterar a conduta.
Essa ideia pode ser resumida em um princípio aplicável muito além da medicina:
Supervisão humana não pode significar apenas clicar em “aprovar”. Deve significar conservar conhecimento, autonomia e capacidade crítica suficientes para discordar da IA.
Quanto mais competentes se tornam os sistemas de IA, mais importante pode se tornar essa capacidade humana de supervisão.
8. Da medicina para a educação
Embora o artigo de Krieger trate especificamente da medicina cardiovascular, seu modelo conceitual oferece questões relevantes para a educação.
À medida que professores e estudantes passam a utilizar sistemas de IA, não deveríamos avaliar essas tecnologias apenas perguntando se fornecem respostas corretas ou aumentam a produtividade.
Também deveríamos perguntar:
A IA está ajudando o estudante a raciocinar ou apenas fornecendo a resposta?
Está fortalecendo ou enfraquecendo sua capacidade de resolver problemas?
O professor compreende suficientemente as limitações do sistema para supervisioná-lo?
A explicação oferecida pela IA contribui efetivamente para a aprendizagem?
Como identificar mudanças, vieses e erros ao longo do tempo?
Essa extensão para a educação é uma proposição do IVEPESP inspirada no arcabouço do artigo, e não uma conclusão apresentada por Krieger, cujo texto se concentra na medicina cardiovascular.
Há aqui uma questão particularmente importante para o futuro da educação: se a IA passar a fornecer respostas antes que o estudante desenvolva sua própria capacidade de raciocínio, podemos aumentar a produtividade aparente e, simultaneamente, reduzir a formação das competências cognitivas necessárias para avaliar criticamente essas mesmas respostas.
Portanto, na educação, a XAI também deve contribuir para formar pessoas capazes de compreender, questionar e supervisionar a tecnologia.
9. Uma agenda para universidades e instituições de pesquisa
A convergência entre XAI, cognição humana e accountable intelligence sugere que universidades e instituições de pesquisa precisam avançar simultaneamente em três dimensões.
A primeira é tecnológica: desenvolver modelos mais interpretáveis, robustos e capazes de identificar mudanças nos dados, no comportamento do próprio modelo e nas explicações produzidas.
A segunda é humana: estudar como diferentes tipos de explicação afetam compreensão, confiança, aprendizagem e tomada de decisão.
A terceira é institucional: estabelecer governança, responsabilidades, auditoria, monitoramento e critérios claros para utilização, revisão e eventual retirada dos sistemas de IA.
O próprio artigo propõe uma avaliação que ultrapassa a validade técnica e incorpora diferentes dimensões: validade técnica, clínica, cognitiva, multiprofissional, de fluxo de trabalho e social, de equidade e de ciclo de vida e governança.
Esse quadro sugere uma mudança importante para a pesquisa em Inteligência Artificial.
Não deveríamos avaliar apenas o algoritmo isoladamente, mas todo o sistema formado por:
IA + usuário + explicação + ambiente + decisão + consequência.
10. Conclusão
Estamos passando de uma primeira fase da Inteligência Artificial, na qual a pergunta predominante era:
“A máquina consegue fazer?”
para uma etapa muito mais complexa:
“Como humanos e sistemas de IA podem trabalhar juntos para produzir decisões melhores, compreensíveis, seguras e responsáveis?”
A XAI constitui uma parte fundamental dessa resposta. Mas o artigo de José E. Krieger mostra que é possível avançar: da explicabilidade do algoritmo para a qualidade da cognição humana assistida pela IA e, finalmente, para a inteligência responsável.
A incorporação do aprendizado contínuo amplia ainda mais esse desafio. Não basta saber por que determinado modelo decidiu hoje. Precisamos acompanhar se o modelo muda, se suas explicações mudam e se essas mudanças continuam compatíveis com decisões humanas seguras e responsáveis.
O objetivo não deveria ser construir máquinas às quais possamos simplesmente entregar nossas decisões.
Deveria ser construir sistemas que ampliem nossa capacidade de compreender, questionar, decidir e assumir responsabilidade pelas decisões tomadas.
Essa talvez seja uma das questões centrais para a próxima etapa da Inteligência Artificial — na medicina, na educação, na ciência e na sociedade.
Referência principal
KRIEGER, José E. Clinical cognition in the age of cardiovascular AI. Frontiers in Cardiovascular Medicine, v. 13, 2026. Publicado em 16 de julho de 2026. DOI: 10.3389/fcvm.2026.1872551.
Prof. Dr. Helio Dias
Presidente do IVEPESP
Instituto para a Valorização da Educação e da Pesquisa do Estado de São Paulo
Av. Paulista, nº 1636, Conjunto 4, 15º Pavimento
Cerqueira César – São Paulo/SP
CEP 01310-200
E-mail: [email protected]
Hélio Henrique Villela Dias
Engenheiro de Computação • Cientista de Dados
IVEPESP / Lello Lab / UNIFESP