A verdadeira maturidade institucional não está em automatizar tudo o que for possível, mas em compreender o que deve permanecer humano.
A história da humanidade é também a história das ferramentas criadas para ampliar capacidades humanas. Da roda às máquinas industriais, dos computadores aos sistemas de inteligência artificial, cada grande salto tecnológico prometeu reduzir esforço, aumentar produtividade e expandir resultados. A inteligência artificial, porém, representa um salto qualitativo que vai além de tarefas físicas ou mecânicas e avança sobre atividades tradicionalmente associadas ao raciocínio, à linguagem, à análise e à tomada de decisões.
Assim sendo, grande parte do debate contemporâneo concentra-se em descobrir quais tarefas poderão ser automatizadas. Essa discussão é legítima, mas também é insuficiente. A questão mais importante do contexto contemporâneo talvez não seja o que a inteligência artificial pode fazer, mas o que uma sociedade responsável deve se recusar a entregar a ela.
Toda tecnologia carrega uma tentação: transformar possibilidade em inevitabilidade. Se algo pode ser automatizado, presume-se que será automatizado. Mas capacidade técnica não é sinônimo de legitimidade ética, jurídica ou institucional.
Sociedades maduras não se definem apenas pelo que conseguem construir, mas também pelos limites que escolhem respeitar. Assim, a inteligência artificial impõe uma das grandes perguntas do século XXI: quais decisões podem ser auxiliadas por máquinas e quais devem permanecer submetidas ao discernimento humano?
Critérios nebulosos de decisão e falsa neutralidade
A dúvida da pergunta anterior se torna mais crítica quando a automação deixa de atingir processos operacionais e passa a influenciar julgamentos sobre temas mais sensíveis, lembrando que algoritmos já participam da concessão de crédito, da precificação de seguros, da seleção de candidatos e de muitas outras atividades relevantes. Os critérios decisórios podem ser nebulosos para pessoas sem o entendimento técnico que embasa muitas decisões.
Uma análise de crédito pode ser estatisticamente sofisticada e, ainda assim, produzir exclusões injustas. Um sistema de precificação de seguros pode ter vieses. Um sistema de recrutamento pode reproduzir desigualdades históricas. Não se descarta a possibilidade de violações constitucionais e legais. Por esses e outros exemplos, a questão central não é apenas se a inteligência artificial consegue decidir, mas se ela deveria decidir, sob qual supervisão e com qual responsabilidade humana claramente identificada.
Adicionalmente, um dos maiores riscos da inteligência artificial é sua aparência de neutralidade. Decisões produzidas por sistemas matemáticos podem parecer neutras, simplesmente porque não têm rosto, voz ou emoção. Entretanto, algoritmos refletem dados escolhidos por pessoas, critérios definidos por pessoas e incentivos estabelecidos por pessoas. Quando uma sociedade passa a tratar sistemas automatizados como entidades neutras, corre o risco de esconder escolhas humanas atrás de uma aparência tecnológica de imparcialidade.
O alerta humanista de Papa Leão XIV
Ao tratar da inteligência artificial, Papa Leão XIV recentemente colocou a discussão em seu verdadeiro eixo: a dignidade humana. Sua preocupação não é bloquear o desenvolvimento tecnológico, mas impedir que a técnica se converta em critério supremo da vida social.
O alerta papal enfatiza que a tecnologia deve permanecer a serviço da pessoa humana, do bem comum, da verdade, da justiça e da paz. Em outras palavras, o valor da inovação não pode ser medido apenas por eficiência econômica ou capacidade operacional.
Essa reflexão possui enorme relevância para governos, empresas e as demais organizações da economia que se dispuserem a realmente entendê-la. O núcleo do que precisa ser entendido não é o que a máquina pode fazer, mas o que o ser humano não pode deixar de responder, ética, constitucionalmente e legalmente.
O desafio da governança e fronteiras que exigem prudência
Os exemplos abaixo descritos nos parecem ainda mais críticos do que aqueles mencionados acima, quais sejam, concessão de crédito, precificação de seguros e seleção de candidatos. Legisladores, administradores públicos, magistrados e médicos podem utilizar ferramentas de apoio sem abdicar de suas responsabilidades essenciais, todas elas previstas na Constituição Federal e no ordenamento jurídico.
Poucos temas ilustram melhor a necessidade de limites do que os sistemas de armas autônomas. Permitir que máquinas decidam, sem intervenção humana significativa, sobre vida e morte representa uma das questões éticas mais críticas do nosso tempo. O verdadeiro avanço civilizatório, contudo, não está em aperfeiçoar máquinas capazes de matar, mas em construir instituições capazes de eliminar guerras, desarmar conflitos e tornar cada vez menos necessária a própria existência das armas.
No campo da Justiça, sistemas podem auxiliar pesquisas, a organização de informações processuais e de precedentes e a gestão processual, de forma mais ampla. Aliás, a inteligência artificial pode acelerar sobremaneira a tramitação de ações na Justiça. Contudo, a decisão jurisdicional continua exigindo interpretação, ponderação de princípios e responsabilidade pessoal do julgador e este é a figura constitucional que deve julgar.
Na medicina, algoritmos podem identificar padrões invisíveis ao olhar humano e contribuir para diagnósticos mais rápidos. Ainda assim, a relação médico-paciente, a avaliação contextual e a responsabilidade pela indicação terapêutica não podem ser automatizadas sem a requerida supervisão humana. A responsabilidade médica permanece, por sua natureza, indelegável.
Nas organizações, um conselho de administração pode utilizar inteligência artificial para organizar bases de dados, entender contextos complexos, mapear riscos e oportunidades e muito mais, mas jamais deveria transferir a inteligências artificiais decisões estratégicas que impactam significativamente stakeholders como trabalhadores, clientes, investidores e comunidades.
Em todos esses exemplos, não exaustivos, a tecnologia é legítima quando amplia a capacidade humana, quando se torna extensão da inteligência humana. Torna-se perigosa quando substitui o lugar da responsabilidade humana.
A responsabilidade que não pode ser terceirizada
Talvez o maior risco da automação contemporânea não seja apenas tecnológico, mas ético. Quanto mais sistemas assumem funções complexas, maior se torna a tentação de transferir também a responsabilidade pelas consequências.
Surge então uma linguagem aparentemente moderna: "o algoritmo recomendou", "o sistema classificou", "a plataforma decidiu" e "nós não podemos intervir". Entretanto, nenhuma tecnologia elimina a responsabilidade de quem a utiliza. Quanto mais poderosa for a ferramenta, maior deve ser o dever de supervisão, transparência, revisão e prestação de contas.
A boa governança da inteligência artificial não consiste apenas em identificar tudo aquilo que pode ser automatizado. Exige, sobretudo, definir aquilo que não deve ser automatizado. Esta é uma discussão que envolve os Poderes Constituídos pela Constituição Federal, as organizações da economia e a sociedade, de maneira mais ampla.
O futuro não dependerá apenas da inteligência dos sistemas que construiremos, mas da sabedoria dos limites que aceitaremos impor a eles. Resta saber se continuaremos suficientemente humanos para saber quando a máquina deve parar e a consciência humana deve assumir o comando.
Mais do que controlar a eficiência dos sistemas, a governança da inteligência artificial precisará assegurar a sua accountability algorítmica: toda decisão relevante influenciada por máquinas deve permanecer explicável, auditável, revisável e vinculada a uma responsabilidade humana claramente identificável.
A tecnologia pode sugerir, organizar, comparar e acelerar, mas não pode servir de biombo para a omissão moral, jurídica ou institucional de quem decide. O futuro não dependerá apenas da inteligência dos sistemas que construiremos, mas da coragem de afirmar que, nas escolhas verdadeiramente humanas, a máquina pode auxiliar, sem jamais substituir a consciência, a responsabilidade e o dever de responder pelas consequências.
Mônica Mansur Brandão
Sugestão de leitura:
