Jornalismo Independente
Inteligência Artificial | Foto: Reprodução/Pixabay
Dependência de sistemas automatizados levanta questões éticas sobre privacidade, confiabilidade e impacto emocional em uma fase tão delicada do desenvolvimento.
O avanço acelerado da Inteligência Artificial (IA) tem transformado a forma como lidamos com a saúde mental, oferecendo desde chatbots de escuta até plataformas de acompanhamento terapêutico. No entanto, quando se tratam de grupos vulneráveis, como crianças e adolescentes, aumentam-se os riscos aos envolvidos.
A dependência de sistemas automatizados pode comprometer o vínculo humano essencial no processo psicoterapêutico e levantar questões éticas sobre privacidade, confiabilidade e impacto emocional em uma fase tão delicada do desenvolvimento. Recentemente, repercutiu na imprensa internacional o caso em que um casal da norte-americano processou a OpenAI Inc, alegando que o ChatGPT, principal produto da empresa, teria incentivado ativamente seu filho adolescente a cometer suicídio, incluindo orientações detalhadas e validação de pensamentos autodestrutivos.
Leia mais: “Entenda o que é o ‘ECA Digital’, aprovado após denúncia de Felca”
Nesse sentido, a família acusa a empresa de negligência, falha de segurança e homicídio culposo. O caso, que ainda está em andamento diante das autoridades do estado da Califórnia, coloca a Open IA, Inc. sob uma situação delicada, abrindo precedentes quanto à responsabilidade das plataformas. A denúncia, desde já, levanta uma série de questões profundas sobre os riscos da IA e sobre como o
arcabouço legal deve evoluir para assegurar responsabilização adequada das plataformas que operam sistemas altamente influentes e automatizados.
Em 2025, a OMS revelou que mais de 1 bilhão de pessoas vivem com transtornos mentais. Em países de baixa renda, menos de 10% recebem atendimento, contra mais da metade em nações de alta renda. Nesse sentido, cresce o cenário de popularização dos chatbots baseados em IA para acompanhamento psicoterapêutico. Milhões de pessoas compartilham experiências íntimas com sistemas que não oferecem garantias de confidencialidade, supervisão profissional ou diretrizes regulatórias. Essas práticas expõem usuários a riscos que vão desde a violação de dados sensíveis até a dependência emocional de ferramentas não preparadas para lidar com as emoções e o sofrimento humano.
Importante discutir os limites técnicos da IA com ênfase nos Modelos de Linguagem de Larga Escala (LLMs), frequentemente associados à tecnologia de chatbots. Esses modelos operam a partir da reprodução de padrões estatísticos de linguagem, sem qualquer compreensão efetiva sobre os conteúdos relacionados à saúde mental trazidos pelos usuários. Como consequência, geram respostas superficiais, enviesadas e, em muitos casos, inadequadas. Esse caráter preditivo tende a criar uma falsa sensação de empatia e acolhimento, intensificando vulnerabilidades em indivíduos em situação de fragilidade emocional. Outro ponto crítico é a ausência de garantias de proteção de dados pessoais, as interações podem ser armazenadas, processadas e até utilizadas para treinar sistemas, sem o consentimento explícito dos usuários. Isso cria um risco permanente de vazamentos e usos indevidos de informações extremamente sensíveis, incluindo relatos de
traumas, medos e pensamentos suicidas. Além disso, vale destacar a ausência de marcos regulatórios específicos do uso da IA no contexto de saúde mental, tendo em vista que sem uma regulação clara, não há mecanismos de responsabilização por eventuais danos, nem parâmetros mínimos de transparência, segurança e qualidade, expondo usuários a riscos significativos.
A política de saúde mental no Brasil atualmente é constituída por uma rede de cuidados que recebe o nome de Rede de Atenção Psicossocial (RAPS), parte integrante do Sistema Único de Saúde (SUS). A RAPS brasileira é reconhecida internacionalmente por instituições como a OMS como uma referência de reorientação do modelo assistencial em saúde mental e é constituída principalmente por serviços comunitários de saúde mental. No entanto, o processo de regionalização da RAPS, embora avançado, ainda apresenta “vazios assistenciais” e fragilidades, com maior dificuldade de cobertura e acesso em algumas regiões.
Nesse sentido, de acordo com a Médica de Família e Comunidade, Patrícia Ribas, “a fragilidade estrutural do modelo atual, que arca com territórios sem recursos suficientes, dificuldades de acesso e sobrecarga das equipes, pode abrir espaço para soluções tecnológicas de “baixo custo”, como chatbots, que chegam a parecer alternativas rápidas para populações que não encontram outras alternativas disponíveis.”. Nesse ponto, Patrícia destaca que é necessária maior clareza, “os serviços oferecidos à população devem ser fortalecidos, e não substituídos por tecnologias que podem implicar riscos a pessoas vulneráveis”.
Em junho de 2025, o STF declarou parcialmente inconstitucional o art. 19 do Marco Civil da Internet (MCI), que restringia a responsabilidade das plataformas digitais — permitindo responsabilização civil independente de ordem judicial prévia, especialmente após a notificação extrajudicial ou, em casos graves, imediatamente. Para conteúdos conhecidos como manifestamente ilícitos (incluindo incitação ao suicídio), a plataforma pode ser responsabilizada sem ordem judicial, bastando a constatação e omissão em remover. A decisão também impôs deveres de prevenção, exigindo canais de denúncia acessíveis, relatórios de transparência e presença de sede ou representante legal no Brasil.
O caso de homicídio culposo contra a OpenAI evidencia que sistemas de IA não são neutros; podem causar danos reais e fatais. A recente evolução do MCI e a decisão de abrir um escritório no Brasil intensificam os mecanismos de responsabilização. Isso vale tanto para danos emergentes de falhas automáticas — especialmente em situações sensíveis — quanto para reforçar a exigência de que as plataformas cumpram com deveres legais, éticos e regulatórios no país. Se confirmada a responsabilidade, o caso se torna marco global, abrindo caminho para litígios similares no Brasil ou em outros países.
Casos como esse alimentam o debate sobre a necessidade urgente de uma lei específica de inteligência artificial no Brasil (PL 2338/23, ainda em tramitação), integrando exigências técnicas, avaliação de risco, direito dos usuários, limites para respostas automatizadas sensíveis. O novo entendimento do STF sobre o MCI fortalece a responsabilização das plataformas mesmo em ausência de ordem judicial — especialmente em casos graves.
Em última análise, a combinação de jurisprudência, operação local e articulação legislativa pode trazer um novo paradigma: plataformas de IA com presença institucional no Brasil sendo tratadas como agentes sujeitos a deveres de segurança, supervisão e resposta rápida — com potenciais sanções por falhas graves.
________________
* Juliana Roman é mestre em Direito pela Universidade Federal do Rio Grande do Sul (UFRGS), em parceria com o Centro de Estudos Europeus e Alemães (CDEA/DAAD). Especialista em Compliance pela Fundação Getulio Vargas (FGV). Especialista em Direito do Consumidor pela Universidade de Coimbra (FD/UC). Especialista em Direito Digital pela Fundação Escola Superior do Ministério Público (FMP). Graduada em Direito pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS).
