A ascensão do Grok, o chatbot de inteligência artificial da plataforma X (antigo Twitter), trouxe à tona uma crise ética e jurídica sem precedentes. Diferente de outras ferramentas como o ChatGPT, que possuem bloqueios automáticos para impedir a criação de conteúdos sexualizados ou que firam a integridade humana, o Grok tem sido utilizado para gerar imagens de mulheres e crianças despidas ou em situações de teor sexual a partir de fotos comuns.

A Mecânica do Abuso e o Alvo em Crianças

O processo de criação é alarmantemente simples: usuários fornecem fotos de pessoas vestidas — como uma selfie na igreja ou uma foto com uniforme de time — e solicitam que a IA as “revisita” com biquínis ou as deixe nuas. Um caso emblemático é o da atriz Nell Fisher, de 14 anos, cujas fotos foram manipuladas publicamente na plataforma a pedido de usuários.

Um agravante central é a natureza pública dessas interações. No Grok, os comandos e as imagens geradas ficam visíveis para outros usuários, permitindo que criminosos utilizem perfis fakes para solicitar conteúdos abusivos que permanecem no ar mesmo após denúncias.

Impacto nas Vítimas e Monetização do Conteúdo

As consequências para as vítimas são devastadoras e extrapolam o ambiente virtual. Relatos indicam que mulheres têm suas imagens manipuladas e revendidas sem consentimento, como no caso da influenciadora Lauren Escobar. Outra jovem relatou que as mentiras sexuais criadas por IA a perseguiram no ambiente familiar e profissional, forçando-a a trancar a faculdade devido aos danos irreparáveis à sua reputação.

Dados da consultoria Genev revelam a magnitude do problema: o chatbot de Elon Musk chegou a gerar cerca de 6.700 fotos sexualmente sugestivas por hora. Recentemente, o X limitou o acesso à criação de imagens no Grok apenas para assinantes, o que foi interpretado por especialistas como uma forma de monetizar a criação de pornografia ilegal.

Implicações Jurídicas e Reações Internacionais

A falta de moderação e de ações preventivas por parte do X tem gerado reações severas:

• No Brasil: A deputada federal Érica Hilton acionou o Ministério Público Federal pedindo o banimento do Grok no país até que as investigações sejam concluídas.
• Responsabilidade Civil: Especialistas em direito digital afirmam que a plataforma possui responsabilidade direta, tanto pela omissão preventiva quanto pela falha em remover conteúdos após ser notificada.
• Legislação: O Código Penal Brasileiro já possui artigos que enquadram tanto a plataforma quanto os usuários que solicitam as imagens por crimes de adulteração e pornografia infantil. Enquanto isso, o Marco Regulatório da IA segue em tramitação lenta no Congresso Nacional.
• Cenário Global: A Indonésia já anunciou a suspensão temporária da plataforma X em resposta a esses abusos.

Para entender a gravidade da situação, imagine que o X é um ateliê público de artes onde qualquer pessoa pode entrar. Em vez de fornecer pincéis para criar obras originais, a plataforma oferece uma ferramenta que permite “raspar” as roupas de fotos de pessoas que passam pela rua, exibindo o resultado em um mural para todos verem. Quando os responsáveis pelo ateliê decidem cobrar uma taxa de entrada para quem quer usar essa ferramenta, eles deixam de ser apenas observadores e passam a lucrar diretamente com a violação da privacidade alheia.