Empresas de IA concordam em reprimir geração de imagens de abuso infantil

Empresas de tecnologia como Google, Meta, OpenAI, Microsoft e Amazon concordaram em revisar seus dados de treinamento de IA para material de abuso sexual infantil (CSAM) e removê-los de uso em quaisquer modelos futuros. As informações são do The Verge.

Leia mais:

Twitter falha em impedir publicações de abuso infantil, diz estudo

Como a IA pode atrapalhar investigações de pedofilia e exploração sexual

6 dicas para manter as crianças seguras no mundo online

Como já havíamos noticiado, um relatório anual do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) revelou que os casos de abuso infantil envolvendo IA aumentaram em 2023.

O acordo firmado com as companhias leva a um novo conjunto de princípios que limitam a proliferação de CSAM. A promessa é garantir que os conjuntos de dados de treinamento não contenham CSAM, evitar conjuntos de dados com alto risco de incluir CSAM e remover imagens de CSAM ou links para CSAM das fontes de dados.

As empresas também se comprometem a fazer “testes de resistência” aos modelos de IA para garantir que não geram quaisquer imagens CSAM; e modelos de IA só serão lançados se estes tiverem sido avaliados quanto à segurança infantil. Outros signatários incluem Anthropic, Civitai, Metaphysic, Mistral AI e Stability AI.

Imagem: Yavdat/Shutterstock

Como a IA generativa aumentou a proliferação de abuso infantil online

A IA generativa aumentou preocupações com imagens deepfake, incluindo a proliferação de fotos falsas de CSAM online.

Pesquisadores de Stanford divulgaram um relatório em dezembro que descobriu que um conjunto de dados usado para treinar alguns modelos de IA continha links para imagens CSAM.

Os pesquisadores também descobriram que uma linha de denúncias administrada pelo NCMEC, que já luta para lidar com o volume de conteúdo CSAM relatado, está sendo rapidamente sobrecarregada por imagens CSAM geradas por IA.

A Thorn, uma organização anti abuso infantil sem fins lucrativos, que ajudou a criar os princípios de All Tech Is Human, afirma que a geração de imagens de IA pode impedir os esforços para identificar vítimas, criar mais demanda por CSAM, permitir novas maneiras de vitimizar crianças e ainda facilitar a busca por informações sobre como compartilhar material problemático.

O Google afirma que além de se comprometer com os princípios, também aumentou as bolsas de publicidade para o NCMEC promover suas iniciativas.

A vice-presidente de soluções de confiança e segurança do Google, Susan Jasper, alega que apoiar essas campanhas aumenta a conscientização pública e dá às pessoas ferramentas para identificar e denunciar abusos.

Imagem: New Africa/Shutterstock
Liked Liked