Fique por dentro: Anthropic quer impedir que empresas escondam qual IA estão usando

A Anthropic está desenvolvendo tecnologia que permite verificar se uma resposta foi realmente produzida pelo modelo de inteligência artificial (IA) que uma empresa afirma utilizar. Batizado de FlashProve, o sistema usa criptografia para criar uma espécie de comprovante matemático da identidade do modelo responsável por determinada saída.

A proposta é dar aos usuários uma maneira de confirmar se estão interagindo com a IA anunciada pelo fornecedor, em vez de uma versão diferente ou menos avançada. Segundo a Anthropic, o mecanismo também poderia dificultar tentativas de empresas de substituir secretamente seus modelos por alternativas mais baratas ou apresentar resultados de desempenho que não correspondem à tecnologia utilizada.

O projeto foi apresentado em publicação da companhia nesta terça-feira (3). A empresa também disponibilizou uma especificação técnica e partes do código em formato aberto para que outros pesquisadores possam examinar e aprimorar a iniciativa.

Um dos problemas que o FlashProve pretende enfrentar é a possibilidade de um fornecedor apresentar um modelo aos clientes, mas utilizar outro durante o funcionamento do serviço.

Uma empresa poderia, por exemplo, anunciar o acesso a uma IA avançada e substituí-la por alternativa mais barata para reduzir custos. O mecanismo também poderia dificultar situações em que uma companhia utiliza um modelo diferente daquele que afirma ter empregado para demonstrar determinado desempenho.

A verificação teria aplicações além dos serviços oferecidos diretamente pelas empresas de IA.

Os pesquisadores citam o exemplo de um desenvolvedor que afirma ter utilizado um modelo avançado de cibersegurança para examinar uma biblioteca de software em busca de vulnerabilidades. Outra possibilidade seria uma empresa declarar que seu plano de negócios recebeu aprovação de uma IA apropriada para a tarefa.

Com o FlashProve, seria possível verificar criptograficamente se o modelo anunciado realmente foi utilizado nesses processos.

Apesar da apresentação pública, o FlashProve ainda é um projeto de pesquisa. A Anthropic disponibilizou uma especificação técnica detalhada e código funcional de diferentes componentes sob uma licença de código aberto, permitindo que a comunidade examine e desenvolva o sistema.

A companhia, no entanto, não anunciou planos para implementar a tecnologia em seus próprios serviços ou em outras plataformas de IA.

Os pesquisadores afirmaram que a publicação representa avanço intermediário do trabalho, e não a conclusão de uma agenda de pesquisa. A intenção é permitir que outras equipes analisem a proposta, aproveitem seus componentes e contribuam para aperfeiçoá-la.

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.