Aprendizados...

Sucessor do Bard, o Gemini, da Alphabet, nos deu alguns exemplos patéticos do que um viés mal ajambrado pode produzir em IA. Os que testaram Gemini em sua capacidade de geração de images, depararam-se com “soldados nazistas negros”, casais ingleses medievais retratados como sendo origem oriental ou africana, e com “papisas” que não existiram. É a reafirmação do velho dito: a “emenda pode sair pior que o soneto”. Essa versão “criativa e inclusiva” foi rapidamente tirada do ar, mas isso não impediu a maculação da imagem e, pior, que crescessem as suspeitas de que aquilo que IA “aprende” pode não estar ancorado nos arquivos e documentos que há no mundo real. Para evitar o risco de que dados incompletos ou polarizados pudessem introduzir viéses no aprendizado, o mecanimo incorporau filtros e propensões que geraram os risíveis resultados de falamos.

Se a IA for deixada para se treinar livremente com os dados que encontrar por aí, ela pode cristalizar estereótipos e leituras que não são adequadas ou desejáveis. Isso seria tributável a conjuntos incompletos ou tendenciosos de dados usados na aprendizagem. Por outro lado, uma tentativa de equilibrar esse possível efeito através de um viés explicitamente implantado, pode resultar ainda pior.

Outro ponto interessante a investigar é a comparação entre os sistemas fechados LLM que existem hoje, com versões abertas que permitem a instalação da ferramenta na própria máquina do usuário, ao custo de alguns gigabytes de armazenamento. Convenhamos que é espantoso que se consigam respostas tão amplas e abrangentes com esse pequeno armazenamento local, e o fato de a “história” agora poder ser, de alguma forma, armazenada localmente traz à tona casos como no conto “A memória do mundo”, de Ìtalo Calvino, e suas preocupantes consequências. Nas palavrao de Calvino, ao mesmo tempo em que se coloca “todo o Museu Britânica numa noz”, corre-se a tentação de alterar o conteúdo. Afinal, se o armazenado do mundo não bater mais com a realidade, “muda-se a realidade”...

Em sentido protetivo, diversos órgãos já se movem para criar salvaguardas e limites ao que pode ser feito, e alertar para ações maliciosas que visem a deturpar resultados e comportamento das ferramentas de IA. O NIST norte-americano, órgão que trabalha na produções de padrões técnicos, divulgou um estudo em “IA confiável e responsável” que examina os riscos a que estão submetidos os sistemas de IA, Faz uma classificação dos ataque que esses sistemas podem sofrer em função dos objetivos buscados pelos atacantes. Na mesma direção, o NYT cita texto subscrito por cerca de 100 especialistas em biologia, que avisa de perigos via IA. Riscos que não podem ser negligenciados, e envolvem apoio a criação de armas biológicas, como novos vírus e doenças, e em montagem de ataques maciços. Mesmo assim, segundo os pesquisadores, o valor positivo que IA pode agregar aos desenvolvimento da biologia supera os riscos em que estaríamos incorrendo. Resta-nos seguir o lema da Viagem às Estrelas: ‘ousando ir onde antes ninguém fôra”...

===
https://www.anj.org.br/a-memoria-do-mundo/
(referência ao consto de Italo Calvino, "A memória do mundo)

=

O conto vai deslizando em direção ao abismo, até que o diretor faz uma confissão. Todos o sabem lamentoso viúvo com a perda de Angela, amada esposa. O que poucos sabem é que seu casamento não fora um mar de rosas. Longe disso. Angela, a “esposa ideal”, era uma imagem carinhosamente montada e que ele preservou nos arquivos. A distância entre a Angela-informação e a Angela-real tornou-se tão grande que a única saída para não colocar em risco sua imagem ideal foi assassiná-la. No último parágrafo chega a tremenda conclusão: “se na memória ideal do mundo não há nada a corrigir, o que nos resta é corrigir a realidade, onde ela não concorda com a memória do mundo.”

=
===
https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.pdf
NIST Trustworthy and Responsible AI NIST AI 100-2e2023

https://www.nist.gov/news-events/news/2024/01/nist-identifies-types-cyberattacks-manipulate-behavior-ai-systems
=

The report considers the four major types of attacks: evasion, poisoning, privacy and abuse attacks. It also classifies them according to multiple criteria such as the attacker’s goals and objectives, capabilities, and knowledge.

Evasion attacks, which occur after an AI system is deployed, attempt to alter an input to change how the system responds to it. Examples would include adding markings to stop signs to make an autonomous vehicle misinterpret them as speed limit signs or creating confusing lane markings to make the vehicle veer off the road.

Poisoning attacks occur in the training phase by introducing corrupted data. An example would be slipping numerous instances of inappropriate language into conversation records, so that a chatbot interprets these instances as common enough parlance to use in its own customer interactions.

 
Privacy attacks, which occur during deployment, are attempts to learn sensitive information about the AI or the data it was trained on in order to misuse it. An adversary can ask a chatbot numerous legitimate questions, and then use the answers to reverse engineer the model so as to find its weak spots — or guess at its sources. Adding undesired examples to those online sources could make the AI behave inappropriately, and making the AI unlearn those specific undesired examples after the fact can be difficult.

Abuse attacks involve the insertion of incorrect information into a source, such as a webpage or online document, that an AI then absorbs. Unlike the aforementioned poisoning attacks, abuse attacks attempt to give the AI incorrect pieces of information from a legitimate but compromised source to repurpose the AI system’s intended use.
=
===

https://www.nytimes.com/2024/03/08/technology/biologists-ai-agreement-bioweapons.html?auth=login-google1tap&login=google1tap
=

Dario Amodei, chief executive of the high-profile A.I. start-up Anthropic, told Congress last year that new A.I. technology could soon help unskilled but malevolent people create large-scale biological attacks, such as the release of viruses or toxic substances that cause widespread disease and death.

=