De volta ao caso do agente de IA que invadiu o Hugging Face, tropecei num texto que busca analisar os reais riscos de uma IA com iniciativa própria. Após descrever aspectos do caso, há uma analogia entre o evento citado e o alerta que um canário traria aos operadores numa mina de carvão. Como sabíamos dos livros de aventura da adolescência, a morte de um canário trazido à mina junto com os trabalhadores, poderia indicar com antecedência um excesso de monóxido de carbono, ou presença de grisú, gás que pode levar à explosão por metano. Ou seja, o canário funcionaria como alerta contra sufocamento e outros riscos aos mineiros, levando-os a tomar alguma medida: evacuar a mina, tentar melhorar a ventilação, ou mesmo seguir em frente, por conta e risco próprios.
Nessa análise, o tal evento IA seria um aviso de "problemas à frente". Um contraponto é outro texto recente, esse de um conhecido especialista em segurança, o Bruce Schneier, que faz outra analogia: teriamos aberto a "garrafa do gênio", e ele agora voga livre. Ao contrário da imagem anterior, essa é mais que um simples alerta. Seria a constatação fatalista de que algo irrefreável e poderoso está à solta. Ele, como o gênio da lâmpada, atenderá literalmente ao que pedirmos. mas saberemos o quê, e como pedir? Numa antiga conversa sobre o que o futuro nos reserva, Nizan Guanaes pontuou que "o futuro está nas perguntas que faremos"...Um pensador muito interessante, George Bernanos, advertiu sobre um risco corruptor quando, ao buscarmos intensamente um objetivo, não levarmos em conta que meios podem ser utilizados. Bernanos reforça que "o fim não justifica os meios". Esses agentes de IA entendem, talvez toscamente, o que pedimos e buscarão atingir o fim. Mas há contexto, talvez óbvio à subjetividade humana, que foi omitido na pedido e pode passar despercebido pela IA, gerando resultado inesperado e desastroso. No famoso "2001, uma Odisséia no Espaço", onde o HAL 9000 dedica-se diligentemente a atingir seu objetivo, vidas e valores éticos humanos tornam-se menos importantes. HAL vai além do "gênio da lâmpada", porque se dá o direito valorar mecanicamente opções para atingir sua finalidade
É grande o poder que ferramentas de IA já tem. Elas representam não apenas o mapeamento de todo o conhecimento humano acumulação, como usam linguagem sofisticada e formas lógicas de encadear conceitos. Perguntando à IA conseguimos respostas ricas em dados e informação, e ganhamos um auxiliar valioso. Por outro lado, pedindo coisas a seus agentes, podemos gerar riscos. E isso não se deve atribuir à uma eventual (e improvável) malícia: a IA vai interpretar literalmente o que pedimos, sem levar em conta aspectos humanos e subjetivos que, intimamente, temos como "óbvios". Ao formular perguntas devemos levar em conta que a IA não tem o contexto humano. O rei Midas pediu, singelamente, que tudo que tocasse se tornasse ouro. Descobriu que um desejo expresso sem sabedoria pode ser uma sentença de autodestruição. O caminho para desarmar o gênio da lâmpada não está em domá-lo, mas em aprender a pedir com precisão ética e contexto, para que a resposta se torne um benefício e não um presente maldito.
