Criando brechas

O debate sobre o papel e a ação das plataformas como intermediários de nossa ação na rede precisa ser feito, mas talvez valha-se bem de um olhar reflexivo, que pode parecer ultrapassado, mas que recorre a conceitos básicos. Houve (e ainda há!) uma categoria de intermediários que deveria seguir imune e, penso, devia ser estimulada: a dos que se limitam ao clássico papel de apenas carregar a mensagem, ignorando seu conteúdo. Na velha telefonia e no correio em papel é vedado ao portador o conteúdo do que carrega.

Com o poder da tecnológia e com o atrativo valor de dados e meta-dados, essa categoria de intermediários clássicos mirrou. E, estranhamento, ao invés de estimulos, a categoria pode até sofrer reveses a partir de “boas intenções” de governos.

Se em seu início a Internet nunca se preocupou com o monitoramento/captura de mensagens, com o crescimento do número de usuários e sua concentração em plataformas, essa preocupação voltou forte: basta relembrar o caso Snowden e implicações. Assim, uma ferramente antiga algo esquecida reaparece como possível solução para a privacidade de conteúdos: o uso de criptografia forte. Sem dúvida, esse “forte” pode até ser redefinido com tecnologias novas, mas fica claro que o usuário quer se proteger. Mais que isso, aplicativos de mensageria que buscam atrair esses usuários cautelosos, anunciam criptografia forte ponta-a-ponta como proteção, e que nem eles (os aplicativos) podem ter acesso ao conteúdo.

Se do lado brasileiro a LGPD vem como uma forma muito importante de proteger dados, mesmo que o conteúdo em si da comunicação não esteja muito em pauta, à guisa do combate ao crime há governos que passaram leis obrigando os intermediários a criar uma “porta dos fundos” que permita a leitura do que estiver criptografado. Sem entrar no mérito moral da decisão (certamente, a muitos ela parece eticamente descabida), há restrições técnicas bastante claras. Ora, se há um subterfúgio para acessar conteúdo criptografado, seria no mínimo ingênuo achar que essa “porta” não será usada também por outros atores menos nobres…

Nesta semana soube-se de efeito colateral de tais leis: na Inglaterra, onde uma lei que existe desde 2016 obriga um fornecedor de mensageria com criptografia forte a criar uma “porta” de acesso ao governo. Um operador (Apple) que fornece esse tipo de proteção ao usuário decidiu-se por desabilitar criptografia para os usuários ingleses. Afinal seria uma desonestidade anunciar uma criptografia forte, ao mesmo tempo em que se cria uma brecha de acesso. Mesmo que hoje a “porta dos fundos” esteja apenas nas mãos do governo inglês, não demorá muito até ela ser descoberta pelos que vão querer usá-la para o mal. Afinal, se há uma brecha de segurança, alguém a explorará. Com isso o tiro sai pela culatra e parte dos usuários perde a possibilidade de usar criptografia forte, dado que, com a criação obrigatória da brecha, não há como garantir que ela continue “forte”. Como reza o velho adágio, “o caminho do inferno está atapetado de boas intenções”.

===

https://www.schneier.com/blog/archives/2025/02/uk-is-ordering-apple-to-break-its-own-

encryption.html

UK Is Ordering Apple to Break Its Own Encryption 

The Washington Post is reporting[1] that the UK government has served Apple with a "technical capability notice" as defined by the 2016 Investigatory Powers Act, requiring it to break the Advanced Data Protection encryption in iCloud for the benefit of law enforcement. 

This is a big deal, and something we in the security community have worried was coming for a while now. The law, known by critics as the Snoopers' Charter, makes it a criminal offense to reveal that the government has even made such a demand. An Apple spokesman declined to comment. 

Apple can appeal the U.K. capability notice to a secret technical panel, which would consider arguments about the expense of the requirement, and to a judge who would weigh whether the request was in proportion to the government's needs. But the law does not permit Apple to delay complying during an appeal. 

In March, when the company was on notice that such a requirement might be coming, it told Parliament: "There is no reason why the U.K. [government] should have the authority to decide for citizens of the world whether they can avail themselves of the proven security benefits that flow from end-to-end encryption." 

Apple is likely to turn the feature off for UK users rather than break it for everyone worldwide. Of course, UK users will be able to spoof their location. But this might not be enough. According to the law, Apple would not be able to offer the feature to anyone who is in the UK at any point: for example, a visitor from the US. 

And what happens next? Australia has a law enabling it to ask for the same thing. Will it? Will even more countries follow? This is madness. 

https://www.washingtonpost.com/technology/2025/02/07/apple-encryption-backdoor-uk/

===

"The road to hell is paved with good intentions"

https://en.wikipedia.org/wiki/The_road_to_hell_is_paved_with_good_intentions

IA, uma viagem

Na discussão sobre energia e sustentabilidade, é sabido que os centros de processamento de dados são cada vez mais ávidos por energia e IA é um dos vilões. Mesmo esse fato inequívoco tem que ser tomado “com um grão de sal”, para não cairmos na armadilha do “discurso”: alguns valores apregoados equivalem a porções significativas do que uma grande usina hidrelétrica pode gerar. Itaipu, por exemplo, que já foi a maior usina do mundo, gera ao redor de 14 GW e cada um de seus 20 geradores responde por 700 MW, aproximadamente o consumo de uma cidade de 1.5 milhão de habitantes. Quando ouvimos falar de “data centers” com 700MW, o consumo de uma cidade do tamanho de Recife ou Porto Alegre estaria concentrado num único prédio. Bem, numa época de narrativas, IA não poderia ficar imune: se é fato que IA pede quantidades enormes de energia, que a ela seja atribuido o consumo de grandes quantiodades de água, parece suspeito. Sim, a água é o fluido mais usado para remover o calor de dentro dos componentes. Mas essa água, que entra fria e sai quente, continua água! E em qualquer instalação minimamente racional, após resfriada externamente. ela volta ao ciclo. Assim, o alerta sobre o enome consumo de energia, não precisa ser “apimentado” com um mítico “consumo” de água…

Numa outra vertente, há a discussão da substituição completa do humano com processos decisórios tocados pela IA. É um risco latente mas, por enquanto, parece exagerado. A prioridade atual das LLM é gerar respostas que sejam fluentes e verossímeis, mesmo que de exatidão discutível. Isso irá evoluir e há cada vez menos respostas absurdas, mas estamos longe de repassar a decisão à IA. Recentemente destacou-se a capacidade da IA em mimetizar a fala de um indivíduo. Imitar o timbre de alguém facilita armar golpes: se ouvirmos, na inflexão de voz típica de um parente, um pedido de ajuda, podemos estar caindo numa ardilosa arapuca. E aqui é importante sempre voltar às bases: no mundo real busca-se evitar a fraude de identidade fazendo o reconhecimento unívoco do interlocutor, com senhas, dados biométricos etc. Parece prudente que esse tipo de constatação seja viável também com a IA. Em outras palavras, a IA se passar por alguém já parece, em si, um caso de fraude de identidade, como ocorreria no mundo analógico se alguém passasse por outro. Um sistema de IA devesse, por construção, deixar claro em qualquer interação que se trata de um ente virtual. Nos velhos filmes de ficção, a voz dos robôs era distintiva. Talvez seja o caso de, sem mexer em suas capacidades atuais, incluir a necessidade de que a auto-identificação seja obrigatória. Afinal quero saber se quem está me aconselhando ou discutindo é meu conhecido amigo, ou uma IA.

De qualquer forma, a corrida pela tecnologia lembrou-me o poema Ítaca, de K. Kaváfis. O caminho para chegar à IA pode ser longo e aventuroso, como foi a busca de Ítaca. E pode ser que, ao chegarmos, encontremos algo bem diferente e abaixo do que esperávamos. Sigamos otimistas e audaciosos: “Ítaca te deu essa beleza de viagem. Nada mais precisa dar”.

===

Itaca:

===

Sobre IA deixar claro que é "IA":

https://www.schneier.com/blog/archives/2025/02/ais-and-robots-should-sound-robotic.html

We have a simple proposal: all talking AIs and robots should use a ring modulator. In the mid-twentieth century, before it was easy to create actual robotic-sounding speech synthetically, ring modulators were used to make actors’ voices sound robotic. Over the last few decades, we have become accustomed to robotic voices, simply because text-to-speech systems were good enough to produce intelligible speech that was not human-like in its sound. Now we can use that same technology to make robotic speech that is indistinguishable from human sound robotic again.

===

O que o ChatGPT reponde à questão:

"Quando a IA responde erradamente, isso se deve ao fato de que ela dá mais prioridade a gerar uma resposta do que de ela estar factualmente baseada?"

Essa é uma excelente pergunta! Quando uma IA, como eu, responde de forma errada, isso pode ser atribuído a vários fatores, e um deles está sim relacionado à priorização da geração de respostas coerentes e fluidas em relação à verificação factual rigorosa. Vamos detalhar os principais motivos:

🚀 1. Priorização da Coerência sobre a Factualidade
Como funciona: Modelos de IA de linguagem, como o meu, são treinados para predizer a próxima palavra com base em padrões de enormes conjuntos de dados. O objetivo principal é criar respostas que "façam sentido" linguisticamente.
O problema: Isso significa que o modelo pode gerar algo que soa plausível, mas que não é necessariamente verdadeiro. A IA não "sabe" se está certa ou errada da mesma forma que um humano saberia após verificar fatos.

🧠 2. Ausência de "Consciência" ou Entendimento Real
Fato importante: A IA não tem entendimento consciente do que está dizendo. Ela trabalha com estatísticas e probabilidades, não com conhecimento real ou compreensão do mundo.
Consequência: Mesmo respostas complexas podem ser baseadas apenas em correlações linguísticas, sem validação de fatos.

📊 3. Limitações no Acesso a Dados Atualizados
Base de treinamento: O conhecimento da IA é limitado aos dados com os quais foi treinada até uma certa data (no meu caso, até 2024, com atualizações via ferramentas da web).
Impacto: Isso pode causar erros em informações que mudam rapidamente, como eventos atuais, estatísticas recentes ou dados em constante evolução.

🔍 4. Falta de Mecanismos de Verificação Interna
O desafio: Embora existam modelos que tentam incorporar verificação de fatos em tempo real, grande parte das IAs de linguagem não "confere" suas respostas contra uma base de dados enquanto gera o texto.
Exceção: Quando uso ferramentas de busca (como agora), posso consultar fontes externas para melhorar a precisão.

🤖 5. Alucinação de IA (AI Hallucination)
Definição: Esse termo se refere ao fenômeno em que a IA gera informações que não têm base na realidade, mesmo que soem convincentes.
Por que acontece: Isso ocorre porque o modelo está otimizado para completar padrões de linguagem, não para validar fatos.

✅ Como Melhorar a Confiabilidade?
Combinação com fontes externas: O uso de APIs de busca, bases de dados verificadas e integração com sistemas de verificação em tempo real ajudam a reduzir erros.
Feedback humano: O aprendizado supervisionado e o feedback dos usuários ajudam a identificar e corrigir padrões de erros.
Modelos especializados: Para áreas críticas (como medicina ou direito), modelos específicos são treinados com foco em precisão factual.

🗣️ Resumo
Em essência, a IA prioriza gerar respostas coerentes, fluidas e contextualmente adequadas, o que nem sempre garante precisão factual. O erro ocorre mais por limitações do modelo e da arquitetura de aprendizado do que por uma "decisão" consciente de ignorar a verdade.
===

A poesia citada: Ítaca, de Konstantinos Kaváfis:

ÍTACA - (Trad. Ísis Borges da Fonseca)

Quando partires em viagem para Ítaca
faz votos para que seja longo o caminho,
pleno de aventuras, pleno de conhecimentos.
Os Lestrigões e os Ciclopes,
o feroz Poseidon, não os temas,
tais seres em teu caminho jamais encontrarás,
se teu pensamento é elevado, se rara
emoção aflora teu espírito e teu corpo.
Os Lestrigões e os Ciclopes,
o irascível Poseidon, não os encontrarás,
se não os levas em tua alma,
se tua alma não os ergue diante de ti.

Faz votos de que seja longo o caminho.
Que numerosas sejam as manhãs estivais,
nas quais, com que prazer, com que alegria,
entrarás em portos vistos pela primeira vez;
pára em mercados fenícios
e adquire as belas mercadorias,
nácares e corais, âmbares e ébanos
e perfumes voluptuosos de toda espécie,
e a maior quantidade possível de voluptuosos perfumes;
vai a numerosas cidades egípcias,
aprende, aprende sem cessar dos instruídos.

Guarda sempre Ítaca em teu pensamento.
É teu destino aí chegar.
Mas não apresses absolutamente tua viagem.
É melhor que dure muitos anos
e que, já velho, ancores na ilha,
rico com tudo que ganhaste no caminho,
sem esperar que Ítaca te dê riqueza.
Ítaca deu-te a bela viagem.
Sem ela não te porias a caminho.
Nada mais tem a dar-te.

Embora a encontres pobre, Ítaca não te enganou.
Sábio assim como te tornaste, com tanta experiência,
já deves ter compreendido o que significam as Ítacas.

===