Harari e suas 21 lições para o século 21 – Parte I. 3 – Liberdade

Prosseguindo num novo itinerário de exploração dos Novos Pensadores em 2019 vamos continuar a ler e comentar o último livro de Yuval Harari (2018):

HARARI, Yuval (2018). 21 lessons for the 21st century. New York: Spiegel & Grau, 2018.

Vamos usar a tradução brasileira de Paulo Geiger. 21 lições para o século 21. São Paulo: Companhia das Letras, 2018.

Para baixar o PDF com o texto integral clique aqui: 21-licoes-para-o-seculo-21-Yuval-Noah-Harari

Já foi publicada a Introdução

Também já foi publicada a Parte I. 1. – Desilusão

E ainda a Parte I. 2. – Trabalho

As notas em azul servem apenas como provocações para a conversação.

PARTE I

O desafio tecnológico

O gênero humano está perdendo a fé na narrativa liberal que dominou a política global em décadas recentes, justamente quando a fusão da biotecnologia com a tecnologia da informação nos coloca diante das maiores mudanças com que o gênero humano já se deparou.

[…]

3. Liberdade

Big Data está vigiando você

A narrativa liberal preza a liberdade humana como seu valor número um. Alega que toda autoridade, em última análise, tem origem no livre-arbítrio de indivíduos humanos, conforme expresso em seus sentimentos, desejos e escolhas. Na política, o liberalismo acredita que o eleitor sabe o que é melhor. Por isso apoia eleições democráticas. Na economia, o liberalismo afirma que o cliente sempre tem razão. Por isso aclama os princípios do livre mercado. No aspecto pessoal, o liberalismo incentiva as pessoas a ouvirem a si mesmas, serem verdadeiras consigo mesmas e seguirem seu coração — desde que não infrinjam as liberdades dos outros. Essa liberdade pessoal está consagrada nos direitos humanos.

Harari tem uma apropriação individualista da ideia de liberdade da política liberal (quer dizer, da democracia). Como se viu no capítulo anterior ele demonstra não ter entendido que a liberdade é variável principal do processo de auto-organização. Foca apenas nas decisões dos indivíduos esquecendo que o core do processo democrático é a interação das opiniões.

No discurso político ocidental hoje, o termo “liberal” é às vezes empregado num sentido muito mais estreito e partidário para denotar aqueles que apoiam causas específicas, como o casamento gay, o controle de armas e o aborto. Porém a maioria dos assim chamados conservadores também abraçam a ampla visão de mundo liberal. Especialmente nos Estados Unidos, há ocasiões em que tanto republicanos como democratas fazem uma pausa em suas acaloradas discussões para se lembrarem de que todos eles concordam em coisas fundamentais como eleições livres, um Judiciário independente e direitos humanos.

É vital lembrar que heróis da direita, como Ronald Reagan e Margaret Thatcher, foram grandes paladinos não só de liberdades econômicas como também de liberdades individuais. Numa famosa entrevista de 1987, Thatcher disse: “Não existe essa coisa chamada sociedade. Há [uma] trama viva feita de homens e mulheres… e a qualidade de nossa vida dependerá de quanto cada um de nós está preparado para assumir a responsabilidade por si mesmo” (1).

A interpretação da citação de Thatcher é totalmente equivocada. Dizer que não existe nada como uma ‘sociedade’ é rejeitar a sociedade civil (ou o social) como modo de agenciamento autônomo.  A citação inteira é a seguinte: “I think we’ve been through a period where too many people have been given to understand that if they have a problem, it’s the government’s job to cope with it. ‘I have a problem, I’ll get a grant.’ ‘I’m homeless, the government must house me.’ They’re casting their problem on society. And, you know, there is no such thing as society. There are individual men and women, and there are families. And no government can do anything except through people, and people must look to themselves first. It’s our duty to look after ourselves and then, also to look after our neighbour. People have got the entitlements too much in mind, without the obligations. There’s no such thing as entitlement, unless someone has first met an obligation”. Prime minister Margaret Thatcher, Talking to Women’s: Own Magazine, October 31 1987.

Os herdeiros de Thatcher no Partido Conservador concordam totalmente com o Partido Trabalhista em que a autoridade política vem dos sentimentos, das escolhas e do livre-arbítrio de eleitores individuais. Assim, quando a Inglaterra precisou decidir se saía ou não da União Europeia, o primeiro-ministro David Cameron não pediu à rainha Elizabeth II, nem ao arcebispo de Cantuária, nem aos catedráticos de Oxford e Cambridge que resolvessem a questão. Não perguntou nem mesmo aos membros do Parlamento. Em vez disso, realizou um referendo no qual se perguntou a cada britânico: “O que você sente quanto a isso?”.

Poder-se-ia contestar que a pergunta deveria ser “O que você pensa?” e não “O que você sente?”, mas esse é um erro de percepção comum. Referendos e eleições sempre dizem respeito a sentimentos humanos, não à racionalidade humana. Se a democracia fosse questão de tomadas de decisão racionais, não haveria nenhum motivo para dar a todas as pessoas direitos iguais em seus votos — ou talvez nem sequer o direito de votar. Existe ampla evidência de que algumas pessoas são muito mais informadas e racionais que outras, principalmente quando se trata de questões econômicas e políticas específicas (2). Na esteira da votação do Brexit, o eminente biólogo Richard Dawkins protestou dizendo que nunca se deveria pedir à grande maioria do público britânico — inclusive ele mesmo — que votasse no referendo, porque lhe faltava a formação necessária em economia e ciência política. “É o mesmo que convocar um plebiscito nacional para decidir se a álgebra de Einstein estava correta, ou deixar os passageiros votarem para decidir em que pista o piloto deve pousar” (3).

Novamente Harari confunde tudo. Democracia não é meritocracia. A essência do processo de polinização mútua de opiniões (e não de conhecimentos e técnicas) é a aposta na auto-organização, na formação de uma opinião pública por emergência. Ademais, o autor confunde sentimentos com emoções (embora isso, no contexto do seu escrito, tenha menos importância).

No entanto, para o bem ou para o mal, eleições e referendos não têm a ver com o que pensamos. Têm a ver com o que sentimos. E, quando se trata de sentimentos, Einstein e Dawkins não são melhores que ninguém. A democracia supõe que sentimentos humanos refletem um misterioso e profundo “livre-arbítrio”, que este “livre-arbítrio” é a fonte definitiva da autoridade e que, apesar de algumas pessoas serem mais inteligentes do que outras, todos os humanos são igualmente livres. Assim como Einstein e Dawkins, uma trabalhadora doméstica sem instrução também tem livre-arbítrio, e por isso no dia de eleições seus sentimentos — representados por seu voto — contam tanto quanto os de qualquer outra pessoa.

Os sentimentos orientam não apenas os eleitores mas também os líderes. No referendo do Brexit, em 2016, a campanha a favor da saída da Grã-Bretanha da União Europeia — apelidada Leave — foi liderada por Boris Johnson e Michael Gove. Após a renúncia de David Cameron, Gove inicialmente apoiou Johnson como candidato a primeiro-ministro, mas no último minuto Gove declarou que Johnson não estava preparado para a posição e anunciou a própria intenção de se candidatar ao cargo. Essa ação de Gove, que destruiu as probabilidades de Johnson, foi descrita como um assassinato político maquiavélico (4). Mas Gove defendeu sua conduta apelando para os sentimentos: “Em cada passo de minha vida política eu me fazia a mesma pergunta: ‘Qual é a coisa certa a fazer? O que lhe diz seu coração?’” (5). Foi por isso, segundo Gove, que ele batalhou tão duramente a favor do Brexit, e foi por isso que foi compelido a apunhalar pelas costas seu então aliado Boris Johnson, e oferecer-se para o cargo — porque seu coração lhe dissera que o fizesse.

Essa lealdade ao próprio coração pode acabar sendo o calcanhar de aquiles da democracia liberal. Pois se alguém (seja em Pequim ou em San Francisco) adquirir capacidade tecnológica para hackear e manipular o coração humano, a política democrática vai se tornar um espetáculo de fantoches emocional.

Duvidoso. Mas é uma hipótese para considerar. Entretanto, a democracia liberal (ou seja, a democracia propriamente dita) não tem a ver com nenhuma “lealdade ao próprio coração”. A democracia não quer saber se você é fiel ou infiel aos seus sentimentos e emoções. O que ela leva em conta é o resultado do processo de interação das opiniões.

ESCUTE O ALGORITMO

A crença liberal nos sentimentos e nas escolhas livres dos indivíduos não é natural, nem muito antiga. Durante milhares de anos as pessoas acreditaram que a autoridade provinha de leis divinas e não do coração humano, e que devíamos, portanto, santificar a palavra de Deus e não a liberdade humana. Foi só nos séculos mais recentes que a fonte da autoridade passou das entidades celestiais para humanos de carne e osso.

Em breve a autoridade pode mudar novamente — dos humanos para os algoritmos. Assim como a autoridade divina foi legitimada por mitologias religiosas, e a autoridade humana foi justificada pela narrativa liberal, a futura revolução tecnológica poderia estabelecer a autoridade dos algoritmos de Big Data, ao mesmo tempo que solapa a simples ideia da liberdade individual.

Não foi a “narrativa liberal” que justificou a autoridade humana e sim a experiência democrática. Cruz credo!

Como mencionamos no capítulo anterior, ideias científicas sobre o funcionamento de nosso corpo e cérebro sugerem que nossos sentimentos não são uma qualidade espiritual exclusivamente humana, e não refletem nenhum tipo de “livre-arbítrio”. Na verdade, sentimentos são mecanismos bioquímicos que todos os mamíferos e todas as aves usam para calcular probabilidades de sobrevivência e reprodução. Sentimentos não se baseiam em intuição, inspiração ou liberdade — baseiam-se em cálculos.

Não procede. Existe um emocionar tipicamente humano. Se não existisse, não haveria ser humano propriamente dito, que não deve ser confundido com exemplares da espécie biológica Homo Sapiens. Excesso de Dawkins e deficit de Maturana.

Quando um macaco, um camundongo ou um humano veem uma cobra, o medo surge porque milhões de neurônios no cérebro calculam rapidamente os dados relevantes e concluem que a probabilidade de morrer é alta. Sentimentos de atração sexual surgem quando outros algoritmos bioquímicos calculam que um indivíduo próximo oferece alta probabilidade de acasalamento bem-sucedido, ligação social ou algum outro objetivo almejado. Sentimentos morais como indignação, culpa ou perdão derivam de mecanismos neurais que evoluíram para permitir cooperação grupal. Todos esses algoritmos bioquímicos foram aprimorados durante milhões de anos de evolução. Se os sentimentos de algum antigo ancestral cometeram um erro, os genes que configuram esses sentimentos não foram passados à geração seguinte. Assim, sentimentos não são o contrário de racionalidade — eles incorporam uma racionalidade evolutiva.

Ah! Bom. Falta agora derivar a empatia humana de algoritmos bioquímicos, sem levar em conta fatores culturais (sociais ou antissociais).

Normalmente não nos damos conta de que os sentimentos são na verdade cálculos, porque o intenso processo de cálculo ocorre abaixo do nível da consciência. Não sentimos os milhões de neurônios no cérebro computando probabilidades de sobrevivência e reprodução, e assim acreditamos, erroneamente, que nosso medo de cobras, nossa escolha de parceiros ou parceiras sexuais ou nossas opiniões sobre a União Europeia são o resultado de algum misterioso “livre-arbítrio”.

Há novamente aqui um salto triplo carpado epistemológico (ou hermenêutico). Medo de cobras e escolha de parceiros sexuais não têm o mesmo status de opiniões, muito menos de opiniões complexas como a posição em relação ao Brexit.

No entanto, embora o liberalismo esteja errado ao julgar que nossos sentimentos refletem o livre-arbítrio, até hoje confiar nos sentimentos faz sentido, na prática. Pois embora não houvesse nada mágico ou livre no que concerne a nossos sentimentos, eles eram o melhor método em todo o universo para decidir o que estudar, com quem casar e em que partido votar. E nenhum sistema externo pode compreender meus sentimentos melhor do que eu. Mesmo se a Inquisição espanhola ou a KGB me espionassem todo dia a toda hora, elas não teriam o conhecimento biológico e a capacidade computacional necessários para hackear os processos bioquímicos que formam meus desejos e minhas escolhas. Era razoável alegar, na prática, que disponho de livre-arbítrio, porque minha vontade foi formada principalmente pela interação entre forças interiores, que ninguém no exterior seria capaz de ver. Eu poderia desfrutar da ilusão de que controlo minha arena interior secreta, enquanto quem está de fora nunca seria capaz de compreender o que de fato está acontecendo dentro de mim e como tomo decisões.

Se não há nada livre no que concerne aos nossos sentimentos (e, por extensão, emoções e ações – por que não opiniões?), então como pode haver liberdade? Essa crença harariana desconstitui o fundamento da democracia como brecha cultural aberta na cultura patriarcal. Se tudo é determinado biologicamente, genética ou epigeneticamente, não há lugar para a liberdade e não há distinção possível entre o humano (quer dizer, o social) e os seres vivos em geral.

Da mesma forma, o liberalismo estava certo ao aconselhar às pessoas que seguissem o coração e não os ditames de algum sacerdote ou militante partidário. No entanto, em breve algoritmos de computador poderão nos aconselhar melhor do que sentimentos humanos. Enquanto a Inquisição espanhola e a KGB dão lugar ao Google e à Baidu, o “livre-arbítrio” provavelmente será desmascarado como um mito, e o liberalismo pode perder suas vantagens práticas.

Pois estamos agora na confluência de duas imensas revoluções. Por um lado, biólogos estão decifrando os mistérios do corpo humano, particularmente do cérebro e dos sentimentos. Ao mesmo tempo cientistas da computação estão nos dando um poder de processamento de dados sem precedente. Quando a revolução na biotecnologia se fundir com a revolução na tecnologia da informação, ela produzirá algoritmos de Big Data capazes de monitorar e compreender meus sentimentos muito melhor do que eu, e então a autoridade provavelmente passará dos humanos para os computadores. Minha ilusão de livre-arbítrio provavelmente vai se desintegrar à medida que eu me deparar, diariamente, com instituições, corporações e agências do governo que compreendem e manipulam o que era, até então, meu inacessível reino interior.

Isso já está acontecendo no campo da medicina. As decisões médicas mais importantes de nossa vida se baseiam não na sensação de estarmos doentes ou saudáveis, nem mesmo nos prognósticos informados de nosso médico — mas nos cálculos de computadores que entendem de nosso corpo muito melhor do que nós. Dentro de poucas décadas, os algoritmos de Big Data, alimentados por um fluxo constante de dados biométricos, poderão monitorar nossa saúde 24 horas por dia, sete dias por semana. Serão capazes de detectar, logo em seu início, a gripe, o câncer ou o mal de Alzheimer, muito antes de sentirmos que há algo errado conosco. Poderão então recomendar tratamentos adequados, dietas e regimes diários, sob medida para nossa compleição física, nosso DNA e nossa personalidade, que são únicos.

As pessoas usufruirão dos melhores serviços de saúde da história, mas justamente por isso estarão doentes o tempo todo. Existe sempre algo errado em algum lugar do corpo. No passado, você se sentia perfeitamente saudável enquanto não sentia dor ou apresentava uma deficiência aparente, como, por exemplo, mancar. Porém em 2050, graças a sensores biométricos e algoritmos de Big Data, as doenças poderão ser diagnosticadas e tratadas muito antes de causarem dor ou debilidade. Como resultado, você vai se ver sempre sofrendo de algum “mal de saúde” e seguindo a recomendação deste ou daquele algoritmo. Se recusar, talvez seu seguro-saúde seja cancelado, ou seu chefe o demita — por que deveriam pagar o preço por sua teimosia?

Uma coisa é continuar fumando apesar das estatísticas que ligam o fumo ao câncer de pulmão. Outra é continuar fumando apesar da advertência concreta de um sensor biométrico que acabou de detectar dezessete células cancerosas na parte superior de seu pulmão esquerdo. E, se você quiser desafiar o sensor, o que vai fazer quando o sensor repassar a advertência a sua companhia de seguros, seu gerente e sua mãe?

Quem terá tempo e energia para lidar com essas doenças? Provavelmente, poderemos ensinar nosso algoritmo de saúde a lidar com a maior parte desses problemas como achar melhor. No máximo, ele vai enviar aos nossos smartphones atualizações periódicas, informando-nos que “dezessete células cancerosas foram detectadas e destruídas”. Os hipocondríacos obedientemente leriam essas atualizações, mas a maioria de nós vai ignorá-las assim como ignoramos as mensagens chatas do antivírus em nossos computadores.

O DRAMA DA TOMADA DE DECISÃO

O que já está começando a acontecer na medicina provavelmente ocorrerá em outros campos. A invenção decisiva é a do sensor biométrico, que as pessoas podem usar nos seus corpos ou dentro deles, e que converte processos biológicos em informação eletrônica que computadores podem armazenar e analisar. Se tiverem dados biométricos e capacidade computacional suficientes, sistemas de processamento de dados externos poderão intervir em todos os seus desejos, todas as suas decisões e opiniões. Poderão saber exatamente quem é você.

A maioria das pessoas não se conhece muito bem. Quando eu tinha 21 anos, finalmente constatei que era gay, após viver vários anos em negação. É difícil dizer que é um caso excepcional. Muitos homens gays passam toda a adolescência inseguros quanto à sua sexualidade. Agora imagine como será essa situação em 2050, quando um algoritmo for capaz de dizer a todo adolescente exatamente onde ele está no espectro gay/hétero (e até mesmo quão maleável é essa posição). Talvez o algoritmo lhe mostre fotos ou vídeos de homens e mulheres atraentes, rastreie o movimento de seus olhos, sua pressão sanguínea e a atividade de seu cérebro, e em cinco minutos mostre um número na escala Kinsey (6). Isso poderia ter me livrado de anos de frustração. Pode ser que, pessoalmente, você não queira fazer esse teste; mas talvez um belo dia, com um grupo de amigos numa festa de aniversário tediosa, alguém sugira que todos se revezem nesse sensacional algoritmo novo (com todo mundo em volta acompanhando e comentando os resultados). Você simplesmente iria embora?

Mesmo se você for, e continuar a se esconder de si mesmo e de seus colegas de turma, não conseguirá se esconder da Amazon, do Alibaba e da polícia secreta. Quando estiver navegando na internet, assistindo a vídeos no YouTube ou lendo mensagens nas suas redes sociais, os algoritmos vão discretamente monitorá-lo, analisá-lo e dizer à Coca-Cola que, se ela quiser lhe vender alguma bebida, melhor seria usar o anúncio com o sujeito sem camisa, e não o da garota sem camisa. Você nem vai saber. Mas eles saberão, e essa informação valerá bilhões.

De novo, talvez tudo isso se faça abertamente, e as pessoas compartilharão com prazer suas informações para poder contar com as melhores recomendações, e para poder fazer o algoritmo tomar decisões por elas. Começa com coisas simples, como decidir a que filme assistir. Quando você se senta com um grupo de amigos para passar uma noite diante da televisão, primeiro tem de escolher ao que vai assistir. Cinquenta anos atrás você não teria escolha, mas hoje — com o surgimento dos serviços sob demanda — há milhares de títulos disponíveis. Talvez seja bem difícil chegar a um consenso, porque enquanto você prefere filmes de ficção científica, Jack prefere comédias românticas e Jill vota por filmes de arte franceses. Talvez acabem tendo de concordar com um meio-termo, um filme B medíocre que vai desapontar a todos.

Um algoritmo poderia ajudar. Pode-se informá-lo de quais filmes vistos anteriormente cada um de vocês gostou, e com base nessa imensa base de dados estatísticos o algoritmo pode encontrar o filme perfeito para o grupo. Infelizmente, um algoritmo tão objetivo é bastante sujeito a erro, principalmente porque a informação dada voluntariamente é um parâmetro pouco confiável das verdadeiras preferências das pessoas. Quando ouvimos muitas pessoas dizendo que um filme é uma obra-prima, tendemos a concordar, mesmo que tenhamos dormido no meio (7).

No entanto, esses problemas podem ser resolvidos se deixarmos que o algoritmo recolha de nós dados em tempo real, enquanto estamos efetivamente assistindo aos filmes, em vez de se basear em nossos próprios e duvidosos relatos pessoais. Para os iniciantes, o algoritmo pode monitorar quais filmes vimos até o fim, e quais deixamos de assistir no meio. Mesmo se dissermos ao mundo inteiro que… E o vento levou é o melhor filme já produzido, o algoritmo saberá que nunca fomos além da primeira meia hora, e que na verdade nunca vimos Atlanta em chamas.

Porém o algoritmo pode ir muito mais fundo que isso. Engenheiros estão desenvolvendo um software que detecta emoções humanas com base nos movimentos dos olhos e dos músculos faciais (8). Acrescente uma boa câmera ao aparelho de televisão, e esse software saberá quais cenas nos fizeram rir, quais cenas nos deixaram tristes e quais cenas nos entediaram. Em seguida, conecte o algoritmo a sensores biométricos, e ele saberá como cada fotograma influenciou nosso ritmo cardíaco, nossa pressão sanguínea e nossa atividade cerebral. Enquanto assistimos a, digamos, Pulp Fiction, de Tarantino, o algoritmo pode registrar que a cena do estupro nos causou um quase imperceptível matiz de excitação sexual, que quando Vincent acidentalmente dá um tiro no rosto de Marvin isso nos fez rir cheios de culpa, e que não achamos graça no Big Kahuna Burger — mas rimos assim mesmo, para não parecermos idiotas. Quando você ri um riso forçado, está usando circuitos cerebrais e músculos diferentes dos que usa quando ri de verdade. Normalmente humanos não são capazes de detectar a diferença. Mas um sensor biométrico seria (9).

A palavra “televisão” vem do grego tele, que significa “longe” e do latim visio, “visão”. A televisão foi concebida originalmente como um dispositivo que nos permite ver de longe. Mas logo nos permitirá sermos vistos de longe. Como previu George Orwell em 1984, a televisão nos verá enquanto a estamos vendo. Depois de assistir a toda a filmografia de Tarantino talvez tenhamos esquecido a maior parte. Mas Netflix, ou Amazon, ou quem quer que possua o algoritmo de televisão, conhecerá nosso tipo de personalidade e como manipular nossas emoções. Esses dados poderiam permitir à Netflix e à Amazon escolher filmes para nós com misteriosa precisão, mas também lhes possibilitariam tomar por nós as decisões mais importantes na vida — como o que estudar, onde trabalhar ou com quem casar.

É claro que a Amazon não vai acertar sempre. Isso é impossível. Algoritmos vão cometer erros repetidamente por falta de dados, falhas no programa, confusão nas definições de objetivos e devido à própria natureza caótica da vida (10). Mas a Amazon não precisará ser perfeita. Precisará apenas ser, em média, melhor que nós humanos. E isso não é difícil, porque a maioria das pessoas não conhece a si mesma muito bem, e porque a maioria das pessoas frequentemente comete erros terríveis nas decisões mais importantes da vida. Até mais que os algoritmos, humanos padecem de falta de dados, de programas falhos (genéticos e culturais), de definições confusas e do caos da vida.

É possível listar muitos problemas que acometem os algoritmos e concluir que as pessoas nunca confiarão neles. Mas isso é como catalogar todos os inconvenientes da democracia e concluir que uma pessoa sã jamais optaria por apoiar esse sistema. Segundo a famosa frase de Winston Churchill, a democracia é o pior sistema político do mundo, com exceção de todos os outros. As pessoas talvez cheguem à mesma conclusão no que concerne aos algoritmos de Big Data: eles têm muitos problemas, mas não temos alternativa melhor.

A frase surrada de Churchill sobre a democracia – “Democracy is the worst form of government, except for all those other forms that have been tried from time to time” – revela apenas que ele não tomava a democracia como um valor universal.

À medida que cientistas chegam a uma compreensão mais profunda de como humanos tomam decisões, a tentação de se basear em algoritmos provavelmente vai aumentar. Hackear a tomada de decisão por humanos não só fará os algoritmos de Big Data serem mais confiáveis; ao mesmo tempo, fará com que os sentimentos humanos sejam menos confiáveis. À medida que governos e corporações obtêm sucesso ao hackear o sistema operacional humano, ficaremos expostos a uma enxurrada de manipulações guiadas com precisão. Pode ficar tão fácil manipular nossas opiniões e emoções que seremos obrigados a nos basear em algoritmos do mesmo modo que um piloto, ao sofrer um ataque de tontura, tem de ignorar o que seus sentidos estão lhe dizendo e depositar toda a sua confiança nos aparelhos.

Em alguns países e em algumas situações, as pessoas podem ficar sem escolha, e serão obrigadas a obedecer às decisões dos algoritmos de Big Data. Porém, mesmo em sociedades supostamente livres, algoritmos podem ganhar autoridade, porque aprenderemos, por experiência, a confiar a eles cada vez mais tarefas, e aos poucos perdermos nossa aptidão para tomar decisões por nós mesmos. Pense em como, no decorrer de apenas duas décadas, bilhões de pessoas passaram a confiar no algoritmo de busca do Google em uma das tarefas mais importantes: buscar informação relevante e confiável. Já não buscamos mais informação. Em vez disso, nós googlamos. E, quanto mais confiamos no Google para obter respostas, tanto mais diminui nossa aptidão para buscar informação por nós mesmos. Já hoje em dia, a “verdade” é definida pelos resultados principais da busca do Google (11).

Isso tem acontecido também com habilidades físicas, como a de se orientar no tráfego. As pessoas pedem ao Google que as guie em seus deslocamentos. Quando chegam num cruzamento, seu instinto pode lhes dizer “vire à esquerda”, mas o Google Maps diz “vire à direita”. Primeiro elas ouvem a intuição, viram à esquerda, ficam encalhadas num engarrafamento e perdem uma reunião importante. Na próxima vez ouvem o Google, dobram à direita e chegam a tempo. Aprendem, por experiência, a confiar no Google. Em um ano ou dois se baseiam cegamente no que o Google Maps lhes diz, e se o smartphone falhar ficam completamente sem pistas. Em março de 2012 três turistas japoneses na Austrália decidiram viajar para uma pequena ilha ao largo da costa e caíram com o carro direto no oceano Pacífico. O motorista, Yuzu Noda, de 21 anos, disse depois que só tinha seguido as instruções do GPS, e que “ele me disse que podíamos ir naquela direção. Continuou dizendo que nos levaria para uma estrada. Ficamos encalhados” (12). Em diversos incidentes semelhantes pessoas foram parar num lago ou caíram de uma ponte demolida, aparentemente por terem seguido instruções de GPS (13). A aptidão para navegar é como um músculo — use-o ou perca-o (14). Isso também vale para a habilidade para escolher esposas ou profissões.

A última frase é uma derivação indevida das anteriores.

Todo ano, milhões de jovens precisam decidir o que estudar na universidade. Essa é uma decisão muito importante e muito difícil. Você está sob a pressão de seus pais, de seus amigos e de seus professores, que têm diferentes interesses e opiniões. Você também tem de lidar com seus próprios temores e fantasias. Seu julgamento está obnubilado e manipulado por sucessos de Hollywood, romances baratos e sofisticadas campanhas de publicidade. Tomar uma decisão sensata é particularmente difícil porque na verdade você não sabe o que é preciso para ter sucesso em diferentes profissões, e não tem consciência de suas próprias forças e fraquezas. O que é preciso para ter sucesso como advogado? Como é que me saio quando estou sob pressão? Sou bom em trabalhar em equipe?

Harari desconhece totalmente os fenômenos de rede. Não desconfia que as decisões que tomamos não dependem – nem apenas, nem principalmente – dos nossos algoritmos bioquímicos e sim da rede de pessoas na qual estamos emaranhados e somos como somos. Recomendar-se-ia aqui a leitura de uma obra de divulgação (já que seus conhecimentos matemáticos talvez sejam parcos para ler papers científicos sobre o tema): Connected de Nicholas Christakis e James Fowler (Little, Brown and Company: 2009).

Um estudante talvez comece a estudar direito porque tem uma imagem imprecisa de suas habilidades, e uma visão ainda mais distorcida do que é realmente ser advogado (não se fazem discursos dramáticos nem se grita “Protesto, meritíssimo!” todo dia). Enquanto isso, uma amiga decide realizar um sonho de infância e estudar balé profissional, mesmo não tendo nem a disciplina nem a estrutura óssea necessárias. Anos mais tarde, ambos se arrependem profundamente de suas escolhas. No futuro poderíamos confiar no Google para que tome essas decisões por nós. O Google poderia me dizer que eu desperdiçaria meu tempo na faculdade de direito ou na escola de balé — mas que eu daria um excelente (e muito feliz) psicólogo ou encanador (15).

Uma vez que a IA toma decisões melhor do que nós sobre carreiras e até mesmo relacionamentos, nosso conceito de humanidade e de vida terá de mudar. Humanos costumam pensar sobre a vida como um drama de tomadas de decisão. A democracia liberal e o capitalismo de livre mercado veem o indivíduo como um agente autônomo que está constantemente fazendo escolhas no que tange ao mundo. Obras de arte — sejam peças de Shakespeare, romances de Jane Austen ou comédias bregas de Hollywood — quase sempre giram em torno de uma situação na qual o herói tem de tomar uma decisão crucial. Ser ou não ser? Ouvir o que minha mulher está dizendo e matar o rei Duncan ou ouvir minha consciência e poupá-lo? Casar com Mr. Collins ou Mr. Darcy? As teologias cristã e muçulmana também se concentram no drama da tomada de decisões, alegando que a salvação ou a danação eterna dependem de se fazer ou não a escolha certa.

O que acontecerá com essa visão de vida, se cada vez mais nos baseamos na IA para tomar decisões por nós? Atualmente confiamos na Netflix para escolher filmes, e no Google Maps para decidir se viramos à direita ou à esquerda. Mas, uma vez que comecemos a contar com a IA para decidir o que estudar, onde trabalhar e com quem casar, a vida humana deixará de ser um drama de tomada de decisão. Eleições democráticas e livres mercados não farão muito sentido. Assim como a maior parte das religiões e obras de arte. Imagine Anna Kariênina pegando seu smartphone e perguntando ao algoritmo do Facebook se deveria continuar casada com Kariênin ou fugir com o galante conde Vrónski. Ou imagine sua peça favorita de Shakespeare com todas as decisões cruciais sendo tomadas pelo algoritmo do Google. Hamlet e Macbeth terão vidas muito mais confortáveis, mas que tipo de vida será exatamente? Temos modelos que sirvam para dar sentido a essa vida?

Eleições podem vir a não fazer muito sentido, de fato, mas não pela razão apresentada. Formas mais interativas de democracia terão outros procedimentos para verificar a vontade política coletiva. Isso não significa que a democracia não fará mais sentido.

Quando a autoridade passa de humanos para algoritmos, não podemos mais ver o mundo como o campo de ação de indivíduos autônomos esforçando-se por fazer as escolhas certas. Em vez disso, vamos perceber o universo inteiro como um fluxo de dados, considerar organismos pouco mais que algoritmos bioquímicos e acreditar que a vocação cósmica da humanidade é criar um sistema universal de processamento de dados — e depois fundir-se a ele. Já estamos nos tornando, hoje em dia, minúsculos chips dentro de um gigantesco sistema de processamento de dados que ninguém compreende a fundo. Todo dia eu absorvo incontáveis bits de dados através de e-mails, tuítes e artigos. Na verdade, não sei onde me encaixo nesse grande esquema de coisas, e como meus bits de dados se conectam com os bits produzidos por bilhões de outros humanos e computadores. Não tenho tempo para descobrir, porque eu também estou ocupado, respondendo a e-mails.

O CARRO FILOSÓFICO

Pode-se dizer que algoritmos jamais poderão tomar decisões importantes por nós, porque decisões importantes normalmente envolvem uma dimensão ética, e algoritmos não entendem de ética. No entanto, não há razão para supor que os algoritmos não serão capazes de superar o ser humano médio mesmo na ética. Já hoje em dia, à medida que dispositivos como smartphones e veículos autônomos tomam decisões que costumavam ser monopólio humano, eles começam a se deparar com o mesmo tipo de problemas éticos que têm perturbado os humanos por milênios.

Por exemplo, suponha que dois garotos correndo atrás de uma bola vejam-se bem em frente a um carro autodirigido. Com base em seus cálculos instantâneos, o algoritmo que dirige o carro conclui que a única maneira de evitar atingir os dois garotos é desviar para a pista oposta, e arriscar colidir com um caminhão que vem em sentido contrário. O algoritmo calcula que num caso assim há 70% de probabilidades de que o dono do carro — que dorme no banco traseiro — morra. O que o algoritmo deveria fazer? (16)

Filósofos têm debatido o “dilema do bonde” por milênios (é chamado “dilema do bonde” porque os exemplos didáticos dos debates filosóficos modernos fazem referência a um bonde desgovernado, e não a carros autodirigidos) (17). Até agora esses debates, lamentavelmente, têm tido pouco impacto no comportamento efetivo, porque em tempos de crise os humanos, com demasiada frequência, esquecem suas opiniões filosóficas e seguem suas emoções e seus instintos.

Um dos experimentos mais sórdidos da história das ciências sociais foi realizado em dezembro de 1970 com um grupo de estudantes do Seminário Teológico de Princeton aspirantes a ministros da Igreja presbiteriana. Pedia-se a cada estudante que corresse para uma sala de aula distante para falar sobre a parábola do Bom Samaritano, que conta como um judeu que viajava de Jerusalém para Jericó foi roubado e espancado por criminosos, que o deixaram para morrer, à beira da estrada. Passado algum tempo um sacerdote e um levita passaram por lá, mas ignoraram o homem. Em contraste, um samaritano — membro de uma seita muito desprezada pelos judeus — parou quando viu a vítima, cuidou dela, e salvou sua vida. A moral da parábola é que o mérito pessoal deveria ser julgado pelo comportamento, e não por afiliação religiosa e opiniões filosóficas.

Os jovens seminaristas, entusiasmados, corriam para a sala de aula pensando em como melhor explicar a moral da parábola do bom samaritano. Mas os responsáveis pelo experimento haviam posto em seu caminho uma pessoa maltrapilha, meio caída e encostada numa porta com a cabeça baixa e os olhos fechados. Quando cada seminarista, sem suspeitar de nada, passava apressado por ela, a “vítima” tossia e gemia lamentosamente. A maioria dos seminaristas nem sequer parou para perguntar o que havia de errado com o homem, muito menos para oferecer ajuda. O estresse emocional causado pela necessidade de se apressar para a sala de aula tinha triunfado sobre a obrigação moral de ajudar estranhos em apuros (18).

As emoções humanas triunfam sobre teorias filosóficas em inúmeras outras situações. Isso torna a história ética e filosófica do mundo uma narrativa deprimente de ideais maravilhosos e comportamentos menos que ideais. Quantos cristãos oferecem a outra face, quantos budistas superam obsessões egoístas, e quantos judeus realmente amam seu próximo como a si mesmos? É a maneira como a seleção natural moldou o Homo sapiens. Como todos os mamíferos, o Homo sapiens usa emoções para tomar rapidamente decisões de vida ou morte. Herdamos nossa raiva, nosso medo e nossa paixão de milhões de ancestrais, que passaram pelos mais rigorosos testes de qualidade da seleção natural.

É imprudente comparar emoções com teorias filosóficas. Estão em planos distintos, operam de modo distinto e têm papeis distintos. A emoção como disposição para a ação – e não como conselheiro de qual decisão tomar – não será substituída, nem por crenças ou convicções filosóficas, nem por algoritmos de IA.

Infelizmente, o que era bom para a sobrevivência e a reprodução na savana africana 1 milhão de anos atrás não será necessariamente um comportamento responsável nas rodovias do século XXI. Motoristas humanos distraídos, nervosos e ansiosos matam mais de 1 milhão de pessoas em acidentes de trânsito todo ano. Podemos enviar todos os nossos filósofos, profetas e sacerdotes para pregar ética para esses motoristas — na estrada, emoções de mamíferos e instintos da savana ainda prevalecem. Consequentemente, seminaristas apressados vão ignorar pessoas em apuros, e motoristas em crise vão atropelar os infelizes pedestres.

A disjunção entre o seminário e a rua é um dos maiores problemas práticos da ética. Immanuel Kant, John Stuart Mill e John Rawls podem passar dias discutindo problemas teóricos de ética numa acolhedora sala da universidade — mas seriam suas conclusões efetivamente implementadas por motoristas estressados em meio a uma emergência? Talvez Michael Schumacher — o campeão da Fórmula 1 aclamado como melhor piloto da história — tivesse a capacidade de pensar sobre filosofia enquanto dirigia; mas a maioria de nós não é Schumacher.

Os algoritmos de computação, no entanto, não foram moldados pela seleção natural, e não têm emoções nem instintos viscerais. Daí que em momentos de crise eles poderiam seguir diretrizes éticas muito melhor que os humanos — contanto que encontremos uma maneira de codificar a ética em números e estatísticas precisos. Se ensinarmos Kant, Mill e Rawls a escrever um programa, eles poderão programar cuidadosamente um carro autodirigido em seus acolhedores laboratórios, e ter a certeza de que o carro seguirá seus comandos na rua. Com efeito, todo carro será dirigido por Michael Schumacher e Immanuel Kant combinados numa só pessoa.

Assim, se você programar um carro autodirigido para que pare e ajude estranhos em apuros, ele fará isso aconteça o que acontecer (a menos, é claro, que você insira uma cláusula de exceção para determinados cenários). Da mesma forma, se seu carro autodirigido estiver programado para desviar para a pista oposta a fim de salvar os dois garotos que estão em seu caminho, pode apostar sua vida que é exatamente isso que ele fará. O que significa que, ao projetar seus carros autodirigidos, a Toyota ou a Tesla vão transformar um problema teórico de filosofia da ética num problema prático de engenharia.

Com certeza, os algoritmos filosóficos nunca serão perfeitos. Erros ainda vão acontecer, resultando em ferimentos, mortes e processos judiciais extremamente complicados. (Pela primeira vez na história, você poderá processar um filósofo pelos infelizes resultados de suas teorias, porque pela primeira vez na história você poderá provar que há uma ligação causal direta entre ideias filosóficas e eventos da vida real.) Contudo, para poder assumir o papel de motoristas humanos, os algoritmos terão de ser perfeitos. Terão de ser melhores que os humanos. Considerando que motoristas humanos matam mais de 1 milhão de pessoas todo ano, não será tão difícil assim. Tudo isso dito e feito, você ia preferir que o carro atrás do seu estivesse sendo dirigido por um adolescente bêbado ou pela equipe Schumacher-Kant? (19)

Se os algoritmos forem perfeitos não serão melhores que os humanos. O humano não é superado pela perfeição. A imperfeição faz parte do humano. A IA evita o erro e, com isso, o modo tipicamente humano de aprender, que é errando. Harari desconhece o papel do comportamento aleatório (e, com isso, o que chamamos de inteligência coletiva).

A mesma lógica vale não só para a direção de automóveis, mas para muitas outras situações. Veja, por exemplo, o caso de candidatos a emprego. No século XXI, a decisão de contratar alguém para um emprego será cada vez mais tomada por algoritmos. Não podemos confiar na máquina para estabelecer os padrões éticos relevantes — os humanos sempre terão de fazer isso. Mas, uma vez que decidamos por um padrão ético no mercado de trabalho — por exemplo, que é errado discriminar mulheres, ou pessoas negras —, poderemos confiar em máquinas para implementar e manter esse padrão melhor que os humanos (20).

Um gerente humano pode saber e concordar que é antiético discriminar pessoas negras e mulheres, mas, quando uma mulher negra se candidata a um emprego, o gerente subconscientemente a discrimina e decide não contratá-la. Se permitirmos que um computador avalie os pedidos de emprego, e programarmos o computador para ignorar completamente raça e gênero, podemos ter certeza de que o computador vai ignorar esses fatores, porque computadores não têm subconsciência. Claro, não será fácil escrever o programa de avaliação de pedidos de emprego, sempre haverá o perigo de que engenheiros, de algum modo, incluam seus próprios vieses subconscientes no software (21). Mas, uma vez descobertos esses erros, provavelmente será muito mais fácil corrigir o software do que livrar humanos de seus vieses racistas ou misóginos.

Vieses racistas e misóginos não são erros. São acertos de uma programação cultural preconceituosa e intolerante.

Vimos que o surgimento da inteligência artificial pode expulsar muitos humanos do mercado de trabalho — inclusive motoristas e guardas de trânsito (quando humanos arruaceiros forem substituídos por algoritmos, guardas de trânsito serão supérfluos). No entanto, poderá haver algumas novas aberturas para os filósofos, haverá subitamente grande demanda por suas qualificações — até agora destituídas de quase todo valor de mercado. Assim, se você quer estudar algo que lhe assegure um bom emprego no futuro, talvez a filosofia não seja uma aposta tão ruim.

É claro que filósofos raramente concordam em qual é a linha correta de ação. Poucos “dilemas do bonde” têm sido resolvidos de modo a satisfazer todos os filósofos, e pensadores consequencialistas como John Stuart Mill (que julga a ação pelas suas consequências) têm opiniões bem diferentes das dos deontologistas como Immanuel Kant (que julga as ações segundo regras absolutas). Será que a Tesla tem de tomar posição quanto a questões tão complicadas para fabricar carros?

Bem, talvez a Tesla deixe isso a cargo do mercado. A montadora vai fabricar dois modelos de carro autodirigido: o Tesla Altruísta e o Tesla Egoísta. Numa emergência, o Altruísta sacrifica seu dono pelo bem maior, enquanto o Egoísta faz tudo o que pode para salvar seu dono, mesmo que isso signifique matar os dois garotos. Os clientes poderão então comprar o carro que melhor se encaixe em sua visão filosófica. Se mais pessoas comprarem o Tesla Egoísta a culpa não será da Tesla. Afinal, o cliente sempre tem razão.

Isso não é uma brincadeira. Num estudo pioneiro, em 2015, apresentou-se a pessoas um cenário hipotético de um carro autodirigido na iminência de atropelar vários pedestres. A maioria disse que nesse caso o carro deveria salvar os pedestres mesmo que custasse a vida de seu proprietário. Quando lhes perguntaram se eles comprariam um carro programado para sacrificar seu proprietário pelo bem maior, a maioria respondeu que não. Para eles mesmos, iam preferir o Tesla Egoísta (22).

Imagine a situação: você comprou um carro novo, mas antes de começar a usá-lo tem de abrir o menu de configurações e escolher cada uma das diversas opções. Em caso de acidente, quer que o carro sacrifique sua vida — ou que mate a família no outro veículo? Essa é uma escolha que você quer mesmo fazer? Pense nas discussões que vai ter com seu marido sobre qual opção escolher.

Assim, talvez o Estado devesse intervir para regular o mercado, e instituir um código ético a ser obedecido por todos os carros autodirigidos? Sem dúvida alguns legisladores ficarão emocionados com a oportunidade de finalmente fazer leis que serão sempre seguidas à risca. Outros talvez fiquem alarmados com essa responsabilidade sem precedentes e totalitária. Afinal, no decorrer da história as limitações da aplicação da lei proporcionaram um controle bem-vindo dos vieses, erros e excessos dos legisladores. Foi uma grande sorte o fato de as leis contra o homossexualismo e a blasfêmia só terem sido parcialmente aplicadas. Será que queremos mesmo um sistema no qual as decisões de políticos se tornem tão inexoráveis quanto a gravidade?

Pois é…

DITADURAS DIGITAIS

As pessoas temem a IA porque não confiam na obediência da IA. Já assistimos a muitos filmes de ficção científica sobre robôs que se rebelam contra seus senhores humanos e correm desenfreados pelas ruas trucidando todo mundo. Mas o problema real com robôs é exatamente o oposto. Devemos ter medo deles porque sempre obedecerão a seus senhores e nunca se rebelarão.

Não há nada de errado com a obediência cega, é claro, enquanto os robôs servirem a senhores benignos. Mesmo numa guerra, a dependência de robôs matadores poderia garantir que, pela primeira vez na história, as regras da guerra seriam realmente obedecidas no campo de batalha. Soldados humanos são às vezes levados por suas emoções a assassinar, saquear e estuprar, violando as leis da guerra. Normalmente associamos emoções a compaixão, amor e empatia, mas em tempos de guerra as emoções que assumem o controle são muito frequentemente o medo, o ódio e a crueldade. Como robôs não têm emoções, poder-se-ia confiar que eles sempre seguiriam rigorosamente o código militar, e nunca seriam levados por temores e ódios pessoais (23).

Mas o problema da guerra não é este. A guerra é um modo de regulação de conflitos maligno do ponto de vista da democracia, mesmo que obedeça a um rígido código de conduta.

Em 16 de março de 1968, uma companhia de soldados americanos ficou ensandecida na aldeia vietnamita de My Lai e massacrou cerca de quatrocentos civis. Esse crime de guerra resultou da iniciativa local de homens que tinham estado envolvidos numa guerrilha na selva durante vários meses. Não tinha nenhum objetivo estratégico, e transgredia tanto o código de conduta quanto a política militar dos Estados Unidos. Foi por culpa das emoções humanas (24). Se os Estados Unidos tivessem colocado robôs assassinos no Vietnã, o massacre de My Lai jamais teria ocorrido.

Entretanto, antes de sairmos correndo para desenvolver e pôr em ação robôs assassinos, precisamos lembrar que robôs sempre refletem e ampliam as qualidades de sua programação. Se o programa é contido e benigno — os robôs provavelmente representarão uma imensa melhora em relação ao soldado humano médio. Mas se o programa for implacável e cruel — os resultados serão catastróficos. O verdadeiro problema com robôs não está em sua inteligência artificial, mas na estupidez e crueldade naturais de seus senhores humanos.

Em julho de 1995, tropas sérvias da Bósnia massacraram mais de 8 mil muçulmanos bósnios no entorno da cidade de Srebrenica. Diferentemente do massacre aleatório de My Lai, a matança em Srebrenica foi uma ação prolongada e bem organizada que refletiu a política sérvia que visava a uma Bósnia “etnicamente purificada” de muçulmanos (25). Se os sérvios da Bósnia tivessem robôs assassinos em 1995, isso provavelmente teria feito a atrocidade ser pior, e não melhor. Nenhum robô hesitaria um só momento no cumprimento de quaisquer ordens que recebesse, e não teria poupado a vida de uma única criança muçulmana por sentimentos de compaixão, repulsa ou mera letargia.

Um ditador cruel armado com robôs assassinos não precisaria ter medo de que seus soldados se voltassem contra ele, não importa quão perversas e loucas fossem suas ordens. Um exército de robôs provavelmente teria sufocado a Revolução Francesa em seu berço em 1789, e se em 2011 Hosni Mubarak dispusesse de um contingente de robôs assassinos ele poderia lançá-los sobre a população sem medo de deserções. Da mesma forma, um governo imperialista que contasse com um exército de robôs poderia travar guerras impopulares sem nenhuma preocupação de que seus robôs perdessem a motivação, ou que suas famílias protestassem. Se os Estados Unidos tivessem robôs assassinos na Guerra do Vietnã, o massacre de My Lai poderia ter sido evitado, mas a guerra em si mesma poderia ter se arrastado por muitos anos, porque o governo americano teria menos preocupações com soldados desmoralizados, com protestos em massa contra a guerra, ou com um movimento de “robôs veteranos contra a guerra” (alguns cidadãos americanos ainda poderiam se opor à guerra, mas sem o medo de serem eles mesmos convocados, sem a memória de terem pessoalmente cometido atrocidades, ou da perda dolorosa de um parente querido, os manifestantes provavelmente seriam menos numerosos e menos envolvidos) (26).

Problemas como esses são muito menos relevantes no que concerne a veículos autônomos civis porque nenhum fabricante de automóveis vai programar maliciosamente seus carros para matar pessoas. Sistemas de armas autônomos, no entanto, são uma catástrofe iminente, porque a maioria dos governos são eticamente corruptos, se não explicitamente malignos.

O perigo não se restringe a máquinas de matar. Sistemas de vigilância podem ser igualmente arriscados. Nas mãos de um governo benigno, algoritmos poderosos de vigilância podem ser a melhor coisa que já aconteceu ao gênero humano. Mas os mesmos algoritmos de Big Data podem também dar poder a um futuro Grande Irmão, e podemos acabar em um regime de vigilância orwelliano, no qual todo mundo é monitorado o tempo todo (27).

O resultado pode ser algo que nem mesmo Orwell foi capaz de imaginar: um regime de vigilância total que não apenas acompanha nossas atividades e pronunciamentos externos como é capaz até mesmo de penetrar nossa pele e observar nossas experiências interiores. Considere por exemplo o que o regime de Kim, na Coreia do Norte, poderia fazer com a nova tecnologia. No futuro, poder-se-ia requerer de cada cidadão norte-coreano que usasse um bracelete biométrico que monitora tudo o que se faz ou se diz – assim como a pressão sanguínea e a atividade cerebral. Usando nossa crescente compreensão do cérebro humano, e os imensos poderes do aprendizado de máquina, o regime norte-coreano poderia desenvolver a capacidade de, pela primeira vez na história, avaliar o que todo e cada cidadão está pensando em todo e cada momento. Se você olhar para um retrato de Kim Jong-un e os sensores biométricos detectarem sinais indicadores de raiva (elevação da pressão sanguínea, aumento de atividade na amígdala cerebral) —, amanhã de manhã você estará no gulag.

Com certeza, devido a seu isolamento, o regime norte-coreano poderá ter dificuldade para desenvolver sozinho a tecnologia necessária. No entanto, a tecnologia poderia ser introduzida pioneiramente em nações de tecnologia mais avançada e copiada ou comprada pelos norte-coreanos e outras ditaduras retrógradas. A China e a Rússia estão constantemente aperfeiçoando suas ferramentas de vigilância, assim como vários países democráticos, desde os Estados Unidos até Israel, onde vivo. Apelidada de “nação das empresas start-up”, Israel tem um setor de alta tecnologia extremamente vigoroso, e uma indústria de segurança cibernética de ponta.

Ao mesmo tempo também está encerrado num conflito mortal com os palestinos, e pelo menos alguns de seus líderes, generais e cidadãos gostariam muito de criar um regime de vigilância total na Cisjordânia assim que dispuserem da tecnologia necessária.

Hoje, quando palestinos fazem uma ligação telefônica, postam alguma coisa no Facebook ou viajam de uma cidade para outra, é possível que estejam sendo monitorados por microfones, câmeras, drones ou softwares espiões israelenses. Os dados reunidos são depois analisados com a ajuda de algoritmos de Big Data. Isso ajuda as forças de segurança de Israel a identificar e neutralizar ameaças potenciais sem o uso de tropas no local. Os palestinos podem administrar algumas cidades e aldeias na Cisjordânia, mas os israelenses controlam o céu, as ondas de rádio e o ciberespaço. Por isso é surpreendentemente pequeno o número de soldados israelenses que controlam cerca de 2,5 milhões de palestinos na Cisjordânia (28).

Num incidente tragicômico em outubro de 2017, um trabalhador palestino postou em sua conta privada no Facebook uma foto sua no trabalho, ao lado de uma escavadeira. Junto à imagem ele escreveu “Bom dia!”. Um algoritmo automático cometeu um pequeno erro ao transliterar as letras árabes. Em vez de “Ysabechhum!” (“bom dia”), o algoritmo identificou as letras como escrevendo “Ydbachhum” (“mate-os”). Suspeitando que o homem pudesse ser um terrorista que tencionava usar uma escavadeira para atropelar pessoas, as forças de segurança de Israel rapidamente o prenderam. Foi libertado depois que constataram que o algoritmo havia cometido um erro. Mas assim mesmo o post ofensivo no Facebook foi retirado. Cuidado nunca é demais (29). O que os palestinos estão experimentando hoje na Cisjordânia pode ser uma previsão inicial do que bilhões experimentarão em todo o planeta no futuro.

No final do século XX as democracias no geral superaram as ditaduras porque são melhores no processamento de dados. A democracia difunde o poder para processar informação e as decisões são tomadas por muitas pessoas e instituições, enquanto a ditadura concentra informação e poder num só lugar. Dada a tecnologia do século XX, seria ineficiente concentrar informação e poder demais num só lugar. Ninguém tinha capacidade para processar toda a informação com rapidez suficiente para tomar decisões corretas. Essa é em parte a razão de a União Soviética ter tomado decisões muito piores que as dos Estados Unidos, e de a economia soviética ter ficado bem atrás da economia americana.

Uma visão informacionista e não interativista da “superioridade” da democracia. Lamentável.

Entretanto, em breve a IA poderá fazer o pêndulo oscilar para a direção oposta. A IA possibilita o processamento de enormes quantidades de informação centralizada. Na verdade, a IA pode fazer com que sistemas centralizados sejam muito mais eficientes do que sistemas difusos, porque o aprendizado de máquina funciona melhor quanto mais informação for capaz de analisar. Se você concentrar toda a informação relativa a 1 bilhão de pessoas numa única base de dados, desconsiderando qualquer preocupação com privacidade, será capaz de instruir muito mais algoritmos do que se respeitasse a privacidade individual e tivesse em sua base de dados apenas informações parciais sobre 1 milhão de pessoas. Por exemplo, se um governo autoritário ordenar a todos os seus cidadãos que tenham seu DNA escaneado e que compartilhem todos os seus dados médicos com alguma autoridade central, ele terá uma enorme vantagem em pesquisa genética e médica em relação a sociedades nas quais os dados médicos são estritamente privados. A principal desvantagem dos regimes autoritários do século XX — a tentativa de concentrar toda a informação num só lugar — pode se tornar a vantagem decisiva no século XXI.

Sim, essa previsão deve ser considerada.

Quando os algoritmos passarem a nos conhecer tão bem, governos autoritários poderiam obter o controle absoluto de seus cidadãos, ainda mais do que na Alemanha nazista, e a resistência a esses regimes poderá ser totalmente impossível. Não só o regime saberá o que você sente — ele poderia fazer você sentir o que ele quiser. O ditador poderia não ser capaz de prover o cidadão de serviços de saúde ou igualdade, mas seria capaz de fazer com que ele o amasse e odiasse seus adversários. A democracia em seu formato atual não será capaz de sobreviver à fusão da biotecnologia com a tecnologia da informação. Ou a democracia se reinventa com sucesso numa forma radicalmente nova, ou os humanos acabarão vivendo em “ditaduras digitais”.

Idem.

Não será um retorno à época de Hitler e Stálin. As ditaduras digitais serão tão diferentes da Alemanha nazista quanto a Alemanha nazista foi diferente do Antigo Regime na França. Luís XIV era um autocrata centralizador, mas não tinha tecnologia para construir um Estado totalitário moderno. Não teve oposição a seu governo, mas na ausência de rádios, telefones e trens, tinha pouco controle sobre a vida cotidiana de camponeses em aldeias remotas da Bretanha, ou mesmo de citadinos no coração de Paris. Tampouco tinha vontade ou capacidade de estabelecer um partido popular, um movimento de jovens em todo o país, ou um sistema nacional de educação (30). Foram as novas tecnologias do século XX que deram a Hitler tanto a motivação quanto o poder de fazer coisas desse tipo. Não podemos prever quais serão as motivações e poderes das ditaduras digitais em 2084, mas é muito pouco provável que só copiem Hitler e Stálin. Os que se dispuserem a lutar novamente as mesmas batalhas da década de 1930 poderão ser surpreendidos, indefesos, por um ataque provindo de uma direção totalmente diferente.

Mesmo que a democracia consiga se adaptar e sobreviver, as pessoas podem tornar-se as vítimas de novos tipos de opressão e discriminação. Já hoje em dia, cada vez mais bancos, corporações e instituições estão usando algoritmos para analisar dados e tomar decisões a nosso respeito. Quando você pede um empréstimo a seu banco, é provável que seu pedido seja processado por um algoritmo e não por um humano. O algoritmo analisa grande quantidade de dados sobre você e estatísticas sobre milhões de outras pessoas, e decide se você é confiável o bastante para receber um empréstimo. Frequentemente, o algoritmo faz o trabalho melhor do que faria um gerente. Mas o problema é que se o algoritmo discriminar injustamente certas pessoas, será difícil saber. Se o banco se recusar a lhe dar um empréstimo e você perguntar por quê, o banco responderá: “O algoritmo disse que não”. Você pergunta: “Por que o algoritmo disse não? O que há de errado comigo?”, e o banco responde: “Não sabemos. Nenhum humano entende esse algoritmo, porque é baseado num aprendizado de máquina avançado. Mas confiamos em nosso algoritmo, por isso não lhe daremos um empréstimo” (31).

Quando se discriminam grupos inteiros, como mulheres ou negros, esses grupos podem se organizar e protestar contra a discriminação coletiva. Mas agora um algoritmo seria capaz de discriminar você individualmente, sem que você saiba por quê. Talvez o algoritmo tenha encontrado alguma coisa da qual não gostou em seu DNA, em sua história pessoal ou em sua conta no Facebook. O algoritmo teria discriminado você não porque é mulher ou negro – mas porque você é você. Há algo específico em você de que o algoritmo não gosta. Você não sabe o que é, e mesmo se soubesse não poderia organizar um protesto com outras pessoas, porque não há outras pessoas que sejam alvo do mesmo preconceito. É só você. Em vez de só discriminação coletiva, no século XXI talvez deparemos com um crescente problema de discriminação individual (32).

Nos níveis mais altos da autoridade provavelmente ainda teremos figurantes humanos, que nos darão a ilusão de que os algoritmos são apenas conselheiros, e que a autoridade final ainda está em mãos humanas. Não vamos nomear uma IA chanceler da Alemanha ou CEO do Google. No entanto, as decisões tomadas pelo chanceler da Alemanha ou pelo CEO do Google serão formuladas pela IA. O chanceler ainda poderia escolher entre várias opções diferentes, mas todas seriam resultado da análise feita por Big Data, e refletirão mais como a IA vê o mundo do que como os humanos o veem.

Para citar um exemplo análogo, hoje políticos de todo o mundo podem escolher entre várias políticas econômicas diferentes, mas em quase todos os casos as várias políticas em oferta refletem uma perspectiva capitalista da economia. Os políticos têm uma ilusão de escolha, mas as decisões realmente importantes já terão sido tomadas antes pelos economistas, banqueiros e homens de negócio, que formataram as diferentes opções no menu. Dentro de algumas décadas, os políticos estarão escolhendo opções de um menu escrito pela IA.

INTELIGÊNCIA ARTIFICIAL E ESTUPIDEZ NATURAL

Uma boa notícia é que pelo menos nas próximas poucas décadas não teremos de lidar com esse absoluto pesadelo de ficção científica em que a IA adquire consciência e decide escravizar ou aniquilar a humanidade. Cada vez mais vamos confiar nos algoritmos para que tomem decisões por nós, mas não é provável que os algoritmos comecem conscientemente a nos manipular. Eles não terão consciência.

A ficção científica tende a confundir inteligência com consciência, e supõe que para se equipar ou suplantar a inteligência humana os computadores terão de desenvolver consciência. O enredo básico de quase todos os filmes e livros sobre IA gira em torno do momento mágico no qual um computador ou robô ganha consciência. Tendo acontecido isso, ou o herói humano se apaixona pelo robô, ou o robô tenta matar todos os humanos, ou ambas as coisas acontecem simultaneamente.

Porém na realidade não há motivo para supor que a inteligência artificial vá desenvolver consciência, porque inteligência e consciência são coisas muito diferentes. Inteligência é a aptidão para resolver problemas. Consciência é a aptidão para sentir coisas como dor, alegria, amor e raiva. Tendemos a confundir os dois porque nos humanos e nos outros mamíferos a inteligência anda de mãos dadas com a consciência. Mamíferos resolvem a maioria dos problemas sentindo coisas. Computadores, no entanto, resolvem problemas de maneira muito diversa.

A inteligência (tipicamente) humana não é “a aptidão para resolver problemas”. Esta é a inteligência de máquina.

Há vários caminhos diferentes que levam a uma grande inteligência, e apenas alguns desses caminhos envolvem a tomada de consciência. Assim como os aviões voam mais rápido que aves sem jamais desenvolver penas, também os computadores podem resolver problemas muito melhor do que mamíferos sem jamais desenvolver sentimentos. É verdade que a IA terá de analisar sentimentos humanos com muita precisão para ser capaz de tratar doenças humanas, identificar terroristas humanos, recomendar parceiros humanos e percorrer uma rua cheia de pedestres humanos. Mas poderia fazer isso sem ter sentimentos próprios. Um algoritmo não precisa sentir alegria, raiva ou medo para reconhecer os diferentes padrões bioquímicos de macacos alegres, irados ou assustados.

Claro, não é de todo impossível que a IA desenvolva seus próprios sentimentos. Ainda não sabemos o bastante sobre a consciência para ter certeza. Em geral, há três possibilidades que precisamos levar em consideração:

1. A consciência está, de alguma forma, ligada à bioquímica orgânica de tal modo que nunca será possível criar consciência em sistemas não orgânicos.

2. A consciência não está ligada à bioquímica orgânica, mas está ligada à inteligência de tal modo que os computadores poderiam desenvolver consciência, e computadores terão de desenvolver consciência se ultrapassarem um certo limiar da inteligência.

3. Não há ligações essenciais entre consciência e bioquímica orgânica nem entre consciência e alta inteligência. Daí que os computadores poderiam desenvolver consciência — mas não necessariamente. Poderiam tornar-se superinteligentes mesmo tendo consciência zero.

No estágio atual de conhecimento, não podemos descartar nenhuma dessas opções. Mas, precisamente porque sabemos tão pouco sobre a consciência, parece improvável que possamos programar computadores conscientes em algum momento próximo. Por isso, apesar do imenso poder da inteligência artificial, num futuro previsível seu uso continuará a depender em alguma medida da consciência humana.

O perigo é que se investirmos demais no desenvolvimento da IA e de menos no desenvolvimento da consciência humana, a simples inteligência artificial sofisticada dos computadores poderia servir apenas para dar poder à estupidez natural dos humanos. É improvável que enfrentemos uma rebelião de robôs nas próximas décadas, mas poderíamos ter de lidar com hordas de bots que sabem, melhor do que nossas mães, como manipular nossas emoções e usar essa misteriosa habilidade para tentar nos vender alguma coisa — seja um carro, um político ou toda uma ideologia. Os robôs poderiam identificar nossos temores, ódios e desejos mais profundos, e usar essas alavancas interiores contra nós. Já tivemos uma amostra disso em eleições e referendos recentes por todo o mundo, quando hackers aprenderam como manipular eleitores individuais analisando dados sobre eles e explorando seus preconceitos (33). Enquanto os filmes de ficção científica terminam em apocalipses dramáticos com fogo e fumaça, na realidade podemos estar a um clique de um apocalipse banal.

Mas isto é controle dos humanos sobre os humanos transformando-os em máquinas e não controle das máquinas sobre os humanos.

Para evitar tais resultados, para cada dólar e cada minuto que investimos no desenvolvimento de inteligência artificial, seria sensato investir um dólar e um minuto em avançar a consciência humana. Infelizmente, não estamos fazendo muita coisa para pesquisar e desenvolver a consciência humana. Estamos pesquisando e desenvolvendo habilidades humanas principalmente em função das necessidades imediatas do sistema econômico e político, e não de acordo com nossas necessidades de longo prazo como seres conscientes. Meu chefe quer que eu responda aos e-mails o mais rápido possível, mas tem pouco interesse em minha capacidade de saborear e apreciar a comida que estou comendo. Consequentemente, eu verifico meus e-mails durante as refeições, enquanto vou perdendo a capacidade de prestar atenção a minhas próprias sensações. O sistema econômico me pressiona a expandir e diversificar minha carteira de investimentos, mas me dá zero incentivo para expandir e diversificar minha compaixão. Assim, eu me esforço cada vez mais para entender os mistérios da bolsa de valores, e cada vez menos para compreender as causas profundas do sofrimento.

Nisso, os humanos são semelhantes a outros animais domésticos. Temos criado vacas dóceis que produzem enormes quantidades de leite, mas que de resto são muito inferiores a seus ancestrais selvagens. São menos ágeis, menos curiosas e menos dotadas de recursos (34). Estamos criando agora homens domesticados que produzem enormes quantidades de dados e funcionam como chips muito eficientes num enorme mecanismo de processamento de dados, mas essas vacas de dados estão longe de atingir seu potencial máximo. Na verdade, não temos ideia de qual seja ele, porque sabemos muito pouco sobre nossa mente e, em vez de investir na sua exploração, nos concentramos em aumentar a velocidade de nossas conexões à internet e a eficiência de nossos algoritmos de Big Data. Se não formos cuidadosos, vamos acabar tendo humanos degradados fazendo mau uso de computadores sofisticados para causar estragos em si mesmos e no mundo.

Ocorre que os humanos são seres sociais e não apenas seres biológicos individuais. E a mente não é o cérebro e sim uma nuvem social de computação, lato sensu. Novamente ele aqui não vê o “algoritmo” que roda na rede social.

Ditaduras digitais não são o único perigo que nos aguarda. Juntamente com a liberdade, a ordem liberal também dá grande valor à igualdade. O liberalismo sempre zelou pela liberdade política, e gradualmente veio a se dar conta de que a igualdade econômica é quase tão importante. Pois sem uma rede de segurança social e um mínimo de igualdade econômica, a liberdade não tem sentido. Mas, assim como os algoritmos de Big Data poderiam extinguir a liberdade, eles poderiam simultaneamente criar a sociedade mais desigual que já existiu. Toda a riqueza e todo o poder do mundo poderiam se concentrar nas mãos de uma minúscula elite, enquanto a maior parte do povo sofreria, não de exploração, mas de algo muito pior — irrelevância.

A afirmação de que “sem uma rede de segurança social e um mínimo de igualdade econômica, a liberdade não tem sentido” é pedestre. A liberdade sempre tem sentido para os humanos serem humanos. O humano não está dado, se constrói e a liberdade é a garantia de que essa construção continuará.

NOTAS

1. Margaret Thatcher, “Interview for Woman’s Own (‘No Such Thing as Society’)” (Margaret Thatcher Foundation, 23 set. 1987). Disponível em: <https://www.margaretthatcher.org/document/106689>. Acesso em: 7 jan. 2018.

2. Keith Stanovich, Who Is Rational? Studies of Individual Differences in Reasoning (Nova York: Psychology Press, 1999).

3. Richard Dawkins, “Richard Dawkins: We Need a New Party — the European Party” (NewStatesman, 29 mar. 2017). Disponível em: <https://www.newstatesman.com/politics/uk/2017/03/richard-dawkins-we-need-new-party- european-party>. Acesso em: 1 mar. 2018.

4. Steven Swinford, “Boris Johnson’s Allies Accuse Michael Gove of ‘Systematic and Calculated Plot’ to Destroy his Leadership Hopes” (Telegraph, 30 jun. 2016). Disponível em: <http://www.telegraph.co.uk/news/2016/06/30/boris- johnsons-allies-accuse-michael-gove-of-systematic-and-calc/>. Acesso em: 3 set. 2017. Rowena Mason e Heather Stewart, “Gove’s Thunderbolt and Boris’s Breaking Point: A Shocking Tory Morning” (The Guardian, 30 jun. 2016). Disponível em: <https://www.theguardian.com/politics/2016/jun/30/goves-thunderbolt-boris-johnson-tory-morning>. Acesso em: 3 set. 2017.

5. James Tapsfield, “Gove Presents Himself as the Integrity Candidate for Downing Street Job but Sticks the Knife into Boris AGAIN” (Daily Mail, 1 jul. 2016). Disponível em: <http://www.dailymail.co.uk/news/article-3669702/ I-m- not-great-heart-s-right-place-Gove-makes-bizarre-pitch-Downing-Street-admitting-no-charisma-doesn-t-really-want- job.html>. Acesso em: 3 set. 2017.

6. Em 2017, uma equipe de Stanford produziu um algoritmo capaz de detectar se você é hétero ou homossexual, com uma precisão de 91%, baseado unicamente na análise de algumas imagens de seu rosto (https://osf.io/zn79k/). No entanto, como o algoritmo foi desenvolvido com base em imagens que as pessoas escolhiam de si mesmas para colocar em sites de encontros, ele poderia na realidade estar detectando diferenças em ideais culturais. Não é que o rosto das pessoas gays seja necessariamente diferente do rosto de heterossexuais, e sim que os gays, ao colocar suas fotos num site para encontros entre gays, tentam estar de acordo com ideais culturais diferentes daqueles dos sites de encontros entre heterossexuais.

7. David Chan, “So Why Ask Me? Are Self-Report Data Really That Bad?”, in Charles E. Lance and Robert J. Vandenberg (Orgs.), Statistical and Methodological Myths and Urban Legends (Nova York; Londres: Routledge, 2009, pp. 309-36). Delroy L. Paulhus e SimineVazire, “The Self-Report Method”, in Richard W. Robins, R. Chris Farley e Robert F. Krueger (Orgs.), Handbook of Research Methods in Personality Psychology (Londres; Nova York: The Guilford Press, 2007, pp. 228-33).

8. Elizabeth Dwoskin e Evelyn M. Rusli, “The Technology that Unmasks Your Hidden Emotions” (Wall Street Journal, 28 jan. 2015). Disponível em: <https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions- 1422472398>. Acesso em: 6 set. 2017.

9. Norberto Andrade, “Computers Are Getting Better Than Humans at Facial Recognition” (Atlantic, 9 jun. 2014). Disponível em: <https://www.theatlantic.com/technology/archive/2014/06/bad-news-computers-are-getting-better- than-we-are-at-facial-recognition/372377/>. Acesso em: 10 dez. 2017. Elizabeth Dwoskin e Evelyn M. Rusli, “The Technology That Unmasks Your Hidden Emotions” (Wall Street Journal, 28 jul. 2015). Disponível em:
<https://www.wsj.com/articles/startups-see-your-face-unmask-your-emotions-1422472398>. Acesso em: 10 dez. 2017. Sophie K. Scott et al., “The Social Life of Laughter” (Trends in Cognitive Sciences, v. 18, n. 12, pp. 618-20, 2014).

10. Daniel First, “Will Big Data Algorithms Dismantle the Foundations of Liberalism?” (ai & Soc, pp. 1-12, 2017). Disponível em: <https://link.springer.com/article/10.1007/s00146-017-0733-4>. Acesso em: 19 jun. 2018.

11. Carole Cadwalladr, “Google, Democracy and the Truth about Internet Search” (The Guardian, 4 dez. 2016). Disponível em: <https://www.theguardian.com/technology/2016/dec/04/google-democracy-truth-internet-search- facebook>. Acesso em: 6 set. 2017.

12. Jeff Freak e Shannon Holloway, “How Not to Get to Straddie” (Red Land City Bulletin, 15 mar. 2012). Disponível em: <http://www.redlandcitybulletin.com.au/story/104929/how-not-to-get-to-straddie/>. Acesso em: 1 mar. 2018.

13. Michelle McQuigge, “Woman Follows GPS; Ends Up in Ontario Lake” (Toronto Sun, 13 maio 2016). Disponível em: <http://torontosun.com/2016/ 05/13/woman-follows-gps-ends-up-in-ontario-lake/wcm/fddda6d6-6b6e- 41c7-88e8-aecc501faaa5>. Acesso em: 1 mar. 2018. “Woman Follows GPS into Lake” (News.com.au, 16 maio 2016). Disponível em: <http://www.news.com.au/technology/gadgets/woman-follows-gps-into-lake/news- story/a7d362dfc4634fd094651afc63f853a1>. Acesso em: 1 mar. 2018.

14. Henry Grabar, “Navigation Apps Are Killing Our Sense of Direction. What if They Could Help Us Remember Places Instead?” (Slate, 2018). Disponível em:
<http://www.slate.com/blogs/moneybox/2017/07/10/google_and_waze_are_killing_out_sense_of_direction_what_if_th Acesso em: 6 set. 2017.

15. Joel Delman, “Are Amazon, Netflix, Google Making Too Many Decisions For Us?” (Forbes, 24 nov. 2010). Disponível em: <https://www.forbes.com/2010/ 11/24/amazon-netflix-google-technology-cio-network-decisions.html>. Acesso em: 6 set. 2017. Cecilia Mazanec, “Will Algorithms Erode Our Decision-Making Skills?” (NPR, 8 fev. 2017). Disponível em: <http://www.npr.org/sections/alltechconsidered/2017/02/08/514120713/will-algorithms-erode-our- decision-making-skills>. Acesso em: 6 set. 2017.

16. Jean-Francois Bonnefon, Azim Shariff e IyadRawhan, “The Social Dilemma of Autonomous Vehicles” (Science, v. 352, n. 6293, pp. 1573-6, 2016).

17. Christopher W. Bauman et al., “Revisiting External Validity: Concerns about Trolley Problems and Other Sacrificial Dilemmas in Moral Psychology” (Social and Personality Psychology Compass, v. 8, n. 9, pp. 536-54, 2014).

18. John M. Darley e Daniel C. Batson, “‘From Jerusalem to Jericho’: A Study of Situational and Dispositional Variables in Helping Behavior” (Journal of Personality and Social Psychology, v. 27, n. 1, pp. 100-8, 1973).

19. Kristofer D. Kusano e Hampton C. Gabler, “Safety Benefits of Forward Collision Warning, Brake Assist, and Autonomous Braking Systems in Rear-End Collisions” (ieee Transactions on Intelligent Transportation Systems, v. 13, n. 4, pp. 1546-55, 2012). James M. Anderson et al., Autonomous Vehicle Technology: A Guide for Policymakers (Santa Monica: RAND Corporation, 2014, esp. pp. 13-5). Daniel J. Fagnant e Kara Kockelman, “Preparing a Nation for Autonomous Vehicles: Opportunities, Barriers and Policy Recommendations” (Transportation Research Part A: Policy and Practice, v. 77, pp. 167-81, 2015).

20. Tim Adams, “Job Hunting Is a Matter of Big Data, Not How You Perform at an Interview” (The Guardian, 10 maio 2014). Disponível em: <https://www.theguardian.com/technology/2014/may/10/job-hunting-big-data-interview- algorithms-employees>. Acesso em: 6 set. 2017.

21. Para uma discussão muito esclarecedora, veja Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (Nova York: Crown, 2016). Esta é de fato uma leitura obrigatória para quem estiver interessado nos efeitos potenciais de algoritmos na sociedade e na política.

22. Bonnefon, Shariff e Rawhan, “Social Dilemma of Autonomous Vehicles”.

23. Vincent C. Müller and Thomas W. Simpson, “Autonomous Killer Robots Are Probably Good News” (University of Oxford, Blavatnik School of Government Policy Memo, nov. 2014). Ronald Arkin, Governing Lethal Behaviour: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture (Georgia Institute of Technology, Mobile Robot Lab, pp. 1-13, 2007).

24. Bernd Greiner, War without Fronts: The usa in Vietnam, trad. Anne Wyburd e Victoria Fern (Cambridge, MA: Harvard University Press, 2009, p. 16). Para pelo menos uma referência ao estado emocional dos soldados, veja: Herbert Kelman e V. Lee Hamilton, “The My Lai Massacre: A Military Crime of Obedience”, in Jodi O’Brien e David M. Newman (Orgs.), Sociology: Exploring the Architecture of Everyday Life Reading (Los Angeles: Pine Forge Press, 2010, pp. 13-25).

25. Robert J. Donia, Radovan Karadzic: Architect of the Bosnian Genocide (Cambridge: Cambridge University Press, 2015). Veja também: Isabella Delpla, Xavier Bougarel e Jean-Louis Fournel, Investigating Srebrenica: Institutions, Facts, and responsibilities (Nova York; Oxford: Berghahn Books, 2012).

26. Noel E. Sharkey, “The Evitability of Autonomous Robot Warfare” (International Rev. Red Cross, v. 94, n. 886, pp. 787-99, 2012).

27. Ben Schiller, “Algorithms Control Our Lives: Are They Benevolent Rulers or Evil Dictators?” (Fast Company, 21 fev. 2017). Disponível em: <https://www.fastcompany.com/3068167/algorithms-control-our-lives-are-they- benevolent-rulers-or-evil-dictators>. Acesso em: 17 set. 2017.

28. Elia Zureik, David Lyon e Yasmeen Abu-Laban (Orgs.), Surveillance and Control in Israel/Palestine: Population, Territory and Power (Londres: Routledge, 2011). Elia Zureik, Israel’s Colonial Project in Palestine (Londres: Routledge, 2015). Torin Monahan (Org.), Surveillance and Security: Technological Politics and Power in Everyday Life (Londres: Routledge, 2006). Nadera Shalhoub-Kevorkian, “E-Resistance and Technological In/Security in Everday Life: The Palestinian case”, British Journal of Criminology, v. 52, n. 1, pp. 55-72, 2012). Or Hirschauge e Hagar Sheizaf, “Targeted Prevention: Exposing the New System for Dealing with Individual Terrorism” (Haaretz, 26 maio 2017). Disponível em: <https://www.haaretz.co.il/magazine/.premium-1.4124379>. Acesso em: 17 set. 2017. Amos Harel, “The IDF Accelerates the Crisscrossing of the West Bank with Cameras and Plans to Surveille all Junctions” (Haaretz, 18 jun. 2017). Disponível em: <https://www.haaretz.co.il/news/politics/.premium-1.4179886>. Acesso em: 17 set. 2017. Neta Alexander, “This is How Israel Controls the Digital and Cellular Space in the Territories” (31 mar. 2016). Disponível em: <https://www.haaretz.co.il/magazine/.premium-MAGAZINE-1.2899665>. Acesso em: 12 jan. 2018. Amos Harel, “Israel Arrested Hundreds of Palestinians as Suspected Terrorists Due to Publications on the Internet” (Haaretz, 16 abr. 2017). Disponível em:
<https://www.haaretz.co.il/news/politics/.premium-1.4024578>. Acesso em: 15 jan. 2018. Alex Fishman, “The Argaman Era” (Yediot Aharonot, Weekend Supplement, v. 28, p. 6, abr. 2017).

29. Yotam Berger, “Police Arrested a Palestinian Based on an Erroneous Translation of ‘Good Morning’ in His Facebook Page” (Haaretz, 22 out. 2017). Disponível em: <https://www.haaretz.co.il/.premium-1.4528980>. Acesso em: 12 jan. 2018.

30. William Beik, Louis xiv and Absolutism: A Brief Study with Documents (Boston, MA: Bedford; St Martin’s, 2000).

31. O’Neil, Weapons of Math Destruction, op. cit.; Penny Crosman, “Can AI Be Programmed to Make Fair Lending Decisions?” (American Banker, 27 set. 2016). Disponível em: <https://www.americanbanker.com/news/can- ai-be-programmed-to-make-fair-lending-decisions>. Acesso em: 17 set. 2017.

32. Matt Reynolds, “Bias Test to Prevent Algorithms Discriminating Unfairly” (New Scientist, 29 maio 2017). Disponível em: <https://www.newscientist.com/article/mg23431195-300-bias-test-to-prevent-algorithms- discriminating-unfairly/>. Acesso em: 17 set. 2017. Claire Cain Miller, “When Algorithms Discriminate” (New York Times, 9 jul. 2015). Disponível em: <https://www.nytimes.com/2015/07/10/upshot/when-algorithms- discriminate.html>. Acesso em: 17 set. 2017. Hannah Devlin, “Discrimination by Algorithm: Scientists Devise Test to Detect AI Bias” (The Guardian, 19 dez. 2016). Disponível em:
<https://www.theguardian.com/technology/2016/dec/19/discrimination-by-algorithm-scientists-devise-test-to-detect-ai- bias>. Acesso em: 17 set. 2017.

33. Snyder, The Road to Unfreedom, op. cit.

34. Anna Lisa Peterson, Being Animal: Beasts and Boundaries in Nature Ethics (Nova York: Columbia University Press, 2013, p. 100).