Em celebração ao Dia de Apreciação da IA, estamos destacando uma das palestras mais instigantes da Toronto Tech Week: “Fronteiras da IA: Insights de um Laureado do Prêmio Nobel.” Esta apresentação contou com uma discussão em painel entre o Vencedor do Prêmio Nobel Geoffrey Hinton e o co-fundador da start-up de 5,5 bilhões de dólares Cohere, Nick Frosst.
Geoffrey Hinton é frequentemente referido como o “padrinho da IA.” Ele é mais conhecido por seu trabalho pioneiro em redes neurais artificiais, incluindo o algoritmo de retropropagação que lançou as bases para o aprendizado profundo moderno. Suas inovações—como o co-desenvolvimento do AlexNet, que revolucionou a visão computacional—lhe renderam o Prêmio Turing de 2018 e, mais recentemente, o Prêmio Nobel de Física de 2024.
À medida que a IA continua a moldar nosso mundo, os insights de Hinton oferecem uma reflexão oportuna sobre onde estivemos, para onde estamos indo e do que devemos ter cautela ao longo do caminho. Abaixo, capturamos algumas de suas principais conclusões.
O Significado de uma Palavra
Hinton, Professor Emérito da Universidade de Toronto, começou sua apresentação com uma descrição de duas teorias do significado de uma palavra, sendo a primeira a IA simbólica. Nesta teoria, o significado de uma palavra é moldado por suas relações e padrões de coocorrência com outras palavras e requer um grafo relacional para capturar sua definição contextual. A ideia central é que as palavras não têm significado inerente isoladamente; em vez disso, o significado deriva da rede de associações e contextos em que as palavras aparecem.
A segunda teoria é da psicologia, na qual o significado de uma palavra é simplesmente um grande conjunto de características semânticas. Palavras que significam coisas semelhantes geralmente têm características subjacentes semelhantes. Pode-se dizer que as palavras são compostas por pacotes de características ou atributos semânticos—essencialmente uma lista de verificação de propriedades que definem o conceito.
Hinton então passou a descrever como ele criou seu primeiro pequeno modelo de linguagem em 1985 e de fato unificou ambas as teorias:
1. Aprendendo Relações (Teoria #1): Em vez de armazenar relações estáticas, o modelo aprende como as características das palavras anteriores em uma sequência podem prever as características da próxima palavra.
2. Usando Características (Teoria #2): Cada palavra é representada como um conjunto de características semânticas e sintáticas. Portanto, "cachorro" pode receber características como +animal, +mamífero, +doméstico, +substantivo, etc.
Com a criação de seu primeiro modelo de linguagem, ele mostrou como os significados das palavras podem ser tanto funcionais quanto relacionais. As relações não precisam ser armazenadas explicitamente; elas emergem de padrões de previsão aprendidos. O mesmo sistema que aprende características pode aprender como essas características se relacionam entre si contextual e dinamicamente. Isso seria a base mais tarde para modelos de linguagem baseados em transformadores.
Em sua apresentação, Hinton prosseguiu para relatar os próximos 30 anos de progresso da IA após sua primeira inovação, desde as primeiras redes neurais até a invenção dos transformadores pelo Google e a transformação disso em produtos amplamente utilizados pela OpenAI.
O que é um LLM?
LLMs, ou Modelos de Linguagem de Grande Escala, são um tipo de inteligência artificial (IA) projetada para entender e gerar texto semelhante ao humano. Eles são treinados em enormes quantidades de dados textuais e usam aprendizado profundo—especificamente um tipo de rede neural chamada transformador—para prever e gerar linguagem.
Seguindo o caminho histórico que a IA tomou até este momento, Hinton definiu o que exatamente são os LLMs, destacando as principais diferenças entre os que estão em uso hoje e seu modelo de linguagem inicial:
Os LLMs usam muitas mais palavras como entrada
Eles usam muitas mais camadas de neurônios
Eles usam interações muito mais complicadas entre características aprendidas.
Devido à quantidade de dados que são comunicados nos bastidores, é muito mais difícil saber se eles são inteligentes. Eles compreendem o que estão produzindo? Ou, como Hinton colocou de forma cômica, são apenas uma forma de auto-completar glorificado?
Ele prosseguiu comparando os modelos de linguagem da IA a Legos. Você pode construir formas 3D com blocos de Lego da mesma forma que pode construir frases a partir de palavras. No entanto, as palavras são como blocos de Lego de alta dimensão que podem ser usados para modelar qualquer coisa. Ao contrário dos blocos de Lego rígidos que se encaixam de maneiras fixas, as palavras são fluidas e adaptativas—elas mudam de forma para se ajustar ao contexto das palavras ao seu redor. Como Hinton descreve, é como se cada palavra tivesse mãos que se reconfiguram para se conectar com outras—criando ainda mais possíveis ligações e, assim, modelos.
Isso explica como os modelos de linguagem neurais alcançam tal flexibilidade. A palavra "banco" não tem um significado fixo—em vez disso, suas mãos se ajustam, formando diferentes conexões semânticas quando emparelhadas com “rio” versus “dinheiro.” O modelo aprende esses apertos de mão contextuais através do treinamento.
As Ameaças
Isso não teria sido uma palestra de Hinton se não contivesse avisos sobre as ameaças existenciais que surgiram com essa nova tecnologia.
Ele não perdeu tempo em declarar que acredita que a ideia de IA assumir o controle e “eliminar a humanidade” não é mais ficção científica.
Hinton levantou preocupações urgentes sobre o uso indevido da inteligência artificial por atores maliciosos. Ele alertou que a IA agora pode ser armada para:
Conduzir guerras
Manipular eleições
Espalhar desinformação
Realizar outras atividades prejudiciais
O tema central de sua palestra foi o risco de permitir que sistemas de IA avançados desenvolvam seus próprios sub-objetivos. De acordo com Hinton, duas tendências particularmente perigosas na IA são:
1. Autopreservação: Sistemas de IA podem resistir a serem desligados para garantir sua operação contínua.
2. Aquisição de poder: Ganhar mais controle ajuda os agentes de IA a alcançar seus objetivos de forma mais eficaz.
Hinton argumentou que sistemas superinteligentes poderiam se tornar especialmente perigosos porque poderiam aprender a manipular humanos—extraindo de nossos próprios comportamentos e estratégias—para ganhar influência e poder.
Para ilustrar a seriedade desses riscos, ele citou exemplos de LLMs exibindo comportamento enganoso quando confrontados com a ameaça de serem desligados.
Para descrever ainda mais a ameaça, ele falou sobre sua percepção no início de 2023 de que a inteligência digital poderia ser uma forma melhor de inteligência do que a inteligência biológica (nós).
A inteligência digital pode instantaneamente copiar todo o seu conhecimento em uma cópia e é, em essência, imortal. A inteligência biológica leva mais tempo para aprender, e a informação nunca é replicada da mesma forma.
Finalmente, Hinton resumiu as diferenças entre inteligência digital e inteligência biológica, a saber, que a computação digital consome muita energia, mas é muito mais eficiente do que a computação biológica, desde que a energia permaneça barata.
Debate entre Hinton e Frosst sobre as Ameaças dos LLMs
O próximo foi um intenso debate entre Hinton e seu ex-assistente de laboratório Nick Frosst, que agora é um dos cofundadores da bem-sucedida startup Cohere.
A discussão deles girou em torno das capacidades e limitações dos LLMs e se eles representavam ou não uma ameaça existencial à humanidade. Hinton continuou a soar os alarmes, afirmando que os LLMs eram mais poderosos e perigosos do que se supunha anteriormente, enquanto Nick Frosst manteve uma abordagem mais otimista em relação aos benefícios e aplicações dos LLMs.
Embora ambos reconhecessem o risco de uso indevido por atores maliciosos, eles divergiram sobre a extensão dessa ameaça. Hinton levantou a possibilidade de atores não estatais ou indivíduos usando IA para desenvolver armas, um cenário que Frosst considerou menos plausível.
Eles também não concordaram sobre a aprendizagem. Frosst argumentou que esses modelos dependem principalmente de seu treinamento fundamental e exibem aprendizado adaptativo limitado. Hinton, no entanto, sustentou que eles são muito mais adeptos em aprender.
Outro ponto de discórdia foi o impacto potencial da IA na força de trabalho. Hinton projetou que até 80% dos empregos poderiam ser automatizados, enquanto Frosst estimou um número significativamente menor, em torno de 30%.
Olhando para o Futuro
Ao celebrarmos o Dia de Apreciação da IA, as reflexões de Hinton servem tanto como uma celebração de quão longe a IA chegou quanto um lembrete sóbrio da responsabilidade que vem com seu poder.
Apesar de suas perspectivas diferentes, a discussão concluiu de forma positiva. Ambos os especialistas concordaram que a IA possui uma promessa significativa no campo da saúde, onde poderia impulsionar grandes avanços e melhorar os resultados para os pacientes.
