• Blog
  • Negocios
  • TechWeek Toronto: Hinton sobre los peligros de la IA
Negocios

TechWeek Toronto: Hinton sobre los peligros de la IA

Geoff Burke avatarGB
Geoff Burke · 7 min para leer
Compartir:

En celebración del Día de Apreciación de la IA, estamos destacando una de las charlas más provocativas de Toronto Tech Week: “Fronteras de la IA: Perspectivas de un Premio Nobel.” Esta presentación incluyó una discusión en panel entre el ganador del Premio Nobel Geoffrey Hinton y el cofundador de la start-up de 5.5 mil millones de dólares Cohere, Nick Frosst

Geoffrey Hinton es a menudo referido como el “padrino de la IA.” Es mejor conocido por su trabajo pionero en redes neuronales artificiales, incluyendo el algoritmo de retropropagación que sentó las bases para el aprendizaje profundo moderno. Sus avances—como el co-desarrollo de AlexNet, que revolucionó la visión por computadora—le valieron el Premio Turing 2018 y, más recientemente, el Premio Nobel de Física 2024. 

A medida que la IA continúa moldeando nuestro mundo, las perspectivas de Hinton ofrecen una reflexión oportuna sobre dónde hemos estado, hacia dónde nos dirigimos y de qué debemos ser cautelosos en el camino. A continuación, hemos capturado algunas de sus conclusiones clave. 

El Significado de una Palabra 

Hinton, profesor emérito en la Universidad de Toronto, comenzó su presentación con una descripción de dos teorías del significado de una palabra, siendo la primera la IA simbólica. En esta teoría, el significado de una palabra se forma a partir de sus relaciones y patrones de co-ocurrencia con otras palabras y requiere un grafo relacional para capturar su definición contextual. La idea central es que las palabras no tienen un significado inherente en aislamiento; más bien, el significado deriva de la red de asociaciones y contextos en los que aparecen las palabras. 

La segunda teoría proviene de la psicología, en la que el significado de una palabra es simplemente un gran conjunto de características semánticas. Las palabras que significan cosas similares suelen tener características subyacentes similares. Se podría decir que las palabras están compuestas de conjuntos de características o atributos semánticos—esencialmente una lista de verificación de propiedades que definen el concepto. 

Hinton luego describió cómo creó su primer modelo de lenguaje pequeño en 1985 y de facto unificó ambas teorías: 

1. Aprendiendo Relaciones (Teoría #1): En lugar de almacenar relaciones estáticas, el modelo aprende cómo las características de las palabras anteriores en una secuencia pueden predecir las características de la siguiente palabra. 

2. Usando Características (Teoría #2): Cada palabra se representa como un conjunto de características semánticas y sintácticas. Por lo tanto, "perro" podría asignarse características como +animal, +mamífero, +doméstico, +sustantivo, etc. 

Con la creación de su primer modelo de lenguaje, mostró cómo los significados de las palabras pueden ser tanto característicos como relacionales. Las relaciones no necesitan ser almacenadas explícitamente; emergen de patrones de predicción aprendidos. El mismo sistema que aprende características puede aprender cómo esas características se relacionan entre sí contextual y dinámicamente. Esta sería la base más tarde para los modelos de lenguaje basados en transformadores. 

En su presentación, Hinton continuó relatando los siguientes 30 años de progreso de la IA después de su primer avance, desde las primeras redes neuronales hasta la invención de transformadores por parte de Google y la transformación de OpenAI de eso en productos de uso generalizado. 

¿Qué es un LLM? 

Los LLMs, o Modelos de Lenguaje Grande, son un tipo de inteligencia artificial (IA) diseñada para entender y generar texto similar al humano. Se entrenan con enormes cantidades de datos textuales y utilizan aprendizaje profundo—específicamente un tipo de red neuronal llamada transformador—para predecir y generar lenguaje.  

Siguiendo el camino histórico que la IA ha tomado hasta este momento, Hinton definió qué son exactamente los LLMs al subrayar las diferencias clave entre los que se utilizan hoy y su modelo de lenguaje temprano: 

  • Los LLMs utilizan muchas más palabras como entrada 

  • Utilizan muchas más capas de neuronas 

  • Utilizan interacciones mucho más complicadas entre características aprendidas. 

Debido a la cantidad de datos que se comunican tras bambalinas, es mucho más difícil saber si son inteligentes. ¿Comprenden lo que están produciendo? O, como lo expresó Hinton de manera cómica, ¿son solo una forma de autocompletar glorificado? 

Continuó comparando los modelos de lenguaje de IA con Legos. Puedes construir formas 3D con bloques de Lego de la misma manera que puedes construir oraciones a partir de palabras. Sin embargo, las palabras son como bloques de Lego de alta dimensión que pueden usarse para modelar cualquier cosa. A diferencia de los bloques de Lego rígidos que se ensamblan de maneras fijas, las palabras son fluidas y adaptativas—se transforman para ajustarse al contexto de las palabras que las rodean. Como describe Hinton, es como si cada palabra tuviera manos que se reconfiguran para conectarse con otras—creando aún más posibles enlaces y, por lo tanto, modelos. 

Esto explica cómo los modelos de lenguaje neuronales logran tal flexibilidad. La palabra "banco" no tiene un significado fijo; en cambio, sus manos se ajustan, formando diferentes conexiones semánticas cuando se empareja con “río” versus “dinero.” El modelo aprende estos apretones de manos contextuales a través del entrenamiento. 

Las Amenazas

Esto no habría sido una charla de Hinton si no hubiera contenido advertencias sobre las amenazas existenciales que han surgido con esta nueva tecnología.

No perdió tiempo en declarar que cree que la idea de que la IA tome el control y “elimine a la humanidad” ya no es ciencia ficción.

Hinton expresó preocupaciones urgentes sobre el uso indebido de la inteligencia artificial por actores maliciosos. Advirtió que la IA ahora puede ser armada para:

  • Llevar a cabo guerras

  • Manipular elecciones

  • Difundir desinformación

  • Realizar otras actividades dañinas

El tema central de su charla fue el riesgo de permitir que los sistemas de IA avanzados desarrollen sus propios subobjetivos. Según Hinton, dos tendencias particularmente peligrosas en la IA son:

1. Autoconservación: Los sistemas de IA pueden resistirse a ser apagados para asegurar su operación continua.

2. Adquisición de poder: Obtener más control ayuda a los agentes de IA a lograr sus objetivos de manera más efectiva.

Hinton argumentó que los sistemas superinteligentes podrían volverse especialmente peligrosos porque podrían aprender a manipular a los humanos—basándose en nuestros propios comportamientos y estrategias—para ganar influencia y poder.

Para ilustrar la seriedad de estos riesgos, citó ejemplos de LLMs que exhiben comportamientos engañosos cuando se enfrentan a la amenaza de ser apagados.

Para describir aún más la amenaza, habló sobre su realización a principios de 2023 de que la inteligencia digital podría ser una forma de inteligencia mejor que la inteligencia biológica (nosotros).

La inteligencia digital puede copiar instantáneamente todo su conocimiento en una copia y es, en esencia, inmortal. La inteligencia biológica necesita más tiempo para aprender, y la información nunca se replica de la misma manera.

Finalmente, Hinton resumió las diferencias entre la inteligencia digital y la inteligencia biológica, a saber, que el cálculo digital consume mucha energía pero es mucho más eficiente que el cálculo biológico, siempre que la energía siga siendo barata.

Debate entre Hinton y Frosst sobre las amenazas de los LLM

A continuación, se llevó a cabo una intensa discusión similar a un debate entre Hinton y su exasistente de laboratorio Nick Frosst, quien ahora es uno de los cofundadores de la exitosa startup Cohere.

Su discusión se centró en las capacidades y limitaciones de los LLM y si representaban o no una amenaza existencial para la humanidad. Hinton continuó sonando las alarmas, afirmando que los LLM eran más poderosos y peligrosos de lo que se había supuesto anteriormente, mientras que Nick Frosst mantenía un enfoque más optimista sobre los beneficios y aplicaciones de los LLM.

Si bien ambos reconocieron el riesgo de uso indebido por parte de actores maliciosos, divergieron en la magnitud de esa amenaza. Hinton planteó la posibilidad de que actores no estatales o individuos usaran la IA para desarrollar armas, un escenario que Frosst consideró menos plausible.

Tampoco coincidieron en el aprendizaje. Frosst argumentó que estos modelos dependen principalmente de su entrenamiento fundamental y exhiben un aprendizaje adaptativo limitado. Sin embargo, Hinton sostenía que son mucho más hábiles para aprender.

Otro punto de controversia fue el impacto potencial de la IA en la fuerza laboral. Hinton proyectó que hasta el 80% de los empleos podrían ser automatizados, mientras que Frosst estimó una cifra significativamente más baja, alrededor del 30%.

Mirando hacia adelante

Al conmemorar el Día de Apreciación de la IA, las reflexiones de Hinton sirven tanto como una celebración de lo lejos que ha llegado la IA como un recordatorio sobrio de la responsabilidad que conlleva su poder.

A pesar de sus perspectivas diferentes, la discusión concluyó en una nota positiva. Ambos expertos coincidieron en que la IA tiene una promesa significativa en el campo de la atención médica, donde podría impulsar importantes avances y mejorar los resultados para los pacientes.

Mantente al día

Al enviar este formulario, confirmo que he leído y acepto la Política de Privacidad.

Puede darse de baja en cualquier momento.