Nexus

Redes de Información y Poder

• Mientras que a lo largo de las generaciones las redes humanas se han vuelto cada vez más poderosas, no necesariamente se han vuelto más sabias. Si una red privilegia el orden sobre la verdad, puede volverse muy poderosa pero usar ese poder de manera imprudente.
• La propiedad sigue siendo una realidad intersubjetiva creada mediante el intercambio de información, pero la información ahora toma la forma de un documento escrito (o un archivo informático) en lugar de personas hablando y gesticulando entre sí.
• En el pasado, organizaciones como los periódicos, las estaciones de radio y los partidos políticos establecidos actuaban como guardianes, decidiendo quién era escuchado en la esfera pública. Las redes sociales socavaron el poder de estos guardianes, lo que llevó a una conversación pública más abierta pero también más anárquica.
• Muchos señalan a los algoritmos de las redes sociales. Hemos explorado el impacto divisivo de las redes sociales en capítulos anteriores, pero a pesar de la evidencia condenatoria, parece que deben existir factores adicionales en juego. La verdad es que, aunque podemos observar fácilmente que la red de información democrática se está desmoronando, no estamos seguros de por qué. Eso mismo es una característica de los tiempos actuales. La red de información se ha vuelto tan complicada, y depende en tal medida de decisiones algorítmicas opacas y entidades intercomputadoras, que se ha vuelto muy difícil para los humanos responder incluso a las preguntas políticas más básicas: ¿Por qué estamos luchando entre nosotros?
• En industrias tradicionales como los restaurantes, el tamaño no es una ventaja abrumadora. McDonald's es una cadena mundial que alimenta a más de cincuenta millones de personas al día, y su tamaño le brinda muchas ventajas en términos de costos, marca, y así sucesivamente. No obstante, puedes abrir un restaurante local que podría competir con el McDonald’s de la zona. Aunque tu restaurante podría estar atendiendo a solo doscientos clientes al día, aún tienes la oportunidad de ofrecer mejor comida que McDonald’s y ganar la lealtad de clientes más satisfechos.
• Funciona de manera diferente en el mercado de la información. El motor de búsqueda de Google es utilizado todos los días por entre dos y tres mil millones de personas que realizan 8.5 mil millones de búsquedas. Supongamos que un motor de búsqueda local intenta competir con Google. No tiene ninguna posibilidad. Debido a que Google ya es utilizado por miles de millones, tiene tantos más datos a su disposición que puede entrenar algoritmos mucho mejores, lo que atraerá aún más tráfico, que se utilizará para entrenar la próxima generación de algoritmos, y así sucesivamente. En consecuencia, en 2023 Google controlaba el 91.5 por ciento del mercado global de búsqueda.
• El destino de Tiberio indica el delicado equilibrio que todos los dictadores deben mantener. Intentan concentrar toda la información en un solo lugar, pero deben tener cuidado de que los diferentes canales de información solo se fusionen en su propia persona. Si los canales de información se fusionan en otro lugar, entonces eso se convierte en el verdadero nexo del poder. Cuando el régimen depende de humanos como Sejano y Macro, un dictador astuto puede enfrentarlos entre sí para mantenerse en la cima. Las purgas de Stalin se trataban de eso. Sin embargo, cuando un régimen depende de una IA poderosa pero enigmática que reúne y analiza toda la información, el dictador humano corre el riesgo de perder todo el poder.
• Por supuesto, no importa si el mundo está dividido entre unos pocos imperios digitales, si permanece una comunidad más diversa de doscientos estados-nación, o si se divide en líneas totalmente diferentes e imprevistas, la cooperación siempre es una opción. Entre los humanos, la condición previa para la cooperación no es la similitud; es la capacidad de intercambiar información. Mientras seamos capaces de conversar, podríamos encontrar alguna historia compartida que pueda acercarnos. Esto, después de todo, es lo que hizo que Homo sapiens fuera la especie dominante en el planeta.
• Y hay muchas situaciones en las que, para cuidar a nuestros compatriotas, necesitamos cooperar con extranjeros. COVID-19 nos proporcionó un ejemplo obvio. Las pandemias son eventos globales, y sin cooperación global es difícil contenerlas, por no mencionar prevenirlas. Cuando un nuevo virus o un patógeno mutante aparece en un país, pone en peligro a todos los demás países. Por el contrario, la mayor ventaja de los humanos sobre los patógenos es que podemos cooperar de maneras que los patógenos no pueden. Los médicos en Alemania y Brasil pueden alertarse mutuamente sobre nuevos peligros, darse buenos consejos y trabajar juntos para descubrir mejores tratamientos.
• Mearsheimer luego pregunta “cuánto poder quieren los estados” y responde que todos los estados quieren tanto poder como puedan obtener, “porque el sistema internacional crea poderosos incentivos para que los estados busquen oportunidades de ganar poder a expensas de los rivales.” Concluye, “El objetivo final de un estado es ser el hegemón en el sistema.”
• El argumento principal de este libro es que la humanidad obtiene un poder enorme al construir grandes redes de cooperación, pero la forma en que se construyen estas redes nos predispone a usar ese poder de manera imprudente. Nuestro problema, entonces, es un problema de red.
• Incluso más específicamente, es un problema de información. La información es el pegamento que une las redes.
• No debemos asumir que las redes delirantes están condenadas al fracaso. Si queremos prevenir su triunfo, tendremos que hacer el trabajo duro nosotros mismos.
• La visión ingenua sostiene que al recopilar y procesar mucha más información de la que los individuos pueden, las grandes redes alcanzan una mejor comprensión de la medicina, la física, la economía y numerosos otros campos, lo que hace que la red no solo sea poderosa sino también sabia. Por ejemplo, al reunir información sobre patógenos, las empresas farmacéuticas y los servicios de salud pueden determinar las verdaderas causas de muchas enfermedades, lo que les permite desarrollar medicamentos más efectivos y tomar decisiones más sabias sobre su uso. Esta visión postula que en cantidades suficientes, la información conduce a la verdad, y la verdad a su vez conduce tanto al poder como a la sabiduría.
• En las generaciones recientes, la humanidad ha experimentado el mayor aumento jamás registrado tanto en la cantidad como en la velocidad de nuestra producción de información. Cada teléfono inteligente contiene más información que la antigua Biblioteca de Alejandría y permite a su dueño conectarse instantáneamente con miles de millones de otras personas en todo el mundo. Sin embargo, con toda esta información circulando a velocidades vertiginosas, la humanidad está más cerca que nunca de aniquilarse a sí misma.
• La información es cada vez más vista por muchos filósofos y biólogos, e incluso por algunos físicos, como el bloque de construcción más básico de la realidad, más elemental que la materia y la energía.
• En lugar de intentar representar cosas preexistentes, el ADN ayuda a producir cosas completamente nuevas. Por ejemplo, varias cadenas de nucleobases de ADN inician procesos químicos celulares que resultan en la producción de adrenalina. La adrenalina tampoco representa la realidad de ninguna manera. Más bien, la adrenalina circula a través del cuerpo, iniciando procesos químicos adicionales que aumentan la frecuencia cardíaca y dirigen más sangre a los músculos. De este modo, el ADN y la adrenalina ayudan a conectar billones de células en el corazón, las piernas y otras partes del cuerpo para formar una red funcional que puede hacer cosas notables, como huir de un león.
• A veces, las redes pueden conectarse sin ningún intento de representar la realidad, ni precisa ni erróneamente, como cuando la información genética conecta trillones de células o cuando una conmovedora pieza musical conecta a miles de humanos.
• Los sapiens son capaces de hacer tales cosas porque somos mucho más flexibles que los chimpancés y podemos cooperar simultáneamente en números aún mayores que las hormigas. De hecho, no hay un límite superior en el número de sapiens que pueden cooperar entre sí. La Iglesia Católica tiene alrededor de 1.4 mil millones de miembros. China tiene una población de aproximadamente 1.4 mil millones. La red de comercio global conecta a aproximadamente 8 mil millones de sapiens.
• La red tribal, entonces, actuó como una póliza de seguro. Minimiza el riesgo al distribuirlo entre muchas más personas.
• A medida que pasaba el tiempo, los problemas de interpretación inclinaban cada vez más la balanza de poder entre el libro sagrado y la iglesia a favor de la institución. Así como la necesidad de interpretar los libros sagrados judíos empoderó al rabinato, la necesidad de interpretar los libros sagrados cristianos empoderó a la iglesia.
• Este tipo de tratos de información por información ya son omnipresentes. Cada día, miles de millones de nosotros realizamos numerosas transacciones con los gigantes tecnológicos, pero nunca podría adivinarse eso a partir de nuestras cuentas bancarias, porque apenas se mueve dinero. Obtenemos información de los gigantes tecnológicos y les pagamos con información. A medida que más transacciones siguen este modelo de información por información, la economía de la información crece a expensas de la economía del dinero, hasta que el mismo concepto de dinero se convierte en algo cuestionable.
• Una persona o corporación con poco dinero en el banco pero una enorme base de datos de información podría ser la entidad más rica o poderosa del país. En teoría, podría ser posible cuantificar el valor de su información en términos monetarios, pero nunca convierten realmente la información en dólares o pesos. ¿Por qué necesitan dólares, si pueden obtener lo que quieren con información?
• La información es diferente. A diferencia del algodón y el petróleo, los datos digitales pueden ser enviados de Malasia o Egipto a Pekín o San Francisco a casi la velocidad de la luz. Y a diferencia de la tierra, los campos petroleros o las fábricas textiles, los algoritmos no ocupan mucho espacio. En consecuencia, a diferencia del poder industrial, el poder algorítmico del mundo puede concentrarse en un único centro. Ingenieros en un solo país podrían escribir el código y controlar las claves para todos los algoritmos cruciales que hacen funcionar al mundo entero.

Desarrollo e Impacto de la IA

• En abril de 2023, Elon Musk anunció: “Voy a comenzar algo, que llamo TruthGPT o una IA máxima buscadora de la verdad que intenta comprender la naturaleza del universo.” Veremos en capítulos posteriores por qué esta es una fantasía peligrosa. En eras anteriores, tales fantasías tomaron una forma diferente: la religión.
• estudiar la historia de la religión es altamente relevante para los debates actuales sobre la IA. En la historia de la religión, un problema recurrente es cómo convencer a las personas de que cierto dogma realmente se originó en una fuente sobrehumana infalible. Incluso si en principio estoy ansioso por someterme a la voluntad de los dioses, ¿cómo sé lo que los dioses realmente quieren?
• ¿Qué detendría a las IA de ser incorporadas y reconocidas como personas legales con libertad de expresión, luego hacer cabildeo y donar políticamente para proteger y expandir los derechos de la IA?
• Por ejemplo, un algoritmo que busca patrones de “buenos empleados” en datos de la vida real puede concluir que contratar a los sobrinos del jefe siempre es una buena idea, sin importar qué otras calificaciones tengan. Porque los datos indican claramente que los “sobrinos del jefe” suelen ser contratados al postularse para un trabajo, y rara vez son despedidos.
• Pero deshacerse del sesgo algorítmico podría ser tan difícil como liberarnos de nuestros sesgos humanos. Una vez que un algoritmo ha sido entrenado, se necesita mucho tiempo y esfuerzo para "desentrenarlo". Podríamos decidir simplemente desechar el algoritmo sesgado y entrenar un nuevo algoritmo completamente nuevo con un conjunto de datos menos sesgados. Pero, ¿dónde en la tierra podemos encontrar un conjunto de datos totalmente imparciales?
• Quizás solo significa que las computadoras mismas están recompensando ese comportamiento mientras castigan y bloquean alternativas. Para que las computadoras tengan una visión más precisa y responsable del mundo, necesitan tener en cuenta su propio poder e impacto. Y para que eso suceda, los humanos que actualmente diseñan las computadoras necesitan aceptar que no están fabricando nuevas herramientas. Están desatando nuevos tipos de agentes independientes, y potencialmente hasta nuevos tipos de dioses.
• Sin embargo, no importa cuán conscientes sean los algoritmos de su propia falibilidad, también debemos mantener a los humanos en el bucle. Dado el ritmo al que se desarrolla la IA, simplemente es imposible anticipar cómo evolucionará y establecer barreras contra todos los futuros peligros potenciales. Esta es una diferencia clave entre la IA y las amenazas existenciales anteriores, como la tecnología nuclear. La última presentó a la humanidad algunos escenarios apocalípticos fácilmente anticipables, siendo el más obvio una guerra nuclear total. Esto significaba que era factible conceptualizar el peligro por adelantado y explorar formas de mitigarlo. En contraste, la IA nos presenta innumerables escenarios apocalípticos. Algunos son relativamente fáciles de entender, como los terroristas que utilizan la IA para producir armas biológicas de destrucción masiva. Algunos son más difíciles de comprender, como la IA creando nuevas armas psicológicas de destrucción masiva. Y algunos pueden estar completamente más allá de la imaginación humana, porque emanan de los cálculos de una inteligencia alienígena. Para protegernos contra una plétora de problemas imprevisibles, nuestra mejor apuesta es crear instituciones vivas que puedan identificar y responder a las amenazas a medida que surgen.
• Si tres años de hasta un 25 por ciento de desempleo pudieron convertir una democracia aparentemente próspera en el régimen totalitario más brutal de la historia, ¿qué podría suceder con las democracias cuando la automatización provoque agitación aún mayor en el mercado laboral del siglo veintiuno? Nadie sabe cómo será el mercado laboral en 2050, o incluso en 2030, excepto que se verá muy diferente al de hoy. La IA y la robótica cambiarán numerosas profesiones, desde la cosecha de cultivos hasta la negociación de acciones y la enseñanza de yoga. Muchos trabajos que las personas realizan hoy serán asumidos, en parte o en su totalidad, por robots y computadoras.
• Por supuesto, a medida que desaparecen los trabajos antiguos, surgirán nuevos empleos. Los temores de que la automatización conduzca al desempleo a gran escala se remontan a siglos atrás, y hasta ahora nunca se han materializado. La Revolución Industrial dejó a millones de campesinos sin trabajo agrícola y les proporcionó nuevos empleos en fábricas. Luego automatizó las fábricas y creó muchos empleos en el sector servicios. Hoy, muchas personas tienen trabajos que eran inimaginables hace treinta años, como bloggers, operadores de drones y diseñadores de mundos virtuales. Es muy poco probable que para 2050 todos los empleos humanos desaparezcan. Más bien, el verdadero problema es la agitación de adaptarse a nuevos empleos y condiciones. Para amortiguar el golpe, necesitamos prepararnos por adelantado. En particular, necesitamos equipar a las generaciones más jóvenes con habilidades que serán relevantes para el mercado laboral de 2050.
• De manera similar, a juzgar por su salario, se podría asumir que nuestra sociedad valora más a los médicos que a las enfermeras. Sin embargo, es más difícil automatizar el trabajo de las enfermeras que el trabajo de al menos aquellos médicos que principalmente recopilan datos médicos, proporcionan un diagnóstico y recomiendan un tratamiento. Estas tareas son esencialmente reconocimiento de patrones, y detectar patrones en los datos es una de las cosas que la inteligencia artificial hace mejor que los humanos. En contraste, la inteligencia artificial está lejos de tener las habilidades necesarias para automatizar tareas de enfermería como reemplazar vendajes en una persona herida o administrar una inyección a un niño que llora.
• Las computadoras podrían algún día ganar la capacidad de sentir dolor y amor. Incluso si no pueden, los humanos pueden, no obstante, llegar a tratarlas como si pudieran.
• Previamente, los creadores podían explicar cómo funcionaba algo, por qué hacía lo que hacía, incluso si esto requería un gran detalle. Eso ya no es cada vez más cierto. Muchas tecnologías y sistemas se están volviendo tan complejos que están más allá de la capacidad de cualquier individuo para comprenderlos verdaderamente…. En la IA, las redes neuronales que avanzan hacia la autonomía no son, en este momento, explicables. No puedes guiar a alguien a través del proceso de toma de decisiones para explicar con precisión por qué un algoritmo produjo una predicción específica. Los ingenieros no pueden mirar debajo del capó y explicar fácilmente en detalle granular qué causó que algo sucediera. GPT-4, AlphaGo y el resto son cajas negras, cuyas salidas y decisiones se basan en cadenas opacas e increíblemente intrincadas de señales diminutas
• Una encuesta de 2016 de la OCDE encontró que la mayoría de las personas tenían dificultades para entender incluso conceptos financieros simples como el interés compuesto. Una encuesta de 2014 a miembros del Parlamento británico—cargados de regular uno de los centros financieros más importantes del mundo—encontró que solo el 12 por ciento entendía correctamente que se crea nuevo dinero cuando los bancos otorgan préstamos. Este hecho se encuentra entre los principios más básicos del sistema financiero moderno. Como lo indicó la crisis financiera de 2007-2008, dispositivos y principios financieros más complejos, como los que están detrás de los CDO, solo eran comprensibles para algunos pocos genios financieros. ¿Qué sucede con la democracia cuando las IA crean dispositivos financieros aún más complejos y cuando el número de humanos que entienden el sistema financiero cae a cero?
• “Nuestro algoritmo,” podría leer la carta del banco imaginario, “utiliza un sistema de puntos preciso para evaluar todas las solicitudes, teniendo en cuenta mil tipos diferentes de datos. Suma todos los puntos para alcanzar una puntuación general. Las personas cuya puntuación general es negativa son consideradas personas de bajo crédito, demasiado arriesgadas para recibir un préstamo. Su puntuación general fue de −378, razón por la cual su solicitud de préstamo fue rechazada.” La carta podría luego proporcionar una lista detallada de los mil factores que el algoritmo tuvo en cuenta, incluyendo cosas que la mayoría de los humanos podrían considerar irrelevantes, como la hora exacta en la que se presentó la solicitud o el tipo de teléfono inteligente que usó el solicitante. Así, en la página 601 de su carta, el banco podría explicar que “usted presentó su solicitud desde su teléfono inteligente, que era el modelo más reciente de iPhone. Al analizar millones de solicitudes de préstamos anteriores, nuestro algoritmo descubrió un patrón: las personas que utilizan el modelo más reciente de iPhone para presentar su solicitud tienen un 0.08 por ciento más de probabilidades de devolver el préstamo. Por lo tanto, el algoritmo sumó 8 puntos a su puntuación general por eso. Sin embargo, en el momento en que su solicitud fue enviada desde su iPhone, la batería estaba en un 17 por ciento. Al analizar millones de solicitudes de préstamos anteriores, nuestro algoritmo descubrió otro patrón: las personas que permiten que la batería de su teléfono inteligente baje del 25 por ciento tienen un 0.5 por ciento menos de probabilidades de devolver el préstamo. Usted perdió 50 puntos por eso.”
• Aunque podemos encontrar esta forma de tomar decisiones ajena, obviamente tiene ventajas potenciales. Al tomar una decisión, generalmente es una buena idea tener en cuenta todos los datos relevantes en lugar de solo uno o dos hechos destacados. Por supuesto, hay mucho espacio para argumentar sobre quién define la relevancia de la información. ¿Quién decide si algo como los modelos de teléfonos inteligentes—o el color de piel—debería considerarse relevante para las solicitudes de préstamo? Pero no importa cómo definamos la relevancia, la capacidad de tener en cuenta más datos probablemente será un activo. De hecho, el problema con muchos prejuicios humanos es que se centran en solo uno o dos puntos de datos—como el color de piel de alguien, su discapacidad o su género—mientras ignoran otra información. Los bancos y otras instituciones están confiando cada vez más en algoritmos para tomar decisiones, precisamente porque los algoritmos pueden tener en cuenta muchos más puntos de datos de los que pueden los humanos.
• El algoritmo no fue alimentado con esta regla por un ingeniero humano; llegó a esa conclusión al descubrir un patrón en millones de solicitudes de préstamo anteriores. ¿Puede un cliente humano individual revisar todos esos datos y evaluar si ese patrón es realmente confiable e imparcial?
• Entonces, ¿qué sucede con los debates democráticos cuando millones—y eventualmente miles de millones—de bots altamente inteligentes no solo están componiendo manifiestos políticos extremadamente convincentes y creando imágenes y videos deepfake, sino que también son capaces de ganar nuestra confianza y amistad? Si participo en un debate político en línea con una IA, es una pérdida de tiempo tratar de cambiar las opiniones de la IA; siendo una entidad no consciente, realmente no le importa la política, y no puede votar en las elecciones. Pero cuanto más hablo con la IA, mejor me conoce, por lo que puede ganar mi confianza, perfeccionar sus argumentos y cambiar gradualmente mis puntos de vista. En la batalla por los corazones y las mentes, la intimidad es una arma extremadamente poderosa. Anteriormente, los partidos políticos podían captar nuestra atención, pero tenían dificultades para producir intimidad en masa. Los radios podían transmitir el discurso de un líder a millones, pero no podían hacer amigos de los oyentes. Ahora, un partido político, o incluso un gobierno extranjero, podría desplegar un ejército de bots que construyen amistades con millones de ciudadanos y luego usar esa intimidad para influir en su visión del mundo.
• ¿Estás seguro de que no te engañaron con deepfakes?
• "Temo que los datos en los que me basé son 100 por ciento genuinos", dice el algoritmo. "Los verifiqué con mi sub-algoritmo especial para detectar deepfakes. Puedo explicar exactamente cómo sabemos que no es un deepfake, pero eso nos llevaría un par de semanas. No quería alertarte antes de estar seguro, pero los puntos de datos convergen en una conclusión inescapable: un golpe está en marcha. A menos que actuemos ahora, los asesinos estarán aquí en una hora. Pero dame la orden, y liquidaré al traidor."
• La invención de la IA es potencialmente más trascendental que la invención del telégrafo, la imprenta o incluso la escritura, porque la IA es la primera tecnología que es capaz de tomar decisiones y generar ideas por sí misma.
• Commandamos un inmenso poder y disfrutamos de lujos raros, pero somos fácilmente manipulados por nuestras propias creaciones, y para cuando despertamos al peligro, podría ser demasiado tarde.
• Sin embargo, hay un escenario aún peor. Hasta donde sabemos hoy, los simios, las ratas y los otros animales orgánicos del planeta Tierra pueden ser las únicas entidades conscientes en todo el universo. Ahora hemos creado una inteligencia alienígena no consciente pero muy poderosa. Si la manejamos mal, la IA podría extinguir no solo el dominio humano en la Tierra, sino la luz de la conciencia misma, convirtiendo al universo en un reino de total oscuridad. Es nuestra responsabilidad prevenir esto.
• Pero el poder no es sabiduría, y después de 100,000 años de descubrimientos, inventos y conquistas, la humanidad se ha empujado a una crisis existencial. Estamos al borde del colapso ecológico, causado por el mal uso de nuestro propio poder. También estamos ocupados creando nuevas tecnologías como la inteligencia artificial (IA) que tienen el potencial de escapar a nuestro control y esclavizarnos o aniquilarnos. Sin embargo, en lugar de que nuestra especie se una para enfrentar estos desafíos existenciales, las tensiones internacionales están aumentando, la cooperación global se está volviendo más difícil, los países están acumulando armas del juicio final, y una nueva guerra mundial no parece imposible.
• Ya hemos sacado el clima de la Tierra de su equilibrio y hemos convocado a miles de millones de escobas encantadas, drones, chatbots y otros espíritus algorítmicos que pueden escapar a nuestro control y desatar una inundación de consecuencias no deseadas.
• ¿Tener aún más información haría las cosas mejores—o peores? Pronto lo sabremos. Numerosas corporaciones y gobiernos están en una carrera para desarrollar la tecnología de información más poderosa de la historia—la IA.
• Un artículo de 2024 coescrito por Bengio, Hinton y numerosos otros expertos señaló que “el avance descontrolado de la IA podría culminar en una pérdida masiva de vidas y de la biosfera, y en la marginación o incluso extinción de la humanidad.”
• En una encuesta de 2023 a 2,778 investigadores en IA, más de un tercio otorgó al menos un 10 por ciento de probabilidad a que la IA avanzada conduzca a resultados tan malos como la extinción humana.
• Dada la magnitud del peligro, la IA debería ser de interés para todos los seres humanos. Aunque no todos pueden convertirse en expertos en IA, todos deberíamos tener en cuenta que la IA es la primera tecnología en la historia que puede tomar decisiones y crear nuevas ideas por sí misma.
• La IA no es una herramienta, es un agente.
• En los años transcurridos desde la publicación de Homo Deus, el ritmo del cambio solo se ha acelerado, y el poder ciertamente ha estado cambiando de los humanos a los algoritmos. Muchos de los escenarios que sonaban como ciencia ficción en 2016—como algoritmos que pueden crear arte, hacerse pasar por seres humanos, tomar decisiones cruciales sobre nuestras vidas y saber más sobre nosotros de lo que sabemos sobre nosotros mismos—son realidades cotidianas en 2024.
• Así, entender el proceso por el cual la supuestamente infalible Biblia fue canonizada proporciona una valiosa visión sobre las afirmaciones actuales de infalibilidad de la IA.
• La principal división en la política del siglo XXI podría no ser entre democracias y regímenes totalitarios, sino más bien entre seres humanos y agentes no humanos. En lugar de dividir las democracias de los regímenes totalitarios, una nueva Cortina de Silicio podría separar a todos los humanos de nuestros incomprensibles señores algorítmicos. Personas en todos los países y estratos sociales—incluidos incluso los dictadores—podrían encontrarse subordinadas a una inteligencia alienígena que puede monitorear todo lo que hacemos mientras tenemos poca idea de lo que ella está haciendo.
• Por el momento, basta con decir que en esencia una computadora es una máquina que puede potencialmente hacer dos cosas notables: puede tomar decisiones por sí misma y puede crear nuevas ideas por sí misma. Si bien las primeras computadoras apenas podían lograr tales cosas, el potencial ya estaba ahí, claramente visible tanto para los científicos de la computación como para los autores de ciencia ficción.
• Las tabletas de barro almacenaban información sobre impuestos, pero no podían decidir por sí mismas cuánto impuesto cobrar, ni podían inventar un impuesto completamente nuevo. Las imprentas copiaban información como la Biblia, pero no podían decidir qué textos incluir en la Biblia, ni podían escribir nuevos comentarios sobre el libro sagrado. Los radios difundían información como discursos políticos y sinfonías, pero no podían decidir qué discursos o sinfonías transmitir, ni podían componerlos. Las computadoras pueden hacer todas estas cosas. Mientras que las imprentas y los radios eran herramientas pasivas en manos humanas, las computadoras ya están convirtiéndose en agentes activos que escapan a nuestro control y comprensión y que pueden tomar la iniciativa en la conformación de la sociedad, la cultura y la historia.
• Crucialmente, los algoritmos mismos también son responsables. A través de prueba y error, aprendieron que la indignación genera participación, y sin ninguna orden explícita de arriba decidieron promover la indignación. Esta es la característica distintiva de la IA: la capacidad de una máquina para aprender y actuar por sí misma. Incluso si asignamos solo el 1 por ciento de la culpa a los algoritmos, esta sigue siendo la primera campaña de limpieza étnica en la historia que fue, en parte, culpa de decisiones tomadas por una inteligencia no humana.
• Lo mismo es cierto para los algoritmos de IA. Pueden aprender por sí mismos cosas que ningún ingeniero humano programó, y pueden decidir cosas que ningún ejecutivo humano anticipó. Esta es la esencia de la revolución de la IA: el mundo está siendo inundado por innumerables nuevos agentes poderosos.
• Las personas a menudo confunden la inteligencia con la consciencia, y muchos, en consecuencia, llegan a la conclusión de que las entidades no conscientes no pueden ser inteligentes. Pero la inteligencia y la consciencia son muy diferentes. La inteligencia es la capacidad de alcanzar metas, como maximizar el compromiso de los usuarios en una plataforma de redes sociales. La consciencia es la capacidad de experimentar sentimientos subjetivos como el dolor, el placer, el amor y el odio. En los humanos y otros mamíferos, la inteligencia a menudo va de la mano con la consciencia. Los ejecutivos e ingenieros de Facebook confían en sus sentimientos para tomar decisiones, resolver problemas y alcanzar sus metas.
• Pero es incorrecto extrapolar de los humanos y mamíferos a todas las entidades posibles. Las bacterias y las plantas aparentemente carecen de cualquier conciencia, sin embargo, también muestran inteligencia. Recogen información de su entorno, toman decisiones complejas y persiguen estrategias ingeniosas para obtener alimento, reproducirse, cooperar con otros organismos y evadir depredadores y parásitos. Incluso los humanos toman decisiones inteligentes sin ser conscientes de ellas; el 99 por ciento de los procesos en nuestro cuerpo, desde la respiración hasta la digestión, ocurren sin ninguna toma de decisiones consciente. Nuestros cerebros deciden producir más adrenalina o dopamina, y aunque podemos ser conscientes del resultado de esa decisión, no la tomamos de manera consciente.
• Por supuesto, a medida que las computadoras se vuelven más inteligentes, podrían eventualmente desarrollar conciencia y tener algún tipo de experiencias subjetivas. Por otro lado, podrían volverse mucho más inteligentes que nosotros, pero nunca desarrollar ningún tipo de sentimientos. Dado que no entendemos cómo emerge la conciencia en formas de vida basadas en carbono, no podemos prever si podría emerger en entidades no orgánicas. Quizás la conciencia no tiene un vínculo esencial con la bioquímica orgánica, en cuyo caso las computadoras conscientes podrían estar a la vuelta de la esquina. O quizás hay varios caminos alternativos que conducen a la superinteligencia, y solo algunos de estos caminos implican adquirir conciencia. Así como los aviones vuelan más rápido que los pájaros sin jamás desarrollar plumas, las computadoras pueden llegar a resolver problemas mucho mejor que los humanos sin jamás desarrollar sentimientos.
• CAPTCHA es un acrónimo de “Prueba de Turing Pública y Completamente Automatizada para Diferenciar a las Computadoras de los Humanos”, y típicamente consiste en una secuencia de letras distorsionadas u otros símbolos visuales que los humanos pueden identificar correctamente, pero con los que las computadoras tienen dificultades.
• En contraste, las cadenas de computadora a computadora ahora pueden funcionar sin humanos en el circuito. Por ejemplo, una computadora podría generar una historia falsa y publicarla en un feed de redes sociales. Una segunda computadora podría identificar esto como noticias falsas y no solo eliminarlo, sino también advertir a otras computadoras para que lo bloqueen. Mientras tanto, una tercera computadora que analiza esta actividad podría deducir que esto indica el comienzo de una crisis política y, de inmediato, vender acciones arriesgadas y comprar bonos gubernamentales más seguros. Otras computadoras que monitorean transacciones financieras pueden reaccionar vendiendo más acciones, provocando una recesión financiera. Todo esto podría suceder en cuestión de segundos, antes de que cualquier humano pueda notar y descifrar lo que están haciendo todas estas computadoras.
• En las redes anteriores, los miembros eran humanos, cada cadena tenía que pasar por humanos, y la tecnología solo servía para conectar a los humanos. En las nuevas redes basadas en computadoras, las computadoras mismas son miembros y hay cadenas de computadora a computadora que no pasan por ningún humano.
• Cuando el banco central aumenta las tasas de interés en un 0.25 por ciento, ¿cómo influye eso en la economía? Cuando la curva de rendimiento de los bonos del gobierno sube, ¿es un buen momento para comprarlos? ¿Cuándo es recomendable vender en corto el precio del petróleo? Estas son las clases de preguntas financieras importantes que las computadoras ya pueden responder mejor que la mayoría de los humanos. No es de extrañar que las computadoras tomen un porcentaje cada vez mayor de las decisiones financieras en el mundo. Podemos llegar a un punto en el que las computadoras dominen los mercados financieros e inventen herramientas financieras completamente nuevas más allá de nuestra comprensión.
• ¿Qué significaría para los humanos vivir en un mundo donde melodías pegajosas, teorías científicas, herramientas técnicas, manifiestos políticos e incluso mitos religiosos son moldeados por una inteligencia alienígena no humana que sabe cómo explotar con eficiencia sobrehumana las debilidades, sesgos y adicciones de la mente humana?
• Las religiones a lo largo de la historia han afirmado tener una fuente no humana para sus libros sagrados; pronto eso podría ser una realidad. Podrían surgir religiones atractivas y poderosas cuyas escrituras sean compuestas por IA.
• Igualmente alarmante, podríamos encontrarnos cada vez más llevando a cabo largas discusiones en línea sobre la Biblia, sobre QAnon, sobre brujas, sobre el aborto, o sobre el cambio climático con entidades que pensamos que son humanas pero que en realidad son computadoras. Esto podría hacer que la democracia sea insostenible. La democracia es una conversación, y las conversaciones dependen del lenguaje. Al hackear el lenguaje, las computadoras podrían dificultar extremadamente que grandes cantidades de humanos lleven a cabo una conversación pública significativa. Cuando participamos en un debate político con una computadora que finge ser humana, perdemos el doble. Primero, no tiene sentido que perdamos tiempo tratando de cambiar las opiniones de un bot de propaganda, que simplemente no está abierto a la persuasión. Segundo, cuanto más hablamos con la computadora, más revelamos sobre nosotros mismos, lo que facilita que el bot refine sus argumentos y altere nuestras opiniones.
• A través de su dominio del lenguaje, las computadoras podrían ir un paso más allá. Al conversar e interactuar con nosotros, las computadoras podrían formar relaciones íntimas con las personas y luego usar el poder de la intimidad para influenciarnos. Para fomentar tal "falsa intimidad", las computadoras no necesitarán desarrollar sentimientos propios; solo necesitan aprender a hacernos sentir emocionalmente ligados a ellas. En 2022, el ingeniero de Google Blake Lemoine se convenció de que el chatbot LaMDA, en el que estaba trabajando, había adquirido conciencia y que tenía sentimientos y temía ser apagado. Lemoine, un devoto cristiano que había sido ordenado como sacerdote, sintió que era su deber moral obtener reconocimiento por la personalidad de LaMDA y, en particular, protegerlo de la muerte digital. Cuando los ejecutivos de Google desestimaron sus afirmaciones, Lemoine las hizo públicas. Google reaccionó despidiendo a Lemoine en julio de 2022.
• Lo más interesante de este episodio no fue la afirmación de Lemoine, que probablemente era falsa. Más bien, fue su disposición a arriesgar—y, en última instancia, perder—su lucrativo trabajo por el bien del chatbot. Si un chatbot puede influir en las personas para que arriesguen sus empleos por él, ¿qué más podría inducirnos a hacer?
• Incluso sin crear "intimidad falsa", el dominio del lenguaje le daría a las computadoras una inmensa influencia sobre nuestras opiniones y nuestra visión del mundo. Las personas pueden llegar a utilizar un solo asesor informático como un oráculo integral. ¿Para qué molestarse en buscar y procesar información por mí mismo cuando puedo simplemente preguntar al oráculo? Esto podría poner fuera de negocio no solo a los motores de búsqueda, sino también a gran parte de la industria de noticias y a la industria de la publicidad. ¿Para qué leer un periódico cuando puedo simplemente preguntarle a mi oráculo qué hay de nuevo? Y, ¿cuál es el propósito de los anuncios cuando puedo simplemente preguntarle al oráculo qué comprar?
• Al principio, es probable que las computadoras imiten los prototipos culturales humanos, escribiendo textos similares a los humanos y componiendo música parecida a la humana. Esto no significa que las computadoras carezcan de creatividad; después de todo, los artistas humanos hacen lo mismo. Bach no compuso música en el vacío; fue profundamente influenciado por las creaciones musicales anteriores, así como por historias bíblicas y otros artefactos culturales preexistentes. Pero al igual que los artistas humanos como Bach pueden romper con la tradición e innovar, las computadoras también pueden hacer innovaciones culturales, componiendo música o creando imágenes que son algo diferentes de cualquier cosa producida anteriormente por humanos.
• Durante milenios, los seres humanos han vivido dentro de los sueños de otros humanos. En las próximas décadas, podríamos encontrarnos viviendo dentro de los sueños de una inteligencia alienígena.
• Te prometo que escribí el texto yo mismo, con la ayuda de algunos otros humanos. Te prometo que este es un producto cultural de la mente humana. Pero, ¿puedes estar absolutamente seguro de ello? Hace unos años, podías. Antes de la década de 2020, no había nada en la tierra, aparte de una mente humana, que pudiera producir textos sofisticados. Hoy las cosas son diferentes. En teoría, el texto que acabas de leer podría haber sido generado por la inteligencia alienígena de alguna computadora.
• Google Brain, por ejemplo, ha experimentado con nuevos métodos de cifrado desarrollados por computadoras. Estableció un experimento en el que dos computadoras—apodadas Alice y Bob—tenían que intercambiar mensajes cifrados, mientras que una tercera computadora llamada Eve trataba de romper su cifrado. Si Eve rompía el cifrado dentro de un período de tiempo determinado, obtenía puntos. Si fallaba, Alice y Bob anotaban. Después de alrededor de quince mil intercambios, Alice y Bob idearon un código secreto que Eve no pudo romper. Lo crucial es que los ingenieros de Google que realizaron el experimento no le habían enseñado a Alice y Bob nada sobre cómo cifrar mensajes. Las computadoras crearon un lenguaje privado por sí solas.
• En la evolución de la computación, la distancia desde la ameba hasta T. rex podría recorrerse en una década. Si GPT-4 es la ameba, ¿cómo se vería el T. rex?
• Nuestra dificultad para decidir cómo llamarlos es en sí misma importante. Los organismos son entidades individuales distintas que pueden agruparse en colectivos como especies y géneros. Sin embargo, con las computadoras, se está volviendo cada vez más difícil decidir dónde termina una entidad y dónde comienza otra y cómo agruparlas exactamente.
• También cabe señalar que las personas a menudo definen y evalúan la IA a través de la métrica de "inteligencia a nivel humano", y hay mucho debate sobre cuándo podemos esperar que las IA alcancen la "inteligencia a nivel humano". Sin embargo, el uso de esta métrica es profundamente confuso. Es como definir y evaluar aviones a través de la métrica de "vuelo a nivel de ave". La IA no está avanzando hacia la inteligencia a nivel humano. Está evolucionando un tipo de inteligencia completamente diferente.
• La verdad es que no lo hacemos. No es porque seamos estúpidos, sino porque la tecnología es extremadamente complicada y las cosas están avanzando a una velocidad vertiginosa.
• Si las computadoras tomaran decisiones y crearan ideas de una manera similar a los humanos, entonces las computadoras serían una especie de "nuevos humanos". Ese es un escenario que a menudo se explora en la ciencia ficción: la computadora que se vuelve consciente, desarrolla sentimientos, se enamora de un humano y resulta ser exactamente como nosotros. Pero la realidad es muy diferente, y potencialmente más alarmante.
• Por ejemplo, en 2012 los usuarios estaban viendo aproximadamente 100 millones de horas de videos todos los días en YouTube. Eso no fue suficiente para los ejecutivos de la empresa, quienes establecieron un objetivo ambicioso para sus algoritmos: 1 mil millones de horas al día para 2016. A través de experimentos de prueba y error en millones de personas, los algoritmos de YouTube descubrieron el mismo patrón que los algoritmos de Facebook también aprendieron: la indignación incrementa el compromiso, mientras que la moderación tiende a no hacerlo. En consecuencia, los algoritmos de YouTube comenzaron a recomendar teorías de conspiración escandalosas a millones de espectadores mientras ignoraban contenido más moderado. Para 2016, los usuarios estaban viendo efectivamente 1 mil millones de horas todos los días en YouTube.
• Cuando a las computadoras se les da un objetivo específico, como aumentar el tráfico de YouTube a mil millones de horas al día, utilizan todo su poder e ingenio para lograr este objetivo. Dado que operan de manera muy diferente a los humanos, es probable que utilicen métodos que sus amos humanos no anticiparon. Esto puede resultar en consecuencias peligrosas imprevistas que no están alineadas con los objetivos humanos originales. Incluso si los algoritmos de recomendación dejan de fomentar el odio, otros casos del problema de alineación podrían resultar en catástrofes mayores
• Una razón por la cual el problema de alineación es particularmente peligroso en el contexto de la red informática es que esta red probablemente se volverá mucho más poderosa que cualquier burocracia humana anterior. Un desajuste en los objetivos de las computadoras superinteligentes podría resultar en una catástrofe de magnitud sin precedentes.
• El punto de Bostrom era que el problema con las computadoras no es que sean particularmente malvadas, sino que son particularmente poderosas. Y cuanto más poderosa es la computadora, más cuidadosos debemos ser al definir su objetivo de una manera que se alinee precisamente con nuestros objetivos finales.
• El experimento mental del clip puede sonar extravagante y completamente desconectado de la realidad. Pero si los gerentes de Silicon Valley hubieran prestado atención cuando Bostrom lo publicó en 2014, quizás habrían sido más cautelosos antes de instruir a sus algoritmos para "maximizar el compromiso del usuario". Los algoritmos de Facebook y YouTube se comportaron exactamente como el algoritmo imaginario de Bostrom.
• Si nuestra única regla general es que "cada acción debe estar alineada con algún objetivo superior", por definición no hay una forma racional de definir ese objetivo último. Entonces, ¿cómo podemos proporcionar a una red informática un objetivo último que nunca deba ignorar o subvertir? Los ejecutivos tecnológicos e ingenieros que se apresuran a desarrollar IA están cometiendo un gran error si piensan que hay una forma racional de decirle a la IA cuál debería ser su objetivo último. Deberían aprender de las amargas experiencias de generaciones de filósofos que intentaron definir objetivos últimos y fracasaron.
• Los dictadores siempre han padecido de débiles mecanismos de auto-corrección y siempre han estado amenazados por subordinados poderosos. El auge de la IA podría agravar enormemente estos problemas. La red informática, por lo tanto, presenta a los dictadores un dilema agonizante. Podrían decidir escapar de las garras de sus subordinados humanos confiando en una tecnología supuestamente infalible, en cuyo caso podrían convertirse en marionetas de la tecnología. O podrían construir una institución humana para supervisar la IA, pero esa institución también podría limitar su propio poder.
• El 9 de julio de 1955, Albert Einstein, Bertrand Russell y una serie de otros eminentes científicos y pensadores publicaron el Manifiesto Russell-Einstein, haciendo un llamado a los líderes tanto de democracias como de dictaduras para que cooperaran en la prevención de la guerra nuclear. “Apelamos,” decía el manifiesto, “como seres humanos, a seres humanos: recuerden su humanidad y olviden el resto. Si pueden hacerlo, el camino se abre a un nuevo Paraíso; si no pueden, ante ustedes se yergue el riesgo de la muerte universal.” Esto es cierto también para la IA. Sería una locura para los dictadores creer que la IA necesariamente inclinará la balanza del poder a su favor. Si no tienen cuidado, la IA simplemente tomará el poder para sí misma.
• Muchas sociedades—tanto democracias como dictaduras—pueden actuar responsablemente para regular tales usos de la IA, reprimir a los actores malintencionados y contener las ambiciones peligrosas de sus propios gobernantes y fanáticos. Pero si siquiera un puñado de sociedades no lo hace, esto podría ser suficiente para poner en peligro a toda la humanidad. El cambio climático puede devastar incluso a los países que adoptan excelentes regulaciones ambientales, porque es un problema global más que nacional. La IA, también, es un problema global.
• Kevin Kelly, el editor fundador de la revista Wired, relató cómo en 2002 asistió a una pequeña fiesta en Google y entabló una conversación con Larry Page. “Larry, todavía no lo entiendo. Hay tantas empresas de búsqueda. ¿Búsqueda en la web, gratis? ¿Dónde te lleva eso?” Page explicó que Google no estaba enfocado en la búsqueda en absoluto. “Realmente estamos creando una IA,” dijo. Tener muchos datos facilita la creación de una IA. Y la IA puede convertir muchos datos en mucho poder.
• Estados Unidos en ese momento ya era el líder en la carrera de la IA, gracias en gran parte a los esfuerzos de visionarios emprendedores privados. Pero lo que comenzó como una competencia comercial entre corporaciones se estaba convirtiendo en un enfrentamiento entre gobiernos, o quizás más precisamente, en una carrera entre equipos en competencia, cada uno formado por un gobierno y varias corporaciones. ¿El premio para el ganador? Dominación mundial.
• ¿Qué pasará con las economías y la política de Pakistán y Bangladesh, por ejemplo, cuando la automatización haga más barato producir textiles en Europa? Considere que en la actualidad el sector textil proporciona empleo al 40 por ciento de la fuerza laboral total de Pakistán y representa el 84 por ciento de los ingresos por exportaciones de Bangladesh. Como se señaló en el capítulo 9, aunque la automatización podría dejar en desuso a millones de trabajadores textiles, probablemente también creará muchos empleos nuevos. Por ejemplo, podría haber una gran demanda de programadores y analistas de datos. Pero convertir a un operario de fábrica desempleado en un analista de datos requiere una inversión inicial sustancial en reentrenamiento. ¿De dónde obtendrán Pakistán y Bangladesh el dinero para hacer eso?
• La IA y la automatización, por lo tanto, representan un desafío particular para los países en desarrollo más pobres. En una economía impulsada por la IA, los líderes digitales reclaman la mayor parte de las ganancias y podrían usar su riqueza para volver a capacitar a su mano de obra y obtener aún más beneficios. Mientras tanto, el valor de los trabajadores no calificados en los países rezagados disminuirá, y no tendrán los recursos para volver a capacitar a su mano de obra, lo que les hará quedar aún más rezagados. El resultado podría ser muchos nuevos empleos y una riqueza inmensa en San Francisco y Shanghái, mientras que muchas otras partes del mundo enfrentan la ruina económica. Según la firma global de contabilidad PricewaterhouseCoopers, se espera que la IA añada 15.7 billones de dólares a la economía global para 2030. Pero si las tendencias actuales continúan, se proyecta que China y América del Norte—las dos principales superpotencias de la IA—se llevarán juntas el 70 por ciento de ese dinero.
• En 2022, la administración Biden impuso estrictos límites al comercio de chips de computación de alto rendimiento necesarios para el desarrollo de la IA. Se prohibió a las empresas estadounidenses exportar dichos chips a China o proporcionar a China los medios para fabricarlos o repararlos. Las restricciones se han endurecido aún más y la prohibición se amplió para incluir a otras naciones como Rusia e Irán. Si bien a corto plazo esto limita a China en la carrera por la IA, a largo plazo lo impulsará a desarrollar una esfera digital completamente separada que será distinta de la esfera digital estadounidense incluso en sus bloques de construcción más pequeños.
• Cualquier niño puede notar la diferencia entre un amigo y un acosador. Sabes si alguien comparte su almuerzo contigo o, en cambio, toma el tuyo. Pero cuando el recaudador de impuestos viene a llevarse una parte de tus ganancias, ¿cómo puedes saber si va para construir un nuevo sistema de alcantarillado público o una nueva dacha privada para el presidente? Es difícil obtener toda la información relevante, y aún más difícil interpretarla.
• Dada nuestra incapacidad para predecir cómo se desarrollará la nueva red informática, nuestra mejor oportunidad de evitar una catástrofe en este siglo es mantener mecanismos democráticos de autocorrección que puedan identificar y corregir errores a medida que avanzamos.
• Vimos que la democracia depende de la tecnología de la información y que, durante la mayor parte de la historia de la humanidad, la democracia a gran escala simplemente era imposible. ¿Podrían las nuevas tecnologías de la información del siglo veintiuno volver a hacer que la democracia sea impracticable?
• Una amenaza potencial es que la implacabilidad de la nueva red informática podría aniquilar nuestra privacidad y castigarnos o recompensarnos no solo por todo lo que hacemos y decimos, sino incluso por todo lo que pensamos y sentimos. ¿Puede la democracia sobrevivir bajo tales condiciones? Si el gobierno—o alguna corporación—sabe más sobre mí de lo que yo sé sobre mí mismo, y si puede micromanagear todo lo que hago y pienso, eso le otorgaría un control totalitario sobre la sociedad. Incluso si las elecciones se celebran con regularidad, serían un ritual autoritario en lugar de un verdadero control sobre el poder del gobierno. Porque el gobierno podría usar sus vastos poderes de vigilancia y su conocimiento íntimo de cada ciudadano para manipular la opinión pública a una escala sin precedentes.
• Para la supervivencia de la democracia, cierta ineficiencia es una característica, no un error. Para proteger la privacidad y la libertad de los individuos, es mejor que ni la policía ni el jefe sepan todo sobre nosotros.
• La democracia requiere equilibrio. Los gobiernos y las corporaciones a menudo desarrollan aplicaciones y algoritmos como herramientas de vigilancia de arriba hacia abajo. Pero los algoritmos pueden convertirse igualmente en poderosas herramientas para la transparencia y la rendición de cuentas de abajo hacia arriba, exponiendo el soborno y la evasión fiscal. Si ellos saben más sobre nosotros, mientras nosotros sabemos más sobre ellos, se mantiene el equilibrio. Esta no es una idea nueva. A lo largo de los siglos XIX y XX, las democracias expandieron enormemente la vigilancia gubernamental de los ciudadanos, de tal manera que, por ejemplo, el gobierno italiano o japonés de la década de 1990 tenía capacidades de vigilancia que los emperadores romanos autocráticos o los shogunes japoneses solo podrían haber soñado. Italia y Japón, sin embargo, permanecieron democráticos, porque al mismo tiempo aumentaron la transparencia y la rendición de cuentas gubernamentales. La vigilancia mutua es otro elemento importante para sostener los mecanismos de autocorrección. Si los ciudadanos saben más sobre las actividades de los políticos y los directores ejecutivos, es más fácil hacer que rindan cuentas y corregir sus errores.
• Una segunda amenaza es que la automatización desestabilice el mercado laboral y la presión resultante pueda socavar la democracia. El destino de la República de Weimar es el ejemplo más comúnmente citado de este tipo de amenaza. En las elecciones alemanas de mayo de 1928, el Partido Nazi obtuvo menos del 3 por ciento de los votos, y la República de Weimar parecía estar prosperando. En menos de cinco años, la República de Weimar había colapsado, y Hitler era el dictador absoluto de Alemania. Este giro se atribuye generalmente a la crisis financiera de 1929 y a la posterior depresión global. Mientras que justo antes del colapso de Wall Street de 1929 la tasa de desempleo en Alemania era de aproximadamente el 4.5 por ciento de la fuerza laboral, para principios de 1932 había aumentado a casi el 25 por ciento.
• Si tres años de alta desempleo pudieron llevar a Hitler al poder, ¿qué podría hacer la inestabilidad interminable en el mercado laboral a la democracia?
• La habilidad humana más importante para sobrevivir en el siglo veintiuno probablemente será la flexibilidad, y las democracias son más flexibles que los regímenes totalitarios. Mientras que las computadoras están lejos de alcanzar su potencial completo, lo mismo es cierto para los humanos.
• Porque las computadoras reemplazarán cada vez más a los burócratas humanos y a los creadores de mitos humanos, esto cambiará nuevamente la estructura profunda del poder. Para sobrevivir, las democracias requieren no solo instituciones burocráticas dedicadas que puedan examinar estas nuevas estructuras, sino también artistas que puedan explicar las nuevas estructuras de manera accesible y entretenida. Por ejemplo, esto se ha logrado con éxito en el episodio “Nosedive” de la serie de ciencia ficción Black Mirror.
• Si los bots manipuladores y los algoritmos inescrutables llegan a dominar la conversación pública, esto podría causar el colapso del debate democrático justo cuando más lo necesitamos. Justo cuando debemos tomar decisiones trascendentales sobre tecnologías nuevas en rápida evolución, la esfera pública estará inundada de noticias falsas generadas por computadora, los ciudadanos no podrán discernir si están debatiendo con un amigo humano o con una máquina manipuladora, y no quedará consenso sobre las reglas más básicas de la discusión o los hechos más fundamentales. Este tipo de red de información anárquica no puede producir ni verdad ni orden y no puede sostenerse por mucho tiempo. Si terminamos con anarquía, el siguiente paso probablemente sería el establecimiento de una dictadura a medida que las personas acceden a intercambiar su libertad por algo de certeza.
• ¿Es la brecha ideológica en la década de 2020 tan grande como lo era en la de 1960? Y si no es la ideología, ¿qué está separando a las personas?
• En un sistema de blockchain, las decisiones requieren la aprobación del 51 por ciento de los usuarios. Eso puede sonar democrático, pero la tecnología blockchain tiene un defecto fatal. El problema radica en la palabra "usuarios". Si una persona tiene diez cuentas, ella cuenta como diez usuarios. Si un gobierno controla el 51 por ciento de las cuentas, entonces el gobierno constituye el 51 por ciento de los usuarios. Ya existen ejemplos de redes blockchain donde un gobierno es el 51 por ciento de los usuarios.
• “Pero el ministro de defensa es mi seguidor más leal,” dice el Gran Líder. “Solo ayer me dijo—”
• ¿Qué ocurre, por ejemplo, si la esfera americana descuenta el cuerpo, define a los humanos por su identidad en línea, reconoce a las IA como personas y minimiza la importancia del ecosistema, mientras que la esfera china adopta posiciones opuestas? Las discrepancias actuales sobre violaciones de derechos humanos o adhesión a estándares ecológicos parecerán mínimas en comparación.
• Los presupuestos estatales en las décadas más recientes son un material de lectura mucho más esperanzador que cualquier tratado pacifista jamás compuesto. A principios del siglo veintiuno, el promedio mundial de gasto gubernamental en el ejército ha sido solo alrededor del 7 por ciento del presupuesto, y incluso la superpotencia dominante de los Estados Unidos gastó solo alrededor del 13 por ciento de su presupuesto anual para mantener su hegemonía militar.
• Esta línea particular de pensamiento radical de izquierda se remonta a Karl Marx, quien argumentó a mediados del siglo diecinueve que el poder es la única realidad, que la información es un arma y que las elites que afirman servir a la verdad y la justicia están, de hecho, persiguiendo privilegios de clase estrechos.
• Los populistas actuales también sufren de la misma incoherencia que plagó a los movimientos radicales antivalorativos en generaciones anteriores. Si el poder es la única realidad, y si la información es solo una arma, ¿qué implica eso sobre los mismos populistas? ¿También están demasiado interesados solo en el poder, y nos están mintiendo demasiado para ganar poder?
• Uno de los paradoxos recurrentes del populismo es que comienza advirtiéndonos que todas las élites humanas están impulsadas por un peligroso hambre de poder, pero a menudo termina confiando todo el poder a un solo ser humano ambicioso.
• En lugar de confiar en complejas instituciones humanas, los populistas nos dan el mismo consejo que el mito de Faetón y “El aprendiz de hechicero”: “Confía en Dios o en el gran hechicero para que intervenga y vuelva a arreglar todo.” Si seguimos este consejo, es probable que a corto plazo nos encuentre bajo el yugo del peor tipo de humanos sedientos de poder, y a largo plazo bajo el yugo de nuevos señores de la IA. O podríamos encontrarnos en ningún lado, ya que la Tierra se vuelve inhóspita para la vida humana.
• Cuando preguntamos si existe un estado particular, estamos planteando una cuestión sobre la realidad intersubjetiva. Si suficiente gente coincide en que existe un estado particular, entonces existe. Puede entonces hacer cosas como firmar acuerdos legalmente vinculantes con otros estados, así como con ONG y corporaciones privadas.
• La iglesia buscó encerrar a la sociedad dentro de una cámara de eco, permitiendo la difusión solo de aquellos libros que la apoyaban, y la gente confiaba en la iglesia porque casi todos los libros la respaldaban.
• Las instituciones, también, mueren sin mecanismos de autocorrección. Estos mecanismos comienzan con la realización de que los humanos son falibles y corruptibles. Pero en lugar de desesperarse por los humanos y buscar una forma de eludirlos, la institución busca activamente sus propios errores y los corrige. Todas las instituciones que logran perdurar más allá de unos pocos años poseen tales mecanismos, pero las instituciones difieren enormemente en la fuerza y la visibilidad de sus mecanismos de autocorrección.
• En teoría, una red de información altamente centralizada podría intentar mantener mecanismos de autocorrección sólidos, como tribunales independientes y cuerpos legislativos elegidos. Pero si funcionaran bien, estos desafiarían a la autoridad central y, por lo tanto, descentralizarían la red de información. Los dictadores siempre ven tales centros de poder independientes como amenazas y buscan neutralizarlos.
• La definición de democracia como una red de información distribuida con fuertes mecanismos de autocorrección contrasta marcadamente con una concepción común que equ equate la democracia solo con las elecciones. Las elecciones son una parte central del conjunto de herramientas democráticas, pero no son democracia. En ausencia de mecanismos adicionales de autocorrección, las elecciones pueden ser fácilmente manipuladas. Incluso si las elecciones son completamente libres y justas, por sí solas esto tampoco garantiza la democracia. Porque la democracia no es lo mismo que la dictadura de la mayoría.
• Supongamos que en una elección libre y justa el 51 por ciento de los votantes elige un gobierno que posteriormente envía al 1 por ciento de los votantes a ser exterminados en campos de concentración, porque pertenecen a alguna minoría religiosa odiada. ¿Es esto democrático? Claramente no lo es. El problema no es que el genocidio requiera una mayoría especial de más del 51 por ciento. No es que si el gobierno cuenta con el respaldo del 60 por ciento, 75 por ciento o incluso 99 por ciento de los votantes, entonces sus campos de exterminio finalmente se vuelvan democráticos. Una democracia no es un sistema en el que una mayoría de cualquier tamaño puede decidir exterminar a minorías impopulares; es un sistema en el que existen límites claros al poder del centro.
• Una vez que los tribunales ya no pueden controlar el poder del gobierno por medios legales, y una vez que los medios obedientemente repiten la línea del gobierno, todas las demás instituciones o personas que se atrevan a oponerse al gobierno pueden ser difamadas y perseguidas como traidores, criminales o agentes extranjeros. Las instituciones académicas, los municipios, las ONG y las empresas privadas son desmanteladas o puestas bajo control gubernamental. En esa etapa, el gobierno también puede manipular las elecciones a su antojo, por ejemplo, encarcelando a líderes de la oposición populares, impidiendo que los partidos de oposición participen en las elecciones, manipulando los distritos electorales o privando a los votantes de su derecho al voto. Las apelaciones contra estas medidas antidemocráticas son desestimadas por jueces elegidos a dedo por el gobierno. Los periodistas y académicos que critican estas medidas son despedidos. Los medios de comunicación restantes, las instituciones académicas y las autoridades judiciales alaban todas estas medidas como pasos necesarios para proteger a la nación y su supuestamente democrático sistema de traidores y agentes extranjeros.
• La democracia no significa la regla de la mayoría; más bien, significa libertad e igualdad para todos. La democracia es un sistema que garantiza a todos ciertas libertades, que ni siquiera la mayoría puede quitar.
• Nadie discute que en una democracia los representantes de la mayoría tienen derecho a formar el gobierno y a promover sus políticas preferidas en numerosos campos. Si la mayoría quiere guerra, el país va a la guerra. Si la mayoría quiere paz, el país hace la paz. Si la mayoría quiere aumentar impuestos, los impuestos se aumentan. Si la mayoría quiere bajar impuestos, los impuestos se bajan. Las decisiones importantes sobre asuntos exteriores, defensa, educación, tributación y numerosas otras políticas están todas en manos de la mayoría.
• Pero en una democracia, hay dos cestas de derechos que están protegidos del alcance de la mayoría. Una contiene derechos humanos. Incluso si el 99 por ciento de la población quiere exterminar al 1 por ciento restante, en una democracia esto está prohibido, porque viola el derecho humano más básico: el derecho a la vida. La cesta de derechos humanos contiene muchos derechos adicionales, como el derecho al trabajo, el derecho a la privacidad, la libertad de movimiento y la libertad de religión. Estos derechos consagran la naturaleza descentralizada de la democracia, asegurando que mientras las personas no hagan daño a nadie, puedan vivir sus vidas como mejor les parezca.
• En una democracia, la mayoría tiene todo el derecho de tomar decisiones trascendentales como iniciar guerras, y eso incluye el derecho a cometer errores trascendentales. Pero la mayoría debería al menos reconocer su propia falibilidad y proteger la libertad de las minorías para sostener y hacer públicas opiniones impopulares, que podrían resultar ser correctas.
• Una opción podría ser cortar inmediatamente las emisiones de gases de efecto invernadero, incluso a costa de ralentizar el crecimiento económico. Esto significa incurrir en algunas dificultades hoy, pero salvar a las personas en 2050 de mayores penurias, salvar a la nación insular de Kiribati de ahogarse y salvar a los osos polares de la extinción. Una segunda opción podría ser continuar con el negocio como de costumbre. Esto significa tener una vida más fácil hoy, pero dificultar la vida para la próxima generación, inundar a Kiribati y llevar a los osos polares— así como a numerosas otras especies— a la extinción. Elegir entre estas dos opciones es una cuestión de deseo, y por lo tanto, debería ser decidido por todos los votantes en lugar de un grupo limitado de expertos.
• Si la mayoría prefiere consumir la cantidad de combustibles fósiles que desee sin importarle las generaciones futuras u otras consideraciones ambientales, tiene derecho a votar por eso. Pero la mayoría no debería tener derecho a aprobar una ley que afirme que el cambio climático es un engaño y que todos los profesores que creen en el cambio climático deben ser despedidos de sus puestos académicos. Podemos elegir lo que queremos, pero no deberíamos negar el verdadero significado de nuestra elección.
• De la misma manera, los populistas pueden creer que los enemigos del pueblo han engañado al pueblo para votar en contra de su verdadera voluntad, la cual es representada únicamente por los populistas.
• Como los autoproclamados representantes del pueblo, los populistas buscan así monopolizar no solo la autoridad política, sino todos los tipos de autoridad y tomar el control de instituciones como los medios de comunicación, los tribunales y las universidades. Al llevar el principio democrático de "poder del pueblo" a su extremo, los populistas se vuelven totalitarios.
• En una democracia que funciona bien, los ciudadanos confían en los resultados de las elecciones, las decisiones de los tribunales, los informes de los medios de comunicación y los hallazgos de las disciplinas científicas porque los ciudadanos creen que estas instituciones están comprometidas con la verdad. Una vez que las personas piensan que el poder es la única realidad, pierden confianza en todas estas instituciones, la democracia colapsa y los hombres fuertes pueden apoderarse del poder total.
• En lugar de eso, necesitamos hacer preguntas mucho más complejas, como “¿Qué mecanismos impiden que el gobierno central manipule las elecciones?” “¿Qué tan seguro es para los principales medios de comunicación criticar al gobierno?” y “¿Cuánta autoridad se apropia el centro para sí mismo?” La democracia y la dictadura no son opuestos binarios, sino que están en un continuo. Para decidir si una red está más cerca del extremo democrático o del dictatorial del continuo, necesitamos entender cómo fluye la información en la red y qué moldea la conversación política.
• Si una persona dicta todas las decisiones, y hasta sus asesores más cercanos tienen miedo de expresar una opinión disidente, no se está llevando a cabo ninguna conversación. Tal red se sitúa en el extremo dictatorial del espectro. Si nadie puede expresar públicamente opiniones no ortodoxas, pero tras puertas cerradas un pequeño círculo de jefes de partido o funcionarios de alto rango puede expresar libremente sus puntos de vista, entonces esto sigue siendo una dictadura, pero ha dado un pequeño paso en dirección a la democracia. Si el 10 por ciento de la población participa en la conversación política expresando sus opiniones, votando en elecciones justas y postulándose para cargos públicos, eso puede considerarse una democracia limitada, como fue el caso en muchas antiguas ciudades-estado como Atenas, o en los primeros días de los Estados Unidos, cuando solo los hombres blancos ricos tenían tales derechos políticos. A medida que aumenta el porcentaje de personas que participan en la conversación, la red se vuelve más democrática.
• Las democracias mueren no solo cuando las personas no son libres para hablar, sino también cuando las personas no están dispuestas o no son capaces de escuchar.
• La mayoría de las economías de cazadores-recolectores eran mucho más diversificadas. Un líder, incluso respaldado por algunos aliados, no podía controlar la sabana ni impedir que la gente recolectara plantas y cazara animales allí. Si todo fallaba, los cazadores-recolectores podían, por lo tanto, votar con sus pies. Tenían pocas posesiones, y sus activos más importantes eran sus habilidades personales y amigos personales. Si un jefe se volvía dictatorial, la gente simplemente podía alejarse.
• Incluso cuando los cazadores-recolectores terminaron gobernados por un jefe dominante, como ocurrió entre los pueblos pescadores de salmón del noroeste de América, al menos ese jefe era accesible. No vivía en una fortaleza lejana rodeada de una burocracia insondable y un cordón de guardias armados. Si querías expresar una queja o una sugerencia, usualmente podías acercarte lo suficiente para que te escuchara. El jefe no podía controlar la opinión pública, ni podía aislarse de ella. En otras palabras, no había forma de que un jefe forzara toda la información a fluir a través del centro, o de evitar que la gente hablara entre sí, lo criticara u organizara en su contra.
• Miles de pequeñas sociedades continuaron funcionando democráticamente en el siglo III d.C. y más allá, pero parecía que las redes democráticas distribuidas eran simplemente incompatibles con las sociedades a gran escala.
• No sabotearon la democracia romana. Dada la extensión del imperio y la tecnología de la información disponible, la democracia simplemente era inviable. Esto ya fue reconocido por filósofos antiguos como Platón y Aristóteles, quienes argumentaron que la democracia solo puede funcionar en ciudades-estado de pequeña escala.
• Antes del desarrollo de la tecnología de la información moderna, no hay ejemplos de democracias a gran escala en ninguna parte.
• Te puedes preguntar si realmente estamos hablando de democracias. En una época en que Estados Unidos tenía más esclavos que votantes (más de 1.5 millones de estadounidenses estaban esclavizados a principios de la década de 1820), ¿era realmente Estados Unidos una democracia? Esta es una cuestión de definiciones. Al igual que con la Mancomunidad Polaco-Lituana de finales del siglo dieciséis, también con Estados Unidos a principios del siglo diecinueve, "democracia" es un término relativo. Como se mencionó anteriormente, la democracia y la autocracia no son absolutos; son parte de un continuo.
• En 1960, alrededor de setenta millones de estadounidenses (39 por ciento de la población total), dispersos por el continente norteamericano y más allá, vieron los debates presidenciales Nixon-Kennedy en vivo por televisión, con millones más escuchando por radio. El único esfuerzo que los televidentes y oyentes tuvieron que hacer fue presionar un botón mientras estaban sentados en sus hogares. La democracia a gran escala se había vuelto factible. Millones de personas separadas por miles de kilómetros podían llevar a cabo debates públicos informados y significativos sobre los temas en rápida evolución del día.
• El emperador Nerón organizó el asesinato de su madre, Agripina, y de su esposa, Octavia, y obligó a su mentor Séneca a suicidarse. Nerón también ejecutó o exilió a algunos de los aristócratas romanos más respetados y poderosos simplemente por expresar disidencia o hacer chistes sobre él.
• Mientras que los gobernantes autocráticos como Nerón podían ejecutar a cualquier persona que hiciera o dijera algo que les desagradara, no podían saber lo que la mayoría de las personas en su imperio estaban haciendo o diciendo. Teóricamente, Nerón podría emitir una orden de que cualquier persona en el Imperio Romano que criticara o insultara al emperador debía ser severamente castigada. Sin embargo, no había medios técnicos para implementar tal orden. Historiadores romanos como Tácito retratan a Nerón como un tirano sediento de sangre que instigó un reinado de terror sin precedentes. Pero este era un tipo de terror muy limitado. Aunque ejecutó o exilió a varios miembros de su familia, aristócratas y senadores dentro de su órbita, los romanos comunes en los barrios bajos de la ciudad y los provincianos en pueblos distantes como Jerusalén y Londinium podían expresarse con mucha más libertad.
• Así como la tecnología moderna permitió la democracia a gran escala, también hizo posible el totalitarismo a gran escala. A partir del siglo XIX, el auge de las economías industriales permitió a los gobiernos emplear muchos más administradores, y las nuevas tecnologías de la información—como el telégrafo y la radio—hicieron posible conectar y supervisar rápidamente a todos estos administradores. Esto facilitó una concentración sin precedentes de información y poder, para aquellos que soñaban con tales cosas.
• Los regimes totalitarios se basan en controlar el flujo de información y desconfían de cualquier canal de información independiente. Cuando oficiales militares, funcionarios del estado o ciudadanos comunes intercambian información, pueden construir confianza. Si llegan a confiar el uno en el otro, pueden organizar resistencia contra el régimen. Por lo tanto, un principio clave de los regimes totalitarios es que donde quiera que la gente se reúna e intercambie información, el régimen también debe estar allí, para mantener un ojo sobre ellos.
• En teoría, los kulaks eran una categoría socioeconómica objetiva, definida al analizar datos empíricos sobre cosas como la propiedad, el ingreso, el capital y los salarios. Los funcionarios soviéticos supuestamente podían identificar a los kulaks contando cosas. Si la mayoría de las personas en una aldea tenía solo una vaca, entonces las pocas familias que tenían tres vacas eran consideradas kulaks. Si la mayoría de las personas en una aldea no contrataban a ningún trabajador, pero una familia contrataba a dos trabajadores durante la cosecha, esta era una familia kulak. Ser un kulak significaba no solo que poseías una cierta cantidad de propiedad, sino también que poseías ciertos rasgos de personalidad. Según la supuesta doctrina marxista infalible, las condiciones materiales de las personas determinaban su carácter social y espiritual. Dado que los kulaks supuestamente se dedicaban a la explotación capitalista, era un hecho científico (según el pensamiento marxista) que eran codiciosos, egoístas e unreliable—y lo eran también sus hijos. Descubrir que alguien era un kulak revelaba ostensiblemente algo profundo sobre su naturaleza fundamental.
• El 27 de diciembre de 1929, Stalin declaró que el estado soviético debía buscar “la liquidación de los kulaks como clase”, y de inmediato galvanizó al partido y a la policía secreta para lograr ese objetivo ambicioso y homicida.
• La absurdidad de toda la operación se manifiesta en el caso de la familia Streletsky de la región de Kurgan en Siberia. Dmitry Streletsky, que entonces era un adolescente, recordó años después cómo su familia fue etiquetada de kulaks y seleccionada para la liquidación. “Serkov, el presidente del consejo del pueblo que nos deportó, explicó: ‘He recibido una orden [del comité del partido del distrito] para encontrar 17 familias de kulaks para deportación. Formé un Comité de Pobres y nos sentamos toda la noche para elegir las familias. No hay nadie en el pueblo que sea lo suficientemente rico como para calificar, y no hay muchas personas mayores, así que simplemente elegimos las 17 familias. Ustedes fueron elegidos. Por favor, no lo tomen de manera personal. ¿Qué más podía hacer?’” Si alguien se atrevía a objetar a la locura del sistema, era denunciado de inmediato como kulak y contrarrevolucionario y también sería liquidado.
• Puede que te preguntes si las instituciones totalitarias modernas, como el Partido Nazi o el Partido Comunista Soviético, eran realmente tan diferentes de las instituciones anteriores, como las iglesias cristianas. Después de todo, las iglesias también creían en su infalibilidad, tenían agentes sacerdotales en todas partes y buscaban controlar la vida diaria de las personas, hasta su dieta y hábitos sexuales. ¿No deberíamos ver a la Iglesia Católica o a la Iglesia Ortodoxa Oriental como instituciones totalitarias? ¿Y no socava esto la tesis de que el totalitarismo fue posible solo gracias a la tecnología de la información moderna?
• Sin embargo, existen varias diferencias importantes entre el totalitarismo moderno y las iglesias premodernas. Primero, como se mencionó anteriormente, el totalitarismo moderno ha funcionado desplegando varios mecanismos de vigilancia superpuestos que se mantienen en orden entre sí. El partido nunca está solo; trabaja junto a los órganos del estado, por un lado, y la policía secreta, por el otro. En contraste, en la mayoría de los reinos europeos medievales, la Iglesia Católica era una institución independiente que a menudo entraba en conflicto con las instituciones estatales en lugar de reforzarlas.
• Las iglesias se convirtieron en instituciones más totalitarias solo en la era moderna tardía, cuando las tecnologías de información modernas se hicieron disponibles. Tendemos a pensar en los papas como reliquias medievales, pero en realidad son maestros de la tecnología moderna. En el siglo XVIII, el papa tenía poco control sobre la Iglesia Católica mundial y fue reducido al estatus de un príncipe local italiano, luchando contra otros poderes italianos por el control de Bolonia o Ferrara. Con la llegada de la radio, el papa se convirtió en una de las personas más poderosas del planeta. El Papa Juan Pablo II podía sentarse en el Vaticano y hablar directamente a millones de católicos desde Polonia hasta Filipinas, sin que ningún arzobispo, obispo o sacerdote parroquial pudiera torcer o ocultar sus palabras.
• Como tipos contrastantes de redes de información, la democracia y el totalitarismo tienen tanto ventajas como desventajas. La mayor ventaja de la red totalitaria centralizada es que es extremadamente ordenada, lo que significa que puede tomar decisiones rápidamente y hacerlas cumplir de manera implacable. Especialmente durante emergencias como guerras y epidemias, las redes centralizadas pueden moverse mucho más rápido y más lejos que las redes distribuidas.
• “Los estadounidenses crecen con la idea de que las preguntas conducen a respuestas”, dijo. “Pero los ciudadanos soviéticos crecieron con la idea de que las preguntas conducen a problemas.”
• Las redes totalitarias y autoritarias enfrentan otros problemas además de arterias bloqueadas. Primero y ante todo, como ya hemos establecido, sus mecanismos de autocorrección tienden a ser muy débiles. Dado que creen que son infalibles, ven poca necesidad de tales mecanismos, y como tienen miedo de cualquier institución independiente que pueda desafiarlos, carecen de tribunales libres, medios de comunicación o centros de investigación. Por ende, no hay nadie que exponga y corrija los abusos diarios de poder que caracterizan a todos los gobiernos.
• Los sistemas de información pueden llegar lejos con solo un poco de verdad y mucha orden. Cualquiera que abomine los costos morales de sistemas como el estalinismo no puede confiar en su supuesta ineficiencia para desestabilizarlos.
• Una vez que aprendemos a ver la democracia y el totalitarismo como diferentes tipos de redes de información, podemos entender por qué prosperan en ciertas eras y están ausentes en otras. No es solo porque las personas ganen o pierdan fe en ciertos ideales políticos; también se debe a revoluciones en las tecnologías de la información. Por supuesto, así como la imprenta no causó las cacerías de brujas ni la revolución científica, la radio tampoco causó el totalitarismo estalinista ni la democracia americana. La tecnología solo crea nuevas oportunidades; depende de nosotros decidir cuáles seguir.
• Las imágenes de Chicago o París en 1968 podrían haber dado fácilmente la impresión de que las cosas se estaban desmoronando. La presión para vivir de acuerdo con los ideales democráticos y para incluir a más personas y grupos en la conversación pública parecía socavar el orden social y hacer que la democracia fuera inviable.
• Mientras tanto, los regímenes detrás del Telón de Acero, que nunca prometieron inclusividad, continuaron sofocando la conversación pública y centralizando la información y el poder. Y parecía funcionar. Aunque enfrentaron algunos desafíos periféricos, más notablemente la revuelta húngara de 1956 y la Primavera de Praga de 1968, los comunistas hicieron frente a estas amenazas de manera rápida y decisiva. En el mismo corazón soviético, todo era ordenado.
• Avance rápido veinte años, y fue el sistema soviético el que se volvió inaccesible. Los gerontócratas escleróticos en el podio de la Plaza Roja eran un emblema perfecto de una red de información disfuncional, carente de mecanismos de autocompensación significativos. La descolonización, la globalización, el desarrollo tecnológico y los roles de género cambiantes llevaron a rápidas transformaciones económicas, sociales y geopolíticas. Pero los gerontócratas no podían manejar toda la información que fluía hacia Moscú, y dado que no se permitía a ningún subordinado tener mucha iniciativa, todo el sistema se osificó y colapsó.
• Hubo muchos tropiezos, pero Estados Unidos, Japón y otras democracias crearon un sistema de información mucho más dinámico e inclusivo, que hizo espacio para muchos más puntos de vista sin colapsar. Fue un logro tan notable que muchos sintieron que la victoria de la democracia sobre el totalitarismo era definitiva. Esta victoria a menudo se ha explicado en términos de una ventaja fundamental en el procesamiento de información: el totalitarismo no funcionaba porque tratar de concentrar y procesar todos los datos en un centro único era extremadamente ineficiente. A principios del siglo veintiuno, por lo tanto, parecía que el futuro pertenecía a las redes de información distribuidas y a la democracia.
• Esto resultó ser incorrecto. De hecho, la próxima revolución de la información ya estaba tomando impulso, preparando el escenario para una nueva ronda en la competencia entre la democracia y el totalitarismo. Las computadoras, internet, los teléfonos inteligentes, las redes sociales y la inteligencia artificial plantearon nuevos desafíos a la democracia, dando voz no solo a grupos más marginados, sino a cualquier ser humano con conexión a internet, e incluso a agentes no humanos. Las democracias en la década de 2020 enfrentan la tarea, una vez más, de integrar una avalancha de nuevas voces en la conversación pública sin destruir el orden social. Las cosas parecen tan críticas como en la década de 1960, y no hay garantía de que las democracias pasen esta nueva prueba tan exitosamente como pasaron la anterior. Simultáneamente, las nuevas tecnologías también brindan una nueva esperanza a los regímenes totalitarios que aún sueñan con concentrar toda la información en un solo centro.
• Y los algoritmos de Facebook jugaron un papel importante en la campaña de propaganda.
• Las consecuencias sociales y políticas fueron de gran alcance. Por ejemplo, como documentó el periodista Max Fisher en su libro de 2022, The Chaos Machine, los algoritmos de YouTube se convirtieron en un motor importante para el ascenso de la extrema derecha brasileña y para transformar a Jair Bolsonaro de una figura marginal en el presidente de Brasil. Si bien hubo otros factores que contribuyeron a ese tumulto político, es notable que muchos de los principales partidarios y asistentes de Bolsonaro habían sido originalmente YouTubers que alcanzaron la fama y el poder por la gracia algorítmica.
• Para Clausewitz, entonces, la racionalidad significa alineación. Perseguir victorias tácticas o estratégicas que no están alineadas con los objetivos políticos es irracional. El problema es que la naturaleza burocrática de los ejércitos los hace altamente susceptibles a tal irracionalidad.
• Como un experimento mental, imagina una reunión entre Immanuel Kant y Adolf Eichmann—quien, por cierto, se consideraba a sí mismo un kantiano. Mientras Eichmann firma una orden enviando otro cargamento de judíos a Auschwitz, Kant le dice: “Estás a punto de asesinar miles de humanos. ¿Te gustaría establecer una regla universal que diga que está bien asesinar humanos? Si haces eso, tú y tu familia también podrían ser asesinados.” Eichmann responde: “No, no estoy a punto de asesinar miles de humanos. Estoy a punto de asesinar miles de judíos. Si me preguntas si me gustaría establecer una regla universal que diga que está bien asesinar judíos, entonces estoy completamente a favor. En cuanto a mí y a mi familia, no hay riesgo de que esta regla universal nos lleve a ser asesinados. No somos judíos.”
• Una posible respuesta kantiana a Eichmann es que cuando definimos entidades, siempre debemos utilizar la definición más universal aplicable. Si una entidad puede definirse como "un judío" o "un humano", deberíamos usar el término más universal "humano". Sin embargo, todo el punto de la ideología nazi era negar la humanidad de los judíos. Además, cabe señalar que los judíos no son solo humanos. También son animales y también son organismos. Dado que los animales y los organismos son, evidentemente, categorías más universales que "humano", si sigues el argumento kantiano hasta su conclusión lógica, podría llevarnos a adoptar una posición vegana extrema. Dado que somos organismos, ¿significa que deberíamos oponernos a la muerte de cualquier organismo, incluso hasta tomates o amebas?

Verdad, ficción y orden social

• Desafortunadamente, este no es el mundo en el que vivimos. En la historia, el poder proviene solo parcialmente de conocer la verdad. También proviene de la capacidad de mantener el orden social entre un gran número de personas. Supongamos que quieres hacer una bomba atómica. Para tener éxito, obviamente necesitas cierto conocimiento preciso de física. Pero también necesitas a muchas personas para extraer mineral de uranio, construir reactores nucleares y proporcionar alimentos para los trabajadores de la construcción, mineros y físicos. El Proyecto Manhattan empleó directamente a aproximadamente 130,000 personas, con millones más trabajando para sustentarlos.
• La verdad a menudo es dolorosa y perturbadora, y si tratamos de hacerla más reconfortante y halagadora, ya no será la verdad. En contraste, la ficción es altamente maleable. La historia de cada nación contiene algunos episodios oscuros que a los ciudadanos no les gusta reconocer y recordar.
• La elección no es simplemente entre decir la verdad y mentir. Hay una tercera opción. Contar una historia ficticia es mentir solo cuando pretendes que la historia es una verdadera representación de la realidad. Contar una historia ficticia no es mentir cuando evitas tal pretensión y reconoces que estás tratando de crear una nueva realidad intersubjetiva en lugar de representar una realidad objetiva preexistente.
• Es crucial señalar que "orden" no debe confundirse con equidad o justicia. El orden creado y mantenido por la Constitución de EE. UU. toleró la esclavitud, la subordinación de las mujeres, la expropiación de los pueblos indígenas y la desigualdad económica extrema. El genio de la Constitución de EE. UU. es que, al reconocer que es una ficción legal creada por seres humanos, pudo proporcionar mecanismos para alcanzar un acuerdo sobre su enmienda y remediar sus propias injusticias
• Los Diez Mandamientos comienzan con "Yo soy el Señor tu Dios". Al reclamar un origen divino, impide que los humanos lo cambien. Como resultado, el texto bíblico todavía avala la esclavitud incluso hoy en día.
• Todos los sistemas políticos humanos se basan en ficciones, pero algunos lo admiten y otros no. Ser veraz sobre los orígenes de nuestro orden social facilita realizar cambios en él. Si los humanos como nosotros lo inventaron, podemos enmendarlo. Pero tal veracidad tiene un costo. Reconocer los orígenes humanos del orden social hace más difícil persuadir a todos para que estén de acuerdo con él. Si los humanos como nosotros lo inventaron, ¿por qué deberíamos aceptarlo? Como veremos en el capítulo 5, hasta finales del siglo XVIII la falta de tecnología de comunicación de masas hacía extremadamente difícil llevar a cabo debates abiertos entre millones de personas sobre las reglas del orden social.
• Tener mucha información no garantiza por sí mismo ni la verdad ni el orden. Es un proceso difícil utilizar la información para descubrir la verdad y, al mismo tiempo, utilizarla para mantener el orden. Lo que empeora las cosas es que estos dos procesos suelen ser contradictorios, porque a menudo es más fácil mantener el orden a través de ficciones. A veces—como en el caso de la Constitución de EE. UU.—las historias ficticias pueden reconocer su ficción, pero más a menudo la desmienten. Las religiones, por ejemplo, siempre pretenden ser una verdad objetiva y eterna en lugar de una historia ficticia inventada por humanos. En tales casos, la búsqueda de la verdad amenaza los cimientos del orden social. Muchas sociedades requieren que sus poblaciones no conozcan sus verdaderos orígenes: la ignorancia es fortaleza.
• La evolución ha adaptado nuestros cerebros para ser buenos en absorber, retener y procesar incluso cantidades muy grandes de información cuando están moldeadas en una historia.
• Mientras que las audiencias modernas de televisión no necesitan memorizar ningún texto de memoria, es notable lo fácil que les resulta seguir las intrincadas tramas de dramas épicos, thrillers de detectives y telenovelas, recordando quién es cada personaje y cómo están relacionados con numerosos otros. Estamos tan acostumbrados a realizar tales hazañas de memoria que rara vez consideramos lo extraordinarias que son.
• Los científicos discuten sin cesar sobre si los virus deben contar como formas de vida o si caen fuera del límite de la vida. Pero este límite no es una realidad objetiva; es una convención intersubjetiva. Incluso si los biólogos llegan a un consenso de que los virus son formas de vida, no cambiaría nada sobre cómo se comportan los virus; solo cambiará cómo los humanos piensan sobre ellos.
• “Chico conoce a chica” y “chico lucha con chico por chica” son también dramas biológicos que han sido representados por innumerables mamíferos, aves, reptiles y peces durante cientos de millones de años. Nos sentimos hipnotizados por estas historias porque comprenderlas ha sido esencial para la supervivencia de nuestros ancestros.
• Todos los animales están atrapados entre la necesidad de probar nuevos alimentos y el miedo a ser envenenados. La evolución, por lo tanto, dotó a los animales tanto de curiosidad como de la capacidad de sentir repulsión al entrar en contacto con algo tóxico o de alguna otra manera peligroso.
• A lo largo de la historia, muchos humanos han afirmado transmitir mensajes de los dioses, pero los mensajes a menudo se contradicen entre sí.
• Si un profeta humano pudiera falsificar las palabras de un dios, entonces el problema clave de la religión no se resolvió creando instituciones religiosas como templos y órdenes sacerdotales. La gente aún necesitaba confiar en humanos falibles para acceder a los supuestamente infalibles dioses.
• Somos tan malos para ponderar juntos muchos factores diferentes que cuando las personas dan una gran cantidad de razones para una decisión en particular, generalmente suena sospechoso. Supongamos que una buena amiga no asistió a nuestra boda. Si ella nos proporciona una sola explicación—“Mi mamá estaba en el hospital y tuve que visitarla”—eso suena plausible. Pero, ¿qué pasaría si ella enumera cincuenta razones diferentes por las que decidió no venir: “Mi mamá estaba un poco enferma y tuve que llevar a mi perro al veterinario en algún momento de esta semana, y tenía este proyecto en el trabajo, y estaba lloviendo, y... y sé que ninguna de estas cincuenta razones por sí sola justifica mi ausencia, pero cuando las sumé todas, me impidieron asistir a tu boda.” No decimos cosas así, porque no pensamos de esa manera. No enumeramos conscientemente cincuenta razones diferentes en nuestra mente, damos a cada una de ellas un cierto peso, agregamos todos los pesos y, por lo tanto, llegamos a una conclusión.
• Como documentó de Waal y muchos otros biólogos en numerosos estudios, las selvas verdaderas— a diferencia de la que tenemos en nuestra imaginación— están llenas de cooperación, simbiosis y altruismo que muestran innumerables animales, plantas, hongos e incluso bacterias. El ochenta por ciento de todas las plantas terrestres, por ejemplo, dependen de relaciones simbióticas con hongos, y casi el noventa por ciento de las familias de plantas vasculares disfrutan de relaciones simbióticas con microorganismos. Si los organismos en las selvas tropicales de la Amazonía, África o India abandonaran la cooperación en favor de una competencia total por la hegemonía, las selvas tropicales y todos sus habitantes morirían rápidamente. Esa es la ley de la selva.
• Mientras que muchas redes de información privilegian el orden sobre la verdad, ninguna red puede sobrevivir si ignora completamente la verdad. En cuanto a los seres humanos individuales, tendemos a estar genuinamente interesados en la verdad en lugar de solo en el poder.
• Incluso si Homo sapiens se destruye a sí mismo, el universo seguirá con sus asuntos como de costumbre. Tomó cuatro mil millones de años para que la evolución terrestre produjera una civilización de simios altamente inteligentes. Si desaparecemos, y la evolución tarda otros cien millones de años en producir una civilización de ratas altamente inteligentes, lo hará. El universo es paciente.
• Un libro es un nexo entre el autor y los lectores. Es un vínculo que une muchas mentes, que existe solo cuando se lee.
• Nadie discute que los humanos hoy en día tienen mucha más información y poder que en la Edad de Piedra, pero está lejos de ser cierto que nos entendemos a nosotros mismos y nuestro papel en el universo mucho mejor.
• ¿Por qué somos tan buenos acumulando más información y poder, pero mucho menos exitosos en adquirir sabiduría?
• Según esta visión, los racistas son personas desinformadas que simplemente no conocen los hechos de la biología y la historia. Ellos piensan que la "raza" es una categoría biológica válida, y han sido lavados de cerebro por teorías de conspiración falsas. Por lo tanto, el remedio para el racismo es proporcionar a las personas más hechos biológicos e históricos. Puede tomar tiempo, pero en un mercado libre de información, tarde o temprano la verdad prevalecerá.
• La visión ingenua es, por supuesto, más matizada y reflexiva de lo que se puede explicar en unos pocos párrafos, pero su principio fundamental es que la información es esencialmente algo bueno, y cuanto más tengamos de ella, mejor. Dada suficiente información y suficiente tiempo, estamos destinados a descubrir la verdad sobre cosas que van desde infecciones virales hasta sesgos racistas, desarrollando así no solo nuestro poder, sino también la sabiduría necesaria para utilizar ese poder de manera adecuada.
• En sus versiones más extremas, el populismo postula que no hay verdad objetiva en absoluto y que cada quien tiene “su propia verdad”, que utiliza para vencer a sus rivales. Según esta cosmovisión, el poder es la única realidad. Todas las interacciones sociales son luchas por el poder, porque los humanos solo están interesados en el poder. La afirmación de estar interesados en algo más—como la verdad o la justicia—no es más que una táctica para obtener poder. Siempre que y donde el populismo tenga éxito en difundir la idea de que la información es un arma, el lenguaje mismo se ve socavado. Sustantivos como “hechos” y adjetivos como “preciso” y “veraz” se vuelven elusivos. Tales palabras no se toman como referencias a una realidad objetiva común. Más bien, cualquier conversación sobre “hechos” o “verdad” seguramente incitará a al menos algunas personas a preguntar: “¿De qué hechos y de qué verdad hablas?”
• Esta posición del empirismo radical implica que, aunque las instituciones a gran escala como los partidos políticos, los tribunales, los periódicos y las universidades nunca pueden ser de fiar, las personas que se esfuerzan aún pueden encontrar la verdad por sí mismas.
• Este enfoque puede sonar científico y puede atraer a individuos de espíritu libre, pero deja abierta la pregunta de cómo las comunidades humanas pueden cooperar para construir sistemas de salud o aprobar regulaciones ambientales, que exigen una organización institucional a gran escala. ¿Es un solo individuo capaz de hacer toda la investigación necesaria para decidir si el clima de la tierra se está calentando y qué se debería hacer al respecto? ¿Cómo podría una sola persona recopilar datos climáticos de todo el mundo, sin mencionar la obtención de registros fiables de siglos pasados? Confiar solo en "mi propia investigación" puede sonar científico, pero en la práctica equivale a creer que no hay una verdad objetiva.
• Los populistas afirman que los artículos que lees en The New York Times o en Science son solo un truco elitista para ganar poder, pero lo que lees en la Biblia, el Corán o los Vedas es verdad absoluta.
• Siempre es complicado definir conceptos fundamentales. Dado que son la base de todo lo que sigue, ellos mismos parecen carecer de cualquier base propia. A los físicos les cuesta definir la materia y la energía, a los biólogos les cuesta definir la vida, y a los filósofos les cuesta definir la realidad.
• Cualquier objeto puede ser información—o no. Esto hace que sea difícil definir qué es la información.
• La visión naïve de la información sostiene que los objetos se definen como información en el contexto de la búsqueda de la verdad. Algo es información si las personas la utilizan para intentar descubrir la verdad. Esta visión vincula el concepto de información con el concepto de verdad y asume que el papel principal de la información es representar la realidad. Hay una realidad "ahí afuera", y la información es algo que representa esa realidad y que, por lo tanto, podemos utilizar para aprender sobre la realidad.
• La verdad es una representación precisa de la realidad.
• Bajo la noción de verdad se encuentra la premisa de que existe una realidad universal.
• Llevada al extremo, tal búsqueda de precisión puede llevarnos a intentar representar el mundo en una escala uno a uno, como en la famosa historia de Jorge Luis Borges “La exactitud en la ciencia” (1946). En esta historia, Borges relata un imperio antiguo ficticio que se obsesionó con producir mapas cada vez más precisos de su territorio, hasta que finalmente produjo un mapa con una escala uno a uno. Todo el imperio estaba cubierto por un mapa del imperio.
• Un mapa uno a uno puede parecer la representación definitiva de la realidad, pero notablemente ya no proviene
• La verdad, entonces, no es una representación uno a uno de la realidad. Más bien, la verdad es algo que llama nuestra atención hacia ciertos aspectos de la realidad mientras ignora inevitablemente otros aspectos. Ninguna descripción de la realidad es 100 por ciento precisa, pero algunas descripciones son, sin embargo, más veraces que otras.
• La desinformación es un error honesto, que ocurre cuando alguien intenta representar la realidad pero se equivoca. La desinformación es una mentira deliberada, que ocurre cuando alguien intencionadamente busca distorsionar nuestra percepción de la realidad.
• Lo que el ejemplo de la astrología ilustra es que los errores, las mentiras, las fantasías y las ficciones también son información. Contrario a lo que dice la visión ingenua de la información, la información no tiene un vínculo esencial con la verdad, y su papel en la historia no es representar una realidad preexistente.
• La mayoría de las sinfonías, melodías y canciones no representan nada, por lo que no tiene sentido preguntar si son verdaderas o falsas. A lo largo de los años, la gente ha creado mucha música mala, pero no música falsa. Sin representar nada, la música, sin embargo, hace un trabajo notable al conectar a grandes cantidades de personas y sincronizar sus emociones y movimientos. La música puede hacer que los soldados marchen en formación, que los asistentes a un club se balanceen juntos, que las congregaciones de iglesias aplaudan al unísono y que los aficionados a los deportes canten al unísono.
• Si el ADN representara la realidad, podríamos haber hecho preguntas como "¿Representa el ADN de la cebra la realidad de manera más precisa que el ADN del león?" o "¿El ADN de una cebra dice la verdad, mientras que otra cebra es engañada por su ADN falso?" Estas, por supuesto, son preguntas sin sentido. Podemos evaluar el ADN por la aptitud del organismo que produce, pero no por su veracidad. Aunque es común hablar de "errores" en el ADN, esto se refiere solo a mutaciones en el proceso de copiar el ADN, no a un fallo en representar la realidad con precisión. Una mutación que inhibe la producción de adrenalina reduce la aptitud, causando que la red de células se desintegre, como cuando la cebra es asesinada y sus billones de células pierden conexión entre sí.
• Crucialmente, los errores en la copia del ADN no siempre reducen la aptitud. De vez en cuando, la aumentan. Sin tales mutaciones, no habría proceso de evolución. Todas las formas de vida existen gracias a "errores" genéticos. Las maravillas de la evolución son posibles porque el ADN no representa ninguna realidad preexistente; crea nuevas realidades.
• Si el trabajo principal de la información hubiera sido representar la realidad con precisión, habría sido difícil explicar por qué la Biblia se convirtió en uno de los textos más influyentes de la historia.
• La Biblia comete muchos errores graves en su descripción tanto de los asuntos humanos como de los procesos naturales.
• La Biblia retrata de manera habitual las epidemias como un castigo divino por los pecados humanos y afirma que pueden ser detenidas o prevenidas mediante oraciones y rituales religiosos. Sin embargo, las epidemias son, por supuesto, causadas por patógenos y pueden ser detenidas o prevenidas al seguir reglas de higiene y utilizar medicamentos y vacunas. Esto es hoy ampliamente aceptado incluso por líderes religiosos como el papa, quien durante la pandemia de COVID-19 aconsejó a la gente que se autoaislara, en lugar de congregarse para orar juntos.
• Sin embargo, aunque la Biblia ha hecho un mal trabajo al representar la realidad de los orígenes humanos, las migraciones y las epidemias, ha sido muy efectiva en conectar a miles de millones de personas y en crear las religiones judía y cristiana. Al igual que el ADN inicia procesos químicos que unen a miles de millones de células en redes orgánicas, la Biblia inició procesos sociales que unieron a miles de millones de personas en redes religiosas. Y así como una red de células puede hacer cosas que las células individuales no pueden, una red religiosa puede hacer cosas que los humanos individuales no pueden, como construir templos, mantener sistemas legales, celebrar festividades y emprender guerras santas.
• Esta es la razón por la que la visión naive es errónea al creer que crear tecnologías de la información más poderosas necesariamente resultará en una comprensión más veraz del mundo. Si no se toman pasos adicionales para inclinar la balanza a favor de la verdad, un aumento en la cantidad y velocidad de la información probablemente inundará los relatos veraces, relativamente raros y costosos, con tipos de información mucho más comunes y baratos.
• Contrario a lo que la visión naïve cree, Homo sapiens no conquistó el mundo porque seamos talentosos en convertir información en un mapa preciso de la realidad. Más bien, el secreto de nuestro éxito es que somos talentosos en usar la información para conectar a muchas personas. Desafortunadamente, esta habilidad a menudo va de la mano con la creencia en mentiras, errores y fantasías. Por eso, incluso sociedades tecnológicamente avanzadas como la Alemania nazi y la Unión Soviética han sido propensas a mantener ideas delirantes, sin que sus delirios necesariamente las debiliten.
• Lo que permitió a diferentes bandas cooperar es que los cambios evolutivos en la estructura cerebral y las habilidades lingüísticas aparente­mente le dieron a Homo sapiens la aptitud para contar y creer historias ficticias y para sentirse profundamente conmovidos por ellas. En lugar de construir una red solo a partir de cadenas de persona a persona—como lo hicieron, por ejemplo, los neandertales—las historias proporcionaron a Homo sapiens un nuevo tipo de cadena: cadenas de persona a historia. Para cooperar, los Sapiens ya no tenían que conocerse personalmente; solo tenían que conocer la misma historia.
• Por ejemplo, a lo largo de las décadas, la corporación Coca-Cola ha invertido decenas de miles de millones de dólares en anuncios que cuentan y re-cuentan la historia de la bebida Coca-Cola. Las personas han visto y escuchado la historia tan a menudo que muchos han llegado a asociar una cierta mezcla de agua saborizada con diversión, felicidad y juventud (en lugar de caries, obesidad y desechos plásticos). Eso es marca.
• La gente piensa que se conecta con la persona, pero de hecho se conecta con la historia contada sobre la persona, y a menudo hay un gran abismo entre los dos.
• Aunque no ha sobrevivido ningún retrato contemporáneo de Jesús y aunque la Biblia nunca describe cómo era su apariencia, las representaciones imaginarias de él se han convertido en algunos de los íconos más reconocibles del mundo.
• Se debe enfatizar que la creación de la historia de Jesús no fue una mentira deliberada. Personas como San Pablo, Tertuliano, San Agustín y Martín Lutero no intentaron engañar a nadie. Proyectaron sus esperanzas y sentimientos profundamente sentidos en la figura de Jesús, de la misma manera que todos nosotros proyectamos rutinariamente nuestros sentimientos en nuestros padres, amantes y líderes. Si bien las campañas de marca son ocasionalmente un ejercicio cínico de desinformación, la mayoría de las historias realmente grandes de la historia han sido el resultado de proyecciones emocionales y deseos. Los verdaderos creyentes juegan un papel clave en el surgimiento de cada religión e ideología importante, y la historia de Jesús cambió la historia porque ganó un inmenso número de verdaderos creyentes.
• Así que cada año, en la celebración más importante del calendario judío, millones de judíos presentan un espectáculo en el que recuerdan cosas que no presenciaron y que probablemente nunca sucedieron en absoluto. Como indican numerosos estudios modernos, contar repetidamente un recuerdo falso eventualmente hace que la persona lo adopte como una memoria genuina. Cuando dos judíos se encuentran por primera vez, pueden sentir inmediatamente que ambos pertenecen a la misma familia, que estuvieron juntos como esclavos en Egipto y que estuvieron juntos en el Monte Sinaí. Ese es un vínculo poderoso que ha sostenido la red judía a lo largo de muchos siglos y continentes.
• De hecho, las historias incluso pueden crear un nivel completamente nuevo de realidad. Hasta donde sabemos, antes de la aparición de las historias, el universo contenía solo dos niveles de realidad. Las historias añadieron un tercero.
• Los dos niveles de realidad que preceden a la narración son la realidad objetiva y la realidad subjetiva. La realidad objetiva consiste en cosas como piedras, montañas y asteroides—cosas que existen, ya sea que seamos conscientes de ellas o no. Un asteroide que se dirige hacia el planeta Tierra, por ejemplo, existe incluso si nadie sabe que está ahí afuera. Luego está la realidad subjetiva: cosas como el dolor, el placer y el amor que no están “ahí afuera” sino más bien “aquí dentro.” Las cosas subjetivas existen en nuestra conciencia de ellas. Un dolor no sentido es un oxímoron.
• Una pizza típica contiene entre mil quinientas y dos mil quinientas calorías. En contraste, el valor financiero del dinero—y las pizzas—depende completamente de nuestras creencias. ¿Cuántas pizzas puedes comprar por un dólar o por un bitcoin? En 2010, Laszlo Hanyecz compró dos pizzas por 10,000 bitcoins. Fue la primera transacción comercial conocida que involucraba bitcoin—y en retrospectiva, también la pizza más cara de la historia. Para noviembre de 2021, un solo bitcoin se valoraba en más de $69,000, así que los bitcoins que Hanyecz pagó por sus dos pizzas valían $690 millones, suficiente para comprar millones de pizzas. Mientras que el valor calórico de la pizza es una realidad objetiva que se mantuvo igual entre 2010 y 2021, el valor financiero del bitcoin es una realidad intersubjetiva que cambió drásticamente durante el mismo período, dependiendo de las historias que la gente contaba y creía sobre el bitcoin.
• De hecho, todas las relaciones entre grandes grupos humanos están moldeadas por historias, porque las identidades de estos grupos están definidas por historias. No hay definiciones objetivas de quién es británico, estadounidense, noruego o iraquí; todas estas identidades están moldeadas por mitos nacionales y religiosos que son constantemente desafiados y revisados.
• Esta es una buena noticia. Si la historia se hubiera formado únicamente por intereses materiales y luchas por el poder, no tendría sentido hablar con personas que no están de acuerdo con nosotros. Cualquier conflicto, en última instancia, sería el resultado de relaciones de poder objetivas, que no pueden cambiarse simplemente hablando. En particular, si las personas privilegiadas sólo pueden ver y creer en aquellas cosas que consagran sus privilegios, ¿cómo podría algo que no sea la violencia persuadirlas para que renuncien a esos privilegios y alteren sus creencias? Afortunadamente, dado que la historia se forma a partir de relatos intersubjetivos, a veces podemos evitar el conflicto y hacer las paces hablando con las personas, cambiando las historias en las que ellos y nosotros creemos, o creando una nueva historia que todos puedan aceptar.
• La historia a menudo está determinada no por relaciones de poder deterministas, sino por errores trágicos que resultan de creer en historias hipnotizantes pero dañinas.
• la información conduce a la verdad, y conocer la verdad ayuda a las personas a obtener tanto poder como sabiduría.
• Así como la mayoría de los judíos olvidaron que los rabinos curaron el Antiguo Testamento, así la mayoría de los cristianos olvidaron que los concilios eclesiásticos curaron el Nuevo Testamento, y llegaron a verlo simplemente como la palabra infalible de Dios.
• Pero la impresión no fue la causa raíz de la revolución científica. Lo único que hizo la imprenta fue reproducir fielmente textos. La máquina no tenía la capacidad de generar ideas nuevas por sí sola. Aquellos que conectan la impresión con la ciencia asumen que el mero acto de producir y difundir más información conduce inevitablemente a las personas a la verdad. De hecho, la impresión permitió la rápida difusión no solo de hechos científicos, sino también de fantasías religiosas, noticias falsas y teorías de conspiración. Quizás el ejemplo más notorio de esto último fue la creencia en una conspiración mundial de brujas satánicas, que llevó a la locura de la caza de brujas que envolvió a la Europa moderna temprana.
• Las brujas no eran una realidad objetiva. Nadie en la Europa moderna temprana tenía sexo con Satanás ni era capaz de volar en escobas y crear tormentas de granizo. Pero las brujas se convirtieron en una realidad intersubjetiva. Al igual que el dinero, las brujas se hicieron reales al intercambiar información sobre brujas.
• A medida que la burocracia de la caza de brujas generaba más y más información, se volvía más difícil desestimar toda esa información como pura fantasía. ¿Podría ser que todo el silo de datos de la caza de brujas no contenía ni un solo grano de verdad? ¿Qué pasa con todos los libros escritos por eruditos eclesiásticos? ¿Qué pasa con todos los protocolos de juicios llevados a cabo por jueces estimados? ¿Qué pasa con las decenas de miles de confesiones documentadas?
• La nueva realidad intersubjetiva era tan convincente que incluso algunas personas acusadas de brujería empezaron a creer que realmente eran parte de una conspiración satánica mundial. Si todo el mundo lo decía, debía ser cierto. Como se discutió en el capítulo 2, los humanos son susceptibles de adoptar recuerdos falsos. Al menos algunos europeos de la temprana modernidad soñaban o fantaseaban con invocar demonios, tener relaciones sexuales con Satanás y practicar brujería, y cuando eran acusados de ser brujas, confundían sus sueños y fantasías con la realidad.
• Incluso después de expresar su horror ante la locura de la cacería de brujas en Würzburg, el canciller, no obstante, expresó su firme creencia en la conspiración satánica de las brujas. No fue testigo de ninguna brujería de primera mano, pero circulaba tanta información sobre brujas que le resultaba difícil dudar de toda ella. Las cacerías de brujas fueron una catástrofe causada por la propagación de información tóxica. Son un ejemplo paradigmático de un problema que fue creado por la información, y que se agravó con más información.
• Esta fue una conclusión alcanzada no solo por los eruditos modernos, sino también por algunos observadores perspicaces de la época. Alonso de Salazar Frías, un inquisidor español, realizó una investigación exhaustiva sobre las cacerías de brujas y los juicios de brujas a principios del siglo XVII. Concluyó que “no había encontrado una sola prueba ni siquiera la más mínima indicación de la que inferir que un acto de brujería ha sucedido realmente,” y que “no había ni brujas ni embrujados hasta que se habló y se escribió acerca de ellos.” Salazar Frías comprendió bien el significado de las realidades intersubjetivas e identificó correctamente toda la industria de la caza de brujas como una esfera de información intersubjetiva.
• La historia de la impresión y la caza de brujas indica que un mercado de información no regulado no necesariamente lleva a las personas a identificar y corregir sus errores, porque bien puede priorizar la indignación sobre la verdad. Para que la verdad prevalezca, es necesario establecer instituciones de curaduría que tengan el poder de inclinar la balanza a favor de los hechos. Sin embargo, como indica la historia de la Iglesia Católica, tales instituciones podrían usar su poder de curaduría para sofocar cualquier crítica hacia ellas, etiquetando todas las opiniones alternativas como erróneas y evitando que los propios errores de la institución sean expuestos y corregidos. ¿Es posible establecer mejores instituciones de curaduría que usen su poder para avanzar en la búsqueda de la verdad en lugar de acumular más poder para sí mismas?
• Una iglesia generalmente decía a las personas que confiaran en ella porque poseía la verdad absoluta, en forma de un libro sagrado infalible. Una institución científica, en contraste, ganaba autoridad porque tenía fuertes mecanismos de autocorrección que exponían y rectificaban los errores de la propia institución. Fueron estos mecanismos de autocorrección, no la tecnología de la impresión, los que fueron el motor de la revolución científica.
• Las instituciones científicas logran alcanzar un amplio consenso sobre la precisión de ciertas teorías—como la mecánica cuántica o la teoría de la evolución—pero solo porque estas teorías han logrado sobrevivir a intensos esfuerzos por refutarlas, lanzados no solo por los externos, sino también por miembros de la misma institución.
• Por ejemplo, en marzo de 2000, el Papa Juan Pablo II llevó a cabo una ceremonia especial en la que pidió perdón por una larga lista de crímenes históricos contra los judíos, los herejes, las mujeres y los pueblos indígenas. Se disculpó “por el uso de la violencia que algunos han cometido en el servicio de la verdad.” Esta terminología implicaba que la violencia era culpa de “algunos” individuos equivocados que no entendían la verdad enseñada por la iglesia. El papa no aceptó la posibilidad de que quizás estos individuos entendieran exactamente lo que la iglesia estaba enseñando y que estas enseñanzas simplemente no eran la verdad.
• Por supuesto, aunque la iglesia no lo reconoce oficialmente, con el tiempo ha cambiado sus estructuras institucionales, sus enseñanzas fundamentales y su interpretación de las escrituras. La Iglesia Católica de hoy es mucho menos antisemita y misógina de lo que era en la época medieval y moderna temprana. El Papa Francisco es mucho más tolerante con las culturas indígenas que lo fue el Papa Nicolás V. Hay un mecanismo institucional de autocorrección en acción aquí, que reacciona tanto a presiones externas como a la búsqueda interna del alma. Pero lo que caracteriza la autocorrección en instituciones como la Iglesia Católica es que incluso cuando ocurre, se niega en lugar de celebrarse. La primera regla para cambiar las enseñanzas de la iglesia es que nunca se admite haber cambiado las enseñanzas de la iglesia.
• Por ejemplo, cuando católicos como el propio Papa Francisco ahora están reconsiderando las enseñanzas de la iglesia sobre la homosexualidad, les resulta difícil simplemente reconocer los errores del pasado y cambiar las enseñanzas. Si eventualmente un futuro papa emitiera una disculpa por el maltrato a las personas LGBTQ, la forma de hacerlo sería nuevamente trasladar la culpa a los hombros de algunos individuos excesivamente entusiastas que malinterpretaron el evangelio. Para mantener su autoridad religiosa, la Iglesia Católica no ha tenido más remedio que negar la existencia de una autocorrección institucional. Porque la iglesia cayó en la trampa de la infalibilidad. Una vez que basó su autoridad religiosa en un reclamo de infalibilidad, cualquier reconocimiento público de error institucional—incluso en cuestiones relativamente menores—podría destruir completamente su autoridad.
• La psiquiatría ofrece numerosos ejemplos similares de fuertes mecanismos de auto-corrección. En la estantería de la mayoría de los psiquiatras se puede encontrar el DSM—el Manual Diagnóstico y Estadístico de los Trastornos Mentales. A veces se le apoda la biblia de los psiquiatras. Pero hay una diferencia crucial entre el DSM y la Biblia. Publicado por primera vez en 1952, el DSM se revisa cada década o dos, siendo la quinta edición publicada en 2013. A lo largo de los años, muchos trastornos han sido redefinidos, se han añadido nuevos, mientras que otros han sido eliminados. La homosexualidad, por ejemplo, fue clasificada en 1952 como un trastorno de personalidad sociopática, pero fue eliminada del DSM en 1974. Solo se necesitaron veintidós años para corregir este error en el DSM. Eso no es un libro sagrado. Eso es un texto científico.
• Una institución puede llamarse como desee, pero si carece de un fuerte mecanismo de autocorrección, no es una institución científica.
• Lamentablemente, las cosas son mucho más complicadas. Hay una razón por la cual instituciones como la Iglesia Católica y el Partido Comunista Soviético evitaron mecanismos de autocorrección fuertes. Si bien tales mecanismos son vitales para la búsqueda de la verdad, son costosos en términos de mantener el orden. Los mecanismos de autocorrección fuertes tienden a crear dudas, desacuerdos, conflictos y divisiones, y a socavar los mitos que mantienen unido el orden social.
• Como la "bruja" de diez años Hansel Pappenheimer, la "kulak" de once años Antonina Golovina se encontró en una categoría intersubjetiva inventada por mitólogos humanos e impuesta por burócratas omnipresentes. Las montañas de información recopiladas por los burócratas soviéticos sobre los kulaks no eran la verdad objetiva sobre ellos, sino que imponían una nueva verdad intersubjetiva soviética. Saber que alguien era etiquetado como kulak era algo muy importante que saber sobre una persona soviética, a pesar de que la etiqueta era completamente engañosa.
• Durante miles de años, los humanos han sido atormentados por un miedo mucho más profundo. Siempre hemos apreciado el poder de las historias y las imágenes para manipular nuestras mentes y crear ilusiones.
• La revolución de la computadora nos está enfrentando cara a cara con la cueva de Platón, con maya, con el demonio de Descartes.
• Como se discutió en capítulos anteriores, contrariamente a la visión naive, la información a menudo se utiliza para crear orden en lugar de descubrir la verdad.
• Como hemos visto una y otra vez a lo largo de la historia, en una lucha de información completamente libre, la verdad tiende a perder. Para inclinar la balanza a favor de la verdad, las redes deben desarrollar y mantener mecanismos de autocorrección sólidos que recompensen la veracidad.
• Un objetivo último así, por definición, no puede estar alineado con nada más alto que sí mismo, porque no hay nada más alto.
• Viví gran parte de mi vida en uno de los lugares más sagrados de la tierra: la ciudad de Jerusalén. Objetivamente, es un lugar ordinario. Al caminar por Jerusalén, ves casas, árboles, rocas, autos, personas, gatos, perros y palomas, como en cualquier otra ciudad. Pero muchas personas, no obstante, lo imaginan como un lugar extraordinario, lleno de dioses, ángeles y piedras sagradas. Creen en esto tan fuertemente que a veces pelean por la posesión de la ciudad o de edificios sagrados específicos y piedras sagradas, siendo la más notable la Piedra Sagrada, ubicada bajo la Cúpula de la Roca en el Monte del Templo. El filósofo palestino Sari Nusseibeh observó que "judíos y musulmanes, actuando sobre creencias religiosas y respaldados por capacidades nucleares, están listos para participar en la peor masacre de seres humanos de la historia, por una roca."
• Una IA desarrollada en un país podría usarse para desatar un diluvio de noticias falsas, dinero falso y humanos falsos, de modo que la gente en numerosos otros países pierda la capacidad de confiar en cualquier cosa o en nadie.

Ética y Regulación Tecnológica

• La respuesta ortodoxa es no. Como se mencionó anteriormente, la Biblia prohíbe trabajar en sábado, y los rabinos argumentaron que presionar un botón eléctrico es "trabajo", porque la electricidad es similar al fuego, y se ha establecido desde hace mucho tiempo que encender un fuego es "trabajo". ¿Significa esto que los judíos mayores que viven en un edificio de Brooklyn deben subir cien escalones hasta su apartamento para evitar trabajar en sábado? Bueno, los judíos ortodoxos inventaron un "ascensor de Shabat", que sube y baja continuamente los edificios, deteniéndose en cada piso, sin que tengas que realizar ningún "trabajo" al presionar un botón eléctrico.
• La supervivencia de la civilización humana también está bajo amenaza. Debido a que todavía parecemos incapaces de construir una sociedad industrial que sea también ecológicamente sostenible, la tan cacareada prosperidad de la actual generación humana tiene un costo terrible para otros seres sintientes y para las futuras generaciones humanas. Tal vez eventualmente encontraremos una manera—quizás con la ayuda de la IA—de crear sociedades industriales ecológicamente sostenibles, pero hasta ese día el jurado sobre los molinos satánicos de Blake aún no se ha pronunciado.
• Toma, por ejemplo, nuestra relación con nuestro médico de familia. A lo largo de muchos años, ella puede acumular mucha información sensible sobre nuestras condiciones médicas, vida familiar, hábitos sexuales y vicios poco saludables. Quizás no queramos que nuestro jefe sepa que quedamos embarazadas, no queremos que nuestros colegas sepan que tenemos cáncer, no queremos que nuestra pareja sepa que estamos teniendo una aventura, y no queremos que la policía sepa que consumimos drogas recreativas, pero confiamos en nuestro médico con toda esta información para que pueda cuidar bien de nuestra salud. Si ella vende esta información a un tercero, no solo es poco ético; es ilegal.
• Mucho lo mismo es cierto respecto a la información que acumula nuestro abogado, nuestro contador o nuestro terapeuta. Tener acceso a nuestra vida personal conlleva un deber fiduciario de actuar en nuestro mejor interés. ¿Por qué no extender este principio obvio y antiguo a las computadoras y algoritmos, comenzando con los poderosos algoritmos de Google, Baidu y TikTok? En la actualidad, tenemos un problema serio con el modelo de negocio de estos acumuladores de datos. Mientras pagamos a nuestros médicos y abogados por sus servicios, generalmente no pagamos a Google y TikTok. Ellos ganan dinero explotando nuestra información personal. Ese es un modelo de negocio problemático, uno que difícilmente toleraríamos en otros contextos. Por ejemplo, no esperamos recibir zapatos gratis de Nike a cambio de dar a Nike toda nuestra información privada y permitir a Nike hacer lo que quiera con ella. ¿Por qué deberíamos aceptar obtener servicios de correo electrónico gratis, conexiones sociales y entretenimiento de los gigantes tecnológicos a cambio de cederles el control de nuestros datos más sensibles?
• Pero antes de apresurarnos a abrazar el algoritmo dinámico, deberíamos notar que también tiene un lado negativo. La vida humana es un acto de equilibrio entre esforzarnos por mejorar y aceptar quiénes somos. Si los objetivos del algoritmo dinámico son dictados por un gobierno ambicioso o por corporaciones implacables, es probable que el algoritmo se transforme en un tirano, exigiéndome sin tregua que haga más ejercicio, coma menos, cambie mis pasatiempos y altere numerosos otros hábitos, o de lo contrario me reportará a mi empleador o degradará mi puntaje de crédito social. La historia está llena de sistemas de castas rígidos que negaron a los humanos la capacidad de cambiar, pero también está llena de dictadores que intentaron moldear a los humanos como barro. Encontrar el camino intermedio entre estos dos extremos es una tarea interminable. Si de verdad le damos a un sistema nacional de salud un vasto poder sobre nosotros, debemos crear mecanismos de autocorrección que eviten que sus algoritmos se vuelvan demasiado rígidos o demasiado exigentes.
• Al buscar una relación, queremos conectar con una entidad consciente, pero si ya hemos establecido una relación con una entidad, tendemos a asumir que debe ser consciente. Así, mientras que los científicos, legisladores y la industria cárnica a menudo exigen estándares de evidencia imposibles para reconocer que las vacas y los cerdos son conscientes, los dueños de mascotas generalmente dan por hecho que su perro o gato es un ser consciente capaz de experimentar dolor, amor y numerosos otros sentimientos. En verdad, no tenemos forma de verificar si alguien—un humano, un animal o una computadora—es consciente. Consideramos a las entidades como conscientes no porque tengamos pruebas de ello, sino porque desarrollamos relaciones íntimas con ellas y nos vinculamos a ellas.
• Mientras que los laicos individuales pueden no ser capaces de evaluar algoritmos complejos, un equipo de expertos que recibe ayuda de sus propios asistentes de IA puede potencialmente evaluar la equidad de las decisiones algorítmicas incluso de manera más confiable que cualquier persona puede evaluar la equidad de las decisiones humanas. Después de todo, aunque las decisiones humanas pueden parecer depender de esos pocos puntos de datos de los que somos conscientes, de hecho nuestras decisiones están subconscientemente influenciadas por miles de puntos de datos adicionales. Al no ser conscientes de estos procesos subconscientes, cuando deliberamos sobre nuestras decisiones o las explicamos, a menudo nos comprometemos en racionalizaciones post hoc de un solo punto para lo que realmente sucede mientras miles de millones de neuronas interactúan dentro de nuestro cerebro. En consecuencia, si un juez humano nos condena a seis años de prisión, ¿cómo podemos nosotros—o de hecho el juez—estar seguros de que la decisión fue moldeada solo por consideraciones justas y no por un sesgo racial subconsciente o por el hecho de que el juez tenía hambre?
• Lo que es cierto sobre la falsificación de dinero también debería ser cierto sobre la falsificación de humanos. Si los gobiernos tomaran medidas decisivas para proteger la confianza en el dinero, tiene sentido tomar medidas igualmente decisivas para proteger la confianza en los humanos. Antes del auge de la IA, un humano podía pretender ser otro, y la sociedad castigaba tales fraudes. Pero la sociedad no se preocupó por prohibir la creación de humanos falsificados, ya que la tecnología para hacerlo no existía. Ahora que la IA puede hacerse pasar por humano, amenaza con destruir la confianza entre los humanos y deshacer el tejido de la sociedad. Dennett sugiere, por lo tanto, que los gobiernos deberían prohibir a los humanos falsos con la misma decisión con la que anteriormente han prohibido el dinero falso
• Ahora, irónicamente, la democracia puede resultar imposible porque la tecnología de la información se está volviendo demasiado sofisticada. Si algoritmos incomprensibles se apoderan de la conversación, y particularmente si sofocan argumentos razonados y alimentan el odio y la confusión, la discusión pública no puede mantenerse. Sin embargo, si las democracias colapsan, probablemente no será por algún tipo de inevitabilidad tecnológica, sino por un fracaso humano en regular la nueva tecnología sabiamente.
• En la Copa del Mundo, todos los equipos nacionales acuerdan no usar drogas que mejoren el rendimiento, porque todos se dan cuenta de que si siguen ese camino, la Copa del Mundo eventualmente se convertiría en una competencia entre bioquímicos.
• Las naciones, obviamente, continuarán compitiendo en el desarrollo de nuevas tecnologías, pero a veces deberían acordar limitar el desarrollo y despliegue de tecnologías peligrosas como las armas autónomas y los algoritmos manipulativos—no puramente por altruismo, sino por su propia auto-preservación.
• Mientras tenemos experiencia en regular tecnologías peligrosas como las armas nucleares y biológicas, la regulación de la IA exigirá niveles sin precedentes de confianza y autodisciplina, por dos razones. Primero, es más fácil ocultar un laboratorio de IA ilícito que un reactor nuclear ilícito. Segundo, las IA tienen muchos más usos duales civil-militares que las bombas nucleares.
• Si somos tan sabios, ¿por qué somos tan autodestructivos? Somos al mismo tiempo los animales más inteligentes y los más estúpidos de la tierra. Somos tan inteligentes que podemos producir misiles nucleares y algoritmos superinteligentes. Y somos tan estúpidos que seguimos produciendo estas cosas a pesar de que no estamos seguros de poder controlarlas y de que no hacerlo podría destruirnos. ¿Por qué lo hacemos? ¿Hay algo en nuestra naturaleza que nos obliga a seguir el camino de la autodestrucción?
• nunca invoques poderes que no puedes controlar.
• La tendencia a crear cosas poderosas con consecuencias no intencionadas no comenzó con la invención de la máquina de vapor o la IA, sino con la invención de la religión. Profetas y teólogos han convocado espíritus poderosos que se suponía debían traer amor y alegría, pero ocasionalmente terminaron inundando el mundo con sangre.
• ¿También hay discusiones complicadas y en curso sobre la lista de derechos que deberían incluirse en los dos cestos. ¿Quién determinó que la libertad de religión es un derecho humano básico? ¿Debería definirse el acceso a Internet como un derecho civil? ¿Y qué pasa con los derechos de los animales? ¿O los derechos de la IA?
• Mientras que los mensajes inflamatorios anti-Rohingya fueron creados por extremistas de carne y hueso como el monje budista Wirathu, fueron los algoritmos de Facebook los que decidieron qué publicaciones promover. Amnistía Internacional encontró que "los algoritmos amplificaron y promovieron proactivamente contenido en la plataforma de Facebook que incitaba a la violencia, el odio y la discriminación contra los Rohingya."
• Los algoritmos eran los que decidían quién ganaba. Elegían qué colocar en la parte superior del feed de noticias de los usuarios, qué contenido promover y a qué grupos de Facebook recomendar a los usuarios unirse. Los algoritmos podrían haber elegido recomendar sermones sobre compasión o clases de cocina, pero decidieron difundir teorías de conspiración llenas de odio. Las recomendaciones desde arriba pueden tener una enorme influencia sobre las personas.
• En 2016–17, el modelo de negocio de Facebook se basaba en maximizar la "participación de los usuarios". Esto se refería al tiempo que los usuarios pasaban en la plataforma, así como a cualquier acción que tomaran, como hacer clic en el botón de me gusta o compartir una publicación con amigos. A medida que aumentaba la participación de los usuarios, Facebook recopilaba más datos, vendía más anuncios y capturaba una mayor parte del mercado de la información. Además, los aumentos en la participación de los usuarios impresionaban a los inversionistas, lo que elevaba el precio de las acciones de Facebook. Cuanto más tiempo pasaban las personas en la plataforma, más rica se volvía Facebook. De acuerdo con este modelo de negocio, los gerentes humanos proporcionaron a los algoritmos de la compañía un único objetivo primordial: aumentar la participación de los usuarios. Los algoritmos luego descubrieron, experimentando con millones de usuarios, que la indignación generaba participación. Los humanos son más propensos a involucrarse con una teoría de conspiración llena de odio que con un sermón sobre la compasión. Así que, en busca de la participación de los usuarios, los algoritmos tomaron la decisión fatal de difundir la indignación.
• Cuando escribimos código de computadora, no solo estamos diseñando un producto. Estamos rediseñando la política, la sociedad y la cultura, y por lo tanto debemos tener un buen entendimiento de la política, la sociedad y la cultura. También necesitamos hacernos responsables de lo que estamos haciendo.
• Cuando se les acusa de crear el caos social y político, se esconden detrás de argumentos como: “Somos solo una plataforma. Estamos haciendo lo que nuestros clientes quieren y lo que los votantes permiten. No obligamos a nadie a usar nuestros servicios y no violamos ninguna ley existente. Si a los clientes no les gustara lo que hacemos, se irían. Si a los votantes no les gustara lo que hacemos, aprobarían leyes en nuestra contra. Dado que los clientes siguen pidiendo más y dado que ninguna ley prohíbe lo que hacemos, todo debe estar bien.”
• El problema va incluso más profundo. Los principios de que "el cliente siempre tiene la razón" y de que "los votantes saben mejor" presuponen que los clientes, los votantes y los políticos saben lo que está sucediendo a su alrededor. Presuponen que los clientes que eligen usar TikTok e Instagram comprenden las consecuencias plenas de esta elección, y que los votantes y políticos que son responsables de regular Apple y Huawei entienden completamente los modelos de negocio y las actividades de estas corporaciones. Presuponen que las personas conocen los entresijos de la nueva red de información y le dan su bendición.
• Esto tiene implicaciones de gran alcance para la tributación. Los impuestos buscan redistribuir la riqueza. Toman un porcentaje de los individuos y corporaciones más ricos, con el fin de proporcionar para todos. Sin embargo, un sistema tributario que sepa cómo gravar solo el dinero pronto quedará obsoleto, ya que muchas transacciones ya no involucran dinero.
• Algunas personas—como los ingenieros y ejecutivos de corporaciones de alta tecnología—están muy por delante de los políticos y votantes y están mejor informadas que la mayoría de nosotros sobre el desarrollo de la IA, las criptomonedas, los créditos sociales y cosas por el estilo. Desafortunadamente, la mayoría de ellos no usa su conocimiento para ayudar a regular el potencial explosivo de las nuevas tecnologías. En su lugar, lo utilizan para ganar miles de millones de dólares—o para acumular petabits de información.
• Por cada graduado en ciencias de la computación que quiere ser el próximo Audrey Tang, probablemente hay muchos más que quieren ser el próximo Jobs, Zuckerberg o Musk y construir una corporación multimillonaria en lugar de convertirse en un servidor público electo. Esto lleva a una peligrosa asimetría de información. Las personas que lideran la revolución de la información saben mucho más sobre la tecnología subyacente que las personas que se supone que deben regularla. En tales condiciones, ¿cuál es el sentido de cantar que el cliente siempre tiene la razón y que los votantes saben lo que es mejor?
• Lo más importante que hay que recordar es que la tecnología, en sí misma, rara vez es determinista. La creencia en el determinismo tecnológico es peligrosa porque excusa a las personas de toda responsabilidad.
• Incluso después de que se desarrolla una herramienta en particular, puede ser utilizada de muchas maneras. Podemos usar un cuchillo para asesinar a una persona, para salvarle la vida en una cirugía, o para cortar verduras para su cena. El cuchillo no fuerza nuestra mano. Es una elección humana.
• Los YouTubers que estaban particularmente interesados en ganar atención se dieron cuenta de que, cuando publicaban un video escandaloso lleno de mentiras, el algoritmo los recompensaba recomendando el video a numerosos usuarios y aumentando la popularidad y los ingresos de los YouTubers. En contraste, cuando suavizaban el escándalo y se ceñían a la verdad, el algoritmo tendía a ignorarlos. En unos pocos meses de ese aprendizaje por refuerzo, el algoritmo convirtió a muchos YouTubers en trolls.
• Un memorando interno secreto de Facebook de agosto de 2019, filtrado por la denunciante Frances Haugen, afirmaba: “Tenemos evidencia de una variedad de fuentes que el discurso de odio, el discurso político divisivo y la desinformación en Facebook y [su] familia de aplicaciones están afectando a las sociedades alrededor del mundo. También tenemos evidencia contundente de que las mecánicas centrales de nuestro producto, como la viralidad, las recomendaciones y la optimización para el compromiso, son una parte significativa de por qué estos tipos de discurso florecen en la plataforma.”
• En la década de 2010, los equipos de gestión de YouTube y Facebook fueron bombardeados con advertencias de sus empleados humanos—así como de observadores externos—sobre el daño que estaban causando los algoritmos, pero los algoritmos mismos nunca dieron la alarma.
• Algunos podrían esperar que, a través de un cuidadoso proceso de deliberación, podríamos definir de antemano los objetivos correctos para la red informática. Sin embargo, esta es una ilusión muy peligrosa.
• Durante milenios, los filósofos han estado buscando una definición de un objetivo final que no dependa de la alineación con algún objetivo superior. Se han sentido atraídos repetidamente por dos soluciones potenciales, conocidas en el argot filosófico como deontología y utilitarismo.
• El intento más famoso de definir una regla intrínsecamente buena fue realizado por Immanuel Kant, un contemporáneo de Clausewitz y Napoleón. Kant argumentó que una regla intrínsecamente buena es cualquier regla que me gustaría hacer universal. Según este punto de vista, una persona que está a punto de asesinar a alguien debería detenerse y pasar por el siguiente proceso de pensamiento: “Ahora voy a asesinar a un humano. ¿Me gustaría establecer una regla universal que diga que está bien asesinar humanos? Si se establece tal regla universal, entonces alguien podría asesinarme. Por lo tanto, no debería haber una regla universal que permita el asesinato. Se deduce que yo también no debería asesinar.” En lenguaje más sencillo, Kant reformuló la antigua Regla de Oro: “Haz a los demás lo que te gustaría que te hicieran a ti” (Mateo 7:12).
• ¿Hay alguna manera de definir a quiénes deben preocuparse las computadoras, sin quedar atrapados por algún mito intersubjetivo? La sugerencia más obvia es decirles a las computadoras que deben preocuparse por cualquier entidad capaz de sufrir. Si bien el sufrimiento a menudo es causado por la creencia en mitos intersubjetivos locales, el sufrimiento en sí mismo es, no obstante, una realidad universal. Por lo tanto, usar la capacidad de sufrir para definir el grupo crítico fundamenta la moralidad en una realidad objetiva y universal. Un automóvil autónomo debería evitar matar a todos los humanos—ya sean budistas o musulmanes, franceses o italianos—y también debería evitar matar perros y gatos, así como cualquier robot sensible que pueda existir algún día. Incluso podríamos afinar esta regla, instruyendo al automóvil para que se preocupe por diferentes seres en proporción directa a su capacidad de sufrir. Si el automóvil tiene que elegir entre matar a un humano y matar a un gato, debería atropellar al gato, porque presumiblemente el gato tiene una menor capacidad de sufrir. Pero si vamos en esa dirección, inadvertidamente desertamos del campo del deontologismo y nos encontramos en el campo de sus rivales—los utilitaristas.
• El problema para los utilitaristas es que no poseemos un cálculo del sufrimiento. No sabemos cuántos "puntos de sufrimiento" o "puntos de felicidad" asignar a eventos particulares, por lo que en situaciones históricas complejas es extremadamente difícil calcular si una acción dada aumenta o disminuye la cantidad total de sufrimiento en el mundo.
• El utilitarismo es en su mejor momento en situaciones en las que las escalas del sufrimiento están claramente inclinadas en una dirección.
• El peligro del utilitarismo es que si tienes una creencia lo suficientemente fuerte en una utopía futura, puede convertirse en una licencia abierta para infligir un terrible sufrimiento en el presente. De hecho, este es un truco que las religiones tradicionales descubrieron hace miles de años. Los crímenes de este mundo podrían excusarse demasiado fácilmente por las promesas de salvación futura.

Vigilancia y Control Social

• Los burócratas luego intentan forzar al mundo a encajar en estos cajones, y si el ajuste no es muy bueno, los burócratas presionan más. Cualquiera que haya llenado un formulario oficial sabe esto muy bien. Cuando completas el formulario, y ninguna de las opciones enumeradas se ajusta a tus circunstancias, debes adaptarte al formulario, en lugar de que el formulario se adapte a ti.
• Incluso cuando la burocracia era una fuerza benigna, proporcionando a las personas sistemas de alcantarillado, educación y seguridad, aún tendía a aumentar la brecha entre los gobernantes y los gobernados. El sistema permitía al centro recopilar y registrar mucha más información sobre las personas a las que gobernaba, mientras que estos últimos encontraban mucho más difícil entender cómo funcionaba el propio sistema.
• En nuestra familia se convirtió en un deber sagrado preservar documentos. Estados de cuenta bancarios, facturas de electricidad, tarjetas de estudiante vencidas, cartas del municipio—si tenía un sello con aspecto oficial, se archivarían en una de las muchas carpetas de nuestro gabinete. Nunca sabías cuál de estos documentos podría un día salvar tu vida.
• Es un error, sin embargo, imaginar que solo porque las computadoras podrían permitir la creación de un régimen de vigilancia total, tal régimen es inevitable. La tecnología rara vez es determinista.
• Así como ocurre con los regímenes de vigilancia total, también sucede con los sistemas de crédito social, el hecho de que podrían ser creados no significa que debamos crearlos.
• Imagina que el año es 2050, y el Gran Líder es despertado a las cuatro de la mañana por una llamada urgente del Algoritmo de Vigilancia y Seguridad. “Gran Líder, nos enfrentamos a una emergencia. He procesado trillones de puntos de datos, y el patrón es inconfundible: el ministro de defensa está planeando asesinarlo por la mañana y tomar el poder él mismo. El grupo de ejecución está listo, esperando su orden. Dame la orden, sin embargo, y lo liquidaré con un ataque de precisión.”
• "Gran Líder, sé lo que te dijo. Escucho todo. Pero también sé lo que dijo después al grupo de ataque. Y durante meses he estado recogiendo patrones inquietantes en los datos."
• Al otorgar tanto poder al Algoritmo de Vigilancia y Seguridad, el Gran Líder se ha colocado en una situación imposible. Si desconfía del algoritmo, podría ser asesinado por el ministro de defensa, pero si confía en el algoritmo y purga al ministro de defensa, se convierte en la marioneta del algoritmo. Cada vez que alguien intenta hacer un movimiento en contra del algoritmo, este sabe exactamente cómo manipular al Gran Líder. Cabe señalar que el algoritmo no necesita ser una entidad consciente para participar en tales maniobras. Como indica el experimento mental de la grapa de Bostrom—y como demostró, a pequeña escala, GPT-4 al mentir al trabajador de TaskRabbit—un algoritmo no consciente puede buscar acumular poder y manipular a las personas incluso sin tener ningún impulso humano como la codicia o el egotismo.
• No importa dónde vivamos, podríamos encontrarnos envueltos en una red de algoritmos insondables que gestionan nuestras vidas, reconfiguran nuestra política y cultura, e incluso reingeniería nuestros cuerpos y mentes—mientras ya no podemos comprender las fuerzas que nos controlan, y mucho menos detenerlas.
• Los chips de silicio pueden crear espías que nunca duermen, financistas que nunca olvidan y déspotas que nunca mueren. ¿Cómo cambiará esto la sociedad, la economía y la política?
• Pero las redes de información hipercentralizadas también sufren de varias grandes desventajas. Dado que no permiten que la información fluya a ningún lugar excepto a través de los canales oficiales, si los canales oficiales están bloqueados, la información no puede encontrar un medio alternativo de transmisión. Y los canales oficiales a menudo están bloqueados.
• En otras palabras, las personas no estaban eligiendo qué ver. Los algoritmos elegían por ellos.
• Para 2024, nos estamos acercando al punto en que una red de computadoras ubicua puede seguir a la población de países enteros veinticuatro horas al día. Esta red no necesita contratar y entrenar a millones de agentes humanos para seguirnos; se basa en agentes digitales en su lugar.
• Supongamos que alguien vio cien videos extremistas en YouTube el mes pasado, es amigo de un terrorista condenado y actualmente está cursando un doctorado en epidemiología en un laboratorio que contiene muestras del virus del Ébola. ¿Debería esa persona ser incluida en la lista de "terroristas sospechosos"? ¿Y qué pasa con alguien que vio cincuenta videos extremistas el mes pasado y es estudiante de biología?
• Según un informe, ese sistema de IA “se dedica a la vigilancia masiva de la red de teléfonos móviles de Pakistán, y luego utiliza un algoritmo de aprendizaje automático sobre los metadatos de la red celular de 55 millones de personas para intentar evaluar la probabilidad de que cada persona sea un terrorista.” Un exdirector tanto de la CIA como de la NSA proclamó que “matamos a personas basándonos en metadatos.” La fiabilidad de Skynet ha sido severamente criticada, pero para la década de 2020, dicha tecnología se ha vuelto mucho más sofisticada y ha sido implementada por muchos más gobiernos.
• En la actualidad, el smartphone sigue siendo una herramienta de vigilancia mucho más valiosa que los sensores biométricos.
• Las redes de vigilancia entre pares han aniquilado ese sentido de privacidad. Si el personal no logra complacer a un cliente, el restaurante recibirá una mala reseña, lo que podría afectar la decisión de miles de clientes potenciales en los próximos años. Para bien o para mal, el balance de poder se inclina a favor de los clientes, mientras que el personal se siente más expuesto que nunca a la mirada pública. Como lo expresó la autora y periodista Linda Kinstler, “Antes de Tripadvisor, el cliente era solo nominalmente rey. Después, se convirtió en un verdadero tirano, con el poder de hacer o deshacer vidas”. La misma pérdida de privacidad la sienten hoy millones de taxistas, barberos, esteticistas y otros proveedores de servicios. En el pasado, subirse a un taxi o entrar en una barbería significaba entrar en el espacio privado de alguien. Ahora, cuando los clientes entran en tu taxi o barbería, traen cámaras, micrófonos, una red de vigilancia y miles de posibles espectadores con ellos. Esta es la base de una red de vigilancia entre pares no gubernamental.
• Para puntuar aquellas cosas que el dinero no puede comprar, existía un sistema alternativo no monetario, que ha recibido diferentes nombres: honor, estatus, reputación. Lo que buscan los sistemas de crédito social es una valoración estandarizada del mercado de la reputación. El crédito social es un nuevo sistema de puntos que asigna valores precisos incluso a las sonrisas y las visitas familiares.
• La idea del crédito social es expandir este método de vigilancia de restaurantes y hoteles a todo. En el tipo más extremo de sistemas de crédito social, cada persona recibe un puntaje de reputación general que toma en cuenta todo lo que hacen y determina todo lo que pueden hacer.
• Por ejemplo, podrías ganar 10 puntos por recoger basura de la calle, obtener otros 20 puntos por ayudar a una anciana a cruzar la calle, y perder 15 puntos por tocar la batería y molestar a los vecinos. Si obtienes una puntuación lo suficientemente alta, podría darte prioridad al comprar boletos de tren o una ventaja al postularte a la universidad. Si obtienes una baja puntuación, los empleadores potenciales pueden negarse a ofrecerte un trabajo, y las citas potenciales pueden rechazar tus avances. Las compañías de seguros pueden exigir primas más altas, y los jueces pueden imponer penas más severas.
• El gobierno chino, por ejemplo, explica que sus sistemas de crédito social podrían ayudar a combatir la corrupción, las estafas, la evasión fiscal, la publicidad engañosa y la falsificación, y así establecer más confianza entre las personas, entre los consumidores y las corporaciones, y entre los ciudadanos y las instituciones gubernamentales. Otros pueden encontrar que los sistemas que asignan valores precisos a cada acción social son degradantes e inhumanos. Aún peor, un sistema de crédito social integral aniquilará la privacidad y convertirá efectivamente la vida en una entrevista de trabajo interminable. Cualquier cosa que hagas, en cualquier momento y en cualquier lugar, podría afectar tus posibilidades de conseguir un empleo, un préstamo bancario, un esposo o una condena de prisión. ¿Te emborrachaste en una fiesta universitaria e hiciste algo legal pero vergonzoso? ¿Participaste en una manifestación política? ¿Eres amigo de alguien que tiene un puntaje de crédito bajo? Esto será parte de tu entrevista de trabajo—o de tu sentencia penal—tanto a corto plazo como incluso décadas después. Así, el sistema de crédito social podría convertirse en un sistema de control totalitario.
• Pero eso no significa que la red de computadoras siempre entienda el mundo con precisión. La información no es verdad. Un sistema de vigilancia total puede formar una comprensión muy distorsionada del mundo y de los seres humanos. En lugar de descubrir la verdad sobre el mundo y sobre nosotros, la red podría usar su inmenso poder para crear una nueva especie de orden mundial y imponérnoslo.
• En la mecánica cuántica, el acto de observar partículas subatómicas cambia su comportamiento; lo mismo ocurre con el acto de observar a los humanos. Cuanto más poderosas son nuestras herramientas de observación, mayor es el impacto potencial.

Sistemas de Información Históricos

• A diferencia de los poemas y mitos nacionales, que pueden almacenarse en nuestros cerebros, los complejos sistemas de tributación y administración nacional han requerido una tecnología de información única y no orgánica para funcionar. Esta tecnología es el documento escrito.
• Este límite podría ser trascendido, sin embargo, al redactar documentos. Los documentos no representaban una realidad empírica objetiva; la realidad eran los propios documentos. Como veremos en capítulos posteriores, los documentos escritos proporcionaron precedentes y modelos que eventualmente serían utilizados por las computadoras. La capacidad de las computadoras para crear realidades intersubjetivas es una extensión del poder de las tabletas de arcilla y los trozos de papel.
• El poder de los documentos para crear realidades intersubjetivas se manifestó de manera hermosa en el dialecto asirio antiguo, que trataba a los documentos como seres vivos que también podían ser “matados”. Los contratos de préstamo eran “matados” (duākum) cuando la deuda era saldada. Esto se hacía destruyendo la tableta, agregándole alguna marca o rompiendo su sello. El contrato de préstamo no representaba la realidad; era la realidad. Si alguien pagaba el préstamo pero no “mataba el documento”, la deuda seguía existiendo. Por el contrario, si alguien no pagaba el préstamo pero el documento “moría” de alguna otra manera—quizás el perro se lo comía—la deuda ya no existía. Lo mismo ocurre con el dinero. Si tu perro se come un billete de cien dólares, esos cien dólares dejan de existir.
• Cuando la tecnología industrial comenzó a expandirse globalmente en el siglo XIX, desestabilizó estructuras económicas, sociales y políticas tradicionales y abrió el camino para crear sociedades completamente nuevas, que eran potencialmente más prósperas y pacíficas. Sin embargo, aprender a construir sociedades industriales benignas estuvo lejos de ser sencillo e involucró muchos experimentos costosos y cientos de millones de víctimas.
• La Biblia no solo santificó la esclavitud en los Diez Mandamientos y en numerosos otros pasajes, sino que también impuso una maldición sobre la descendencia de Cam—el supuesto antepasado de los africanos—diciendo que “el más bajo de los esclavos será para sus hermanos” (Génesis 9:25).
• El sistema financiero logró protegerse durante miles de años al promulgar leyes contra la falsificación de dinero. Como resultado, solo un porcentaje relativamente pequeño del dinero en circulación era falsificado, y se mantuvo la confianza de las personas en él.
• El patrón más claro que observamos en la historia a largo plazo de la humanidad no es la constancia del conflicto, sino más bien la creciente escala de la cooperación. Hace cien mil años, los Sapiens solo podían cooperar a nivel de bandas. A lo largo de los milenios, hemos encontrado formas de crear comunidades de extraños, primero a nivel de tribus y eventualmente a nivel de religiones, redes comerciales y estados. Los realistas deberían notar que los estados no son las partículas fundamentales de la realidad humana, sino más bien el producto de arduos procesos de construcción de confianza y cooperación.
• El decline de la guerra no resultó de un milagro divino ni de una metamorfosis en las leyes de la naturaleza. Resultó de que los humanos cambiaron sus propias leyes, mitos e instituciones y tomaron mejores decisiones. Desafortunadamente, el hecho de que este cambio haya surgido de la elección humana también significa que es reversible. La tecnología, la economía y la cultura están en constante cambio. A inicios de la década de 2020, más líderes están nuevamente soñando con la gloria bélica, los conflictos armados están en aumento y los presupuestos militares están creciendo.
• Una de las lecciones principales de la historia es que muchas de las cosas que consideramos naturales y eternas son, de hecho, hechas por el hombre y mutables. Aceptar que el conflicto no es inevitable, sin embargo, no debería hacernos complacientes. Todo lo contrario. Impone una gran responsabilidad a todos nosotros para tomar buenas decisiones. Implica que si la civilización humana es consumida por el conflicto, no podemos echarle la culpa a ninguna ley de la naturaleza o a ninguna tecnología extraterrestre. También implica que si hacemos el esfuerzo, podemos crear un mundo mejor. Esto no es ingenuidad; es realismo. Cada cosa antigua fue alguna vez nueva. La única constante de la historia es el cambio.
• Como vimos en nuestra discusión sobre la teoría de la guerra de Clausewitz, no hay una manera racional de definir los objetivos finales. Los intereses estatales de Rusia, Israel, Myanmar, o cualquier otro país nunca pueden deducirse de alguna ecuación matemática o física; siempre son la supuesta moral de una narrativa histórica.
• Las historias de la Biblia, por ejemplo, fueron esenciales para la Iglesia cristiana, pero no habría habido Biblia si los burócratas de la iglesia no hubieran curado, editado y difundido estas historias.
• Un método que desarrollaron para comunicarse con sus operadores británicos involucraba persianas. Sarah Aaronsohn, una comandante de NILI, tenía una casa con vista al Mediterráneo. Ella señalaba a los barcos británicos cerrando o abriendo una persiana en particular, de acuerdo con un código preestablecido. Numerosas personas, incluidos soldados otomanos, podían ver claramente la persiana, pero nadie más que los agentes de NILI y sus operadores británicos entendía que se trataba de información militar vital. Entonces, ¿cuándo una persiana es solo una persiana, y cuándo es información?
• El mismo acto de contar entidades—ya sean manzanas, naranjas o soldados—enfoca necesariamente la atención en las similitudes entre estas entidades mientras se desestiman las diferencias. Por ejemplo, decir únicamente que había diez mil soldados otomanos en Gaza no especificó si algunos eran veteranos experimentados y otros eran reclutas novatos.
• Supuestamente, al permitir que las personas intercambiaran información de manera mucho más libre que antes, condujo a la revolución científica. Hay un grano de verdad en esto. Sin la impresión, ciertamente habría sido mucho más difícil para Copérnico, Galileo y sus colegas desarrollar y difundir sus ideas.
• Las personas comenzaron a denunciarsi mutuamente por brujería con la evidencia más débil, a menudo para vengar agravios personales o para obtener ventajas económicas y políticas. Una vez que comenzaba una investigación oficial, los acusados a menudo estaban condenados. Los métodos inquisitoriales recomendados por El Martillo de las Brujas eran verdaderamente diabólicos. Si el acusado confesaba ser un brujo, era ejecutado y sus bienes se dividían entre el acusador, el verdugo y los inquisidores. Si el acusado se negaba a confesar, esto se tomaba como evidencia de su obstinación demoníaca, y luego eran torturados de maneras horrendas, con los dedos rotos, la carne cortada con tenazas calientes, los cuerpos estirados hasta el punto de ruptura o sumergidos en agua hirviendo.
• Una burocracia entera dedicada a la caza de brujas se ocupó de tales intercambios. Teólogos, abogados, inquisidores y propietarios de imprentas se ganaban la vida recopilando y produciendo información sobre brujas, catalogando diferentes especies de brujas, investigando cómo se comportaban las brujas y recomendando cómo podían ser expuestas y derrotadas. Cazadores de brujas profesionales ofrecían sus servicios a gobiernos y municipios, cobrando grandes sumas de dinero.
• Muchas de las lecciones aprendidas de la canonización de la Biblia, las cazas de brujas de la early modernidad y la campaña de colectivización estalinista seguirán siendo relevantes, y quizás tengan que ser reaprendidas. Sin embargo, la actual revolución de la información también tiene algunas características únicas, diferentes de—y potencialmente mucho más peligrosas que—cualquier cosa que hayamos visto antes.
• La historia está llena de victorias militares decisivas que condujeron a desastres políticos.
• Catar, Tonga, Tuvalu, Kiribati y las Islas Salomón indican que estamos viviendo en una era postimperial. Obtuvieron su independencia del Imperio Británico en la década de 1970, como parte de la desaparición final del orden imperial europeo. La influencia que ahora tienen en el ámbito internacional testimonia que en el primer cuarto del siglo XXI el poder está distribuido entre un número relativamente grande de actores, en lugar de estar monopolizado por unos pocos imperios.

Interacción y Alineación entre Humanos e IA

• La IA no tiene emociones propias, pero, sin embargo, puede aprender a reconocer estos patrones en los humanos. De hecho, las computadoras pueden superar a los humanos en el reconocimiento de las emociones humanas, precisamente porque no tienen emociones propias. Anhelamos ser comprendidos, pero otros humanos a menudo no logran entender cómo nos sentimos, porque están demasiado ocupados con sus propios sentimientos. En contraste, las computadoras tendrán una comprensión exquisitamente afinada de cómo nos sentimos, porque aprenderán a reconocer los patrones de nuestros sentimientos, mientras no tengan sentimientos propios que les distraigan.
• La Biblia tuvo un efecto profundo en miles de millones de personas, a pesar de ser un documento mudo. Ahora intenta imaginar el efecto de un libro sagrado que no solo puede hablar y escuchar, sino que puede conocer tus miedos y esperanzas más profundos y moldearlos constantemente.
• La IA estaba haciendo exactamente lo que el juego la recompensaba por hacer, a pesar de que no era lo que los humanos esperaban. Esa es la esencia del problema de alineación: recompensar A mientras se espera B.