La inteligencia artificial amigable (también llamada IA amigable o FAI por sus siglas en inglés) es una IA fuerte (IAF) e hipotética, puede tener un efecto positivo más que uno negativo sobre la humanidad. El término fue acuñado por Eliezer Yudkowsky^[1]​ para discutir acerca de los agentes artificiales súper inteligentes que de manera confiable implementan los valores humanos. Stuart J. Russell y Peter Norvig, liderando el libro de texto de inteligencia artificial, Inteligencia Artificial: un Acercamiento Moderno, describen dicha idea:^[2]​

Yudkowsky (2008) entra en mayor detalle acerca de la IA amigable. Él afirma que la amabilidad, un deseo de no lastimar a los humanos, debe de ser diseñada desde el comienzo. Los diseñadores deben reconocer que tan defectuosos pueden ser sus diseños y que tanto aprenderán y evolucionarán los robots con el tiempo. Por lo tanto, el desafío es un diseño de mecanismos de los sistemas de IA bajo un sistema de chequeos y balances para lograr las funciones de utilidad de sistemas que permanecerán amigables frente a cualquier cambio.

'Amigable' es usado en este contexto como terminología técnica y escoge agentes que son seguros y útiles, no necesariamente aquellos que son "amigables" en el sentido coloquial. El concepto es invocado principalmente en el contexto de discusiones de agentes artificiales de auto-mejora recursiva que rápidamente explota en inteligencia, con el argumento de que esta tecnología hipotética pudiera tener una larga, rápida y difícil tarea de controlar el impacto en la sociedad humana.^[3]​

El filósofo de Oxford, Nick Bostrom, menciona que los sistemas de IA con metas que no son perfectamente idénticas o muy estrechamente alineadas con las éticas humanas son intrínsecamente peligrosas si no se toman medidas extremas para garantizar la seguridad de la humanidad.

Básicamente nosotros necesitamos asumir que una 'súper inteligencia' podría ser capaz de cumplir cualquier meta que tiene. Por lo tanto, es extremadamente importante que las metas que nosotros le dotamos y todo su sistema de motivación sea 'humano amigable.'

Las raíces de esta preocupación son muy viejas. Kevin LaGrandeur mostró que los peligros específicos de la IA pueden ser vistos en la literatura antigua con relación a sirvientes humanoides artificiales tales como el golem o los proto-robots de Gerbert de Aurillac y Roger Bacon. En aquellas historias, la extrema inteligencia y poder de estas creaciones humanoides chocan con su status como esclavos, que por naturaleza son vistos como sub-humanos, y causan conflictos desastrosos.^[4]​

Ryszard Michalski, un pionero del aprendizaje automático, enseñó a sus estudiantes de Ph.D. hace décadas que cualquier mente alien verdadera, incluyendo una mente de máquina, era incognoscible y por lo tanto peligrosa para los humanos.^{[cita requerida]}

Más recientemente, Eliezer Yudkowsky ha llamado para la creación de “IA amigable” para mitigar la amenaza existencial de inteligencias hostiles.

Steve Omohundro menciona que todos los sistemas de IA avanzados podrían, a menos contrarrestando de forma explícita, exhibir un número de unidades básicas, tendencias o deseos, porque de la naturaleza intrínseca de sistemas orientado a objetos y que estas unidades podrían, “sin precauciones especiales”, causar que la IA actúe en maneras que van desde la desobediencia hasta lo peligrosamente poco ético.

Alex Wissner-Gross menciona que las IAs impulsadas para maximizar su futura libertad de acción (o entropía ruta casual) podrían ser consideradas amigables si su horizonte de planeación es más largo que un cierto umbral o antipáticas si su horizonte de planeación es más corto que el umbral.^[5]​^[6]​

Luke Muehlhauser recomienda que los investigadores de la ética de las máquinas adoptan lo que Bruce Schneier ha llamado la "mentalidad de la seguridad": En lugar de pensar en cómo va a funcionar un sistema, imagina cómo podría fallar. Por ejemplo, sugiere incluso una IA que sólo hace predicciones exactas y se comunica a través de una interfaz de texto, podría causar daño no intencionado.^[7]​

Yudkowsky avanza el modelo de Voluntad Coherente Extrapolada (CEV por sus siglas en inglés) y menciona que nuestra voluntad coherente extrapolada son nuestras decisiones y las acciones que podríamos tomar colectivamente si "nosotros conociéramos más, pensáramos más rápido, fuéramos más las personas que nosotros deseamos ser y hubiéramos crecido más cerca."^[8]​

Más que una IA amigable siendo diseñada directamente por programadores humanos, es diseñada por una IA semilla programada para primero estudiar la naturaleza humana y luego producir la IA cual humanidad quiere, con el tiempo suficiente y la visión, para llegar a una respuesta satisfactoria.^[8]​ La apelación para una psicología evolucionista (tal vez expresada, para propósitos matemáticos, en la forma de una función de utilidad u otro formalismo de la teoría de la decisión), puede proveer el criterio último de "Amabilidad", es una respuesta al problema de metaética de definir una moral objetiva; la voluntad extrapolatada pretende ser lo que la humanidad objetiva querría, considerando todas las cosas, pero solo puede ser definido en relación con las cualidades psicológicas y cognitivas de la actualidad, una humanidad no extrapolada.

Ben Goertzel, un investigador de la IA fuerte, cree que la IA amigable no puede ser creada con el conocimiento humano actual. Goertzel sugiere que los humanos deberían en vez de decidir crear una "IA niñera" con "inteligencia y vigilancia ligeramente sobrehumanos, deberían proteger la raza humana de riesgos existenciales como la nanotecnología y retrasar el desarrollo de otras inteligencias artificiales (hostiles) si y solo si los problemas de seguridad son resueltos.^[9]​

Steve Omohundro ha propuesto un enfoque de "andamiaje" para una IA segura, en el cual una probable generación de IA seguras ayudarían a construir la siguiente probable generación segura.^[10]​

James Barrat, autor de Our Final Invention, sugiere que "una asociación público-privada tiene que ser creada para traer a los responsables de la IA juntos para compartir ideas acerca de seguridad—algo como la Agencia Internacional de Energía Atómica, pero en asociación con corporaciones." Él insta a los investigadores de IA para convocar una reunión similar a la Conferencia de Asilomar de ADN Recombinante, la cual discutió los riesgos de la biotecnología.^[10]​

John McGinnis alienta a los gobiernos para acelerar la investigación de la IA amigable. Porque las reglas de la IA amigable no son necesariamente claras, él sugiere un modelo parecido al National Institutes of Health, donde los "Paneles de revisión por pares de computadora y los científicos cognitivos pueden tamizar a través de proyectos y elegir aquellos que son

1. ↑ Tegmark, Max (2014). «Life, Our Universe and Everything». Our mathematical universe : my quest for the ultimate nature of reality (First edition. edición). ISBN 9780307744258. «Its owner may cede control to what Eliezer Yudkowsky terms a "Friendly AI,"...» 
2. ↑ Russell, Stuart; Norvig, Peter (2010). Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 0-13-604259-7. 
3. ↑ Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong. Oxford University Press, Inc. ISBN 978-0-19-537404-9. (requiere registro). 
4. ↑ Kevin LaGrandeur. «The Persistent Peril of the Artificial Slave». Science Fiction Studies. Consultado el 6 de mayo de 2013. 
5. ↑ 'How Skynet Might Emerge From Simple Physics, io9, Published 2013-04-26.
6. ↑ Wissner-Gross, A. D. (2013). «Causal entropic forces». Physical Review Letters 110: 168702. Bibcode:2013PhRvL.110p8702W. doi:10.1103/PhysRevLett.110.168702. Archivado desde el original el 11 de enero de 2020. Consultado el 2 de septiembre de 2015. 
7. ↑ Muehlhauser, Luke (31 de julio de 2013). «AI Risk and the Security Mindset». Machine Intelligence Research Institute. Consultado el 15 de julio de 2014. 
8. ↑ ^{a b} «Coherent Extrapolated Volition». Singinst.org. Archivado desde el original el 15 de agosto de 2010. Consultado el 20 de agosto de 2010. 
9. ↑ Goertzel, Ben. "Should Humanity Build a Global AI Nanny to Delay the Singularity Until It’s Better Understood?" Journal of consciousness studies 19.1-2 (2012): 1-2.
10. ↑ ^{a b} Hendry, Erica R. (21 Jan 2014). «What Happens When Artificial Intelligence Turns On Us?». Smithsonian.com. Consultado el 15 de julio de 2014. 

diseñados tanto para avanzar en IA y para asegurar que dichos avances puedan ser acompañados por garantías apropiadas." McGinnis siente que la revisión en pares es mejor "que la regulación para hacer frente a los problemas técnicos que no son posible capturar a través de mandatos burocráticos". McGinnis nota que su propuesta contrasta con la del Instituto de Investigación de Inteligencia Maquinaria, la cual generalmente tiene como objetivo evitar la participación del gobierno en la IA amigable.^[1]​

De acuerdo a Gary Marcus, la cantidad anual de dinero siendo invertida en el desarrollo de la moralidad de la máquina es pequeña.^[2]​

Algunos críticos creen que tanto el IA a nivel humano y la superinteligencia son improbables, y por ello una Inteligencia Artificial Amigable es improbable. Alan Winfeld escribiendo en The Guardian compara la inteligencia artificial a nivel humano con viajar a la velocidad de la luz en términos de dificultad, y establece que mientras nosotros necesitemos ser "cautelosos y preparados" dado lo que está en juego, nosotros "no necesitaremos ser obsesivos" acerca de los riesgos de superinteligencia.^[3]​

Algunos filósofos afirman que cualquier agente "racional" verdadero, sea artificial o humano, será naturalmente benevolente; en esta visión, garantías deliberadas diseñadas para producir una IA amigable puede ser innecesario o incluso perjudicial.^[4]​ Otros críticos se preguntan si es posible para una inteligencia artificial ser amigable. Adam Keiper y Ari N. Schulman, editores del journal tecnológico The New Atlantis, dicen que será imposible garantizar siempre un comportamiento "amigable" en las IA porque los problemas de complejidad de ética no cederán ante los avances de software o el incremento en el poder de las computadoras. Escribieron que los criterios en los que las teorías de IA amigable son basadas en el trabajo "sólo cuando uno no tenga grandes poderes de predicción sobre la probabilidad de resultados innumerables posibles, pero la certeza y consenso en cómo uno evalúa los diferentes resultados.^[5]​

• Rebelión de las máquinas
• Ética en la inteligencia artificial
• Ética de las máquinas
• Singularitarianismo - una filosofía moral propugnado por autores de la IA amigable
• Singularidad tecnológica
• Tres leyes de la Robótica
• OpenAI

• Omohundro, S. 2008 The Basic AI Drives Appeared in AGI-08 - Proceedings of the First Conference on Artificial General Intelligence
• Yudkowsky, E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. In Global Catastrophic Risks, Oxford University Press, 2008.
  Discute Inteligencia Artificial desde la perspectiva de Riesgo existencial, introduciendo el término "IA amigable". En particular, Secciones 1-4 dan fondo a la definición de IA amigable en la Sección 5. La Sección 6 da dos clases de errores (técnico y filosófico) que ambos podrían liderar hacia la creación accidental de IAs no amigables. Las Sections 7-13 discute más sobre problemas relacionados.

• Ethical Issues in Advanced Artificial Intelligence by Nick Bostrom
• What is Friendly AI? — A brief description of Friendly AI by the Machine Intelligence Research Institute.
• Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures — A near book-length description from the MIRI
• Critique of the MIRI Guidelines on Friendly AI — by Bill Hibbard
• Commentary on MIRI's Guidelines on Friendly AI — by Peter Voss.
• The Problem with ‘Friendly’ Artificial Intelligence — On the motives for and impossibility of FAI; by Adam Keiper and Ari N. Schulman.