Documente Academic
Documente Profesional
Documente Cultură
Superinteligencia
Caminos, Peligros, Estrategias
Nick Bostrom
Director, Instituto Futuro de la Humanidad Profesor de la Facultad de Filosofa y Oxford
Martin SchoolUniversidad de Oxford
Usted no debe distribuir este trabajo en cualquier otra forma y debe imponer esta
ISBN 978-0-19-967811-2
Los enlaces a sitios web de terceros son proporcionados por Oxford de buena fe y por slo
informacin. Oxford se exime de cualquier responsabilidad por los materiales contenidos
en cualquier pgina web de terceros que se hace referencia en este trabajo.
Era la temporada de nido-construccin, pero despus de das de trabajo duro y largo, los
gorriones se sent en el resplandor de la noche, relajante y piar de distancia.
"Estamos todos tan pequeo y dbil. Imagina lo fcil que sera la vida si tuviramos un
bho que podran ayudarnos a construir nuestros nidos! " "S!", Dijo otro. "Y
podramos utilizarlo para cuidar a nuestros ancianos y nuestros jvenes."
"Nos podra dar consejos y mantener un ojo hacia fuera para el gato barrio",
aadi un tercero.
Respondi Pastus: "Domando un bho suena como una cosa muy difcil de hacer. Ser
suficiente para encontrar un huevo bho difcil. As que vamos a empezar por ah. Despus
hemos tenido xito en la crianza de un bho, entonces podemos pensar en tomar en este
otro desafo ".
"Hay una falla en ese plan!" Chill Scronkfinkle; pero sus protestas fueron en vano ya que
el rebao ya se haba levantado para empezar a aplicar las directivas establecidas por
Pastus.
Slo dos o tres gorriones se quedaron atrs. Juntos comenzaron a tratar de averiguar
cmo pueden ser domesticados o domesticados bhos. Pronto se dieron cuenta de que
Pastus tena razn: se trataba de un reto muy difcil, especialmente en ausencia de un
bho real para practicar. Sin embargo ellos siguieron adelante lo mejor que pudieron, en
constante temor de que el rebao podra volver con un huevo lechuza antes de una
solucin al problema de control haba sido encontrado.
No se sabe cmo termina la historia, pero el autor dedica este libro a Scronkfinkle y sus
seguidores.
PRLOGO
Dentro de su crneo es lo que hace la lectura. Esta cosa, el cerebro humano, tiene
algunas capacidades que los cerebros de otros animales carecen. Es a estas capacidades
distintivas que le debemos nuestra posicin dominante en el planeta. Otros animales
tienen msculos ms fuertes y garras ms ntidas, pero tenemos cerebros ms
inteligentes. Nuestra ventaja modesta en la inteligencia general nos ha llevado a
desarrollar el lenguaje, la tecnologa y la organizacin social compleja. La ventaja ha
agravado con el tiempo, a medida que cada generacin se ha basado en los logros de sus
predecesores.
Tenemos una ventaja: que lleguemos a construir las cosas. En principio, podramos
construir una especie de superinteligencia que protegera a los valores humanos. Sin duda
tiene razn de peso para hacerlo. En la prctica, el problema en el control problema de
cmo controlar lo que la superinteligencia hara-se ve muy difcil. Tambin parece que
slo obtendremos una oportunidad. Una vez que existe superinteligencia antiptico, que
nos impedira su sustitucin o cambiar sus preferencias. Nuestro destino se sell.
Esto no ha sido un libro fcil de escribir. Espero que el camino que se ha aclarado
que permitir a otros investigadores para llegar a la nueva frontera ms rpida y cmoda,
para que puedan llegar all fresco y listo para unirse a los trabajos para ampliar an ms el
alcance de nuestra comprensin. (Y si la forma en que se ha hecho es un poco accidentado
y articulados, espero que los colaboradores, al juzgar el resultado, no hay que subestimar
la hostilidad del terreno
ex ante!)
Esto no ha sido un libro fcil de escribir: He tratado de hacer que un libro fcil de
leer, pero no creo que bastante he tenido xito. Al escribir, que yo tena en mente como el
pblico objetivo una anterior intervalo de tiempo de m mismo, y yo trat de producir un
tipo de libro que me hubiera gustado leer. Este podra ser un grupo demogrfico estrecho.
Sin embargo, creo que el contenido debe ser accesible a muchas personas, si ponen un
poco de pensamiento en l y resistir la tentacin de malinterpretar instantneamente
cada nueva idea asimilando con el
AGRADECIMIENTOS
Para amplios debates que han ayudado a aclarar mi pensamiento Agradezco a un gran
conjunto de personas, incluyendo Ross Andersen, Stuart Armstrong, Owen Algodn -
Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Miln Dirkovid, Daniel Dennett,
David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnn Edn, Owain Evans,
Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Gracia, J. Storrs Hall, Robin
Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garry Kasparov, Marcin Kulczycki,
Shane Legg, Moshe Looks, Willam MacAskill, Eric Mandelbaum, James Martin, Lillian
Martin, Roko Mijic, Vincent Mueller, Elon Musk, Sen higeartaigh, Toby Ord, Dennis
Pamlin, Derek Parfit, David Pearce, Huw Price, Martin Rees , Bill Roscoe, Stuart Russell,
Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jrgen Schmidhuber,
Nicholas Shackel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan
Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Yampolskiy y Eliezer
Yudkowsky.
Para los comentarios detallados sobre todo, estoy agradecido a Miln Dirkovid,
Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Lucas Muehlhauser, Toby Ord, Jess
Riedel, Anders Sandberg, Murray Shanahan, y Carl Shulman. Para asesoramiento o ayuda
de investigacin con diferentes partes Quiero agradecer Stuart Armstrong, Daniel Dewey,
Eric Drexler, Alexandre Erler, Rebecca Roache, y Anders Sandberg.
Para obtener ayuda con la preparacin del manuscrito, estoy agradecido a Caleb
Bell, Malo Bourgon, Robin Brandt, Lance Bush, Cathy Douglass, Alexandre Erler, Kristian
Rnn, Susan Rogers, Andrew Snyder-Beattie, Cecilia Tilli, y Alex Vermeer. Quiero
agradecer especialmente a mi editor Keith Mansfield por su aliento abundantes durante
todo el proyecto.
Mis disculpas a todos los dems que debera haber sido recordado aqu.
CONTENIDOS
Grandes expectativas
Lo ltimo
2. Caminos de superinteligencia
Inteligencia artificial
Cognicin Biolgica
Superinteligencia Calidad
Obstinacin
Cables trampa
Mtodos de seleccin Motivacin
Especificacin directa
Domesticidad
Normatividad indirecta
Aumento
Sinopsis
10. orculos, genios, soberanos, herramientas
Orculos
Genios y soberanos Herramienta-IA
Comparacin
11. escenarios multipolares
De caballos y hombres
Los salarios y el desempleo
El capital y el bienestar
Subcontratistas inconsciente?
La evolucin no es
necesariamente
Seleccin Evolutiva
Aprendizaje por refuerzo Acrecin valor asociativo
Andamios de motivacin
Aprendizaje Valor Modulacin de Emulacin
Diseo Institucin
Sinopsis
13. La eleccin de los criterios para la eleccin La necesidad de normatividad
indirecta Volicin extrapolado Coherente Algunas explicaciones
Justificaciones para CEV
Otras observaciones
Modelos de moralidad
Do What I Mean
Lista de componentes
Contenido Meta
Teora de la decisin
Epistemologa Ratificacin Conseguir lo suficientemente cerca
14. El cuadro estratgico
Estrategia de ciencia y tecnologa
CAPTULO 1
La evolucin pasada y las capacidades actuales Empezamos por mirar atrs. Historia,
en la escala ms grande, parece exhibir una secuencia de modos de crecimiento distintos,
cada uno mucho ms rpido que su predecesor. Este patrn se ha llevado a sugerir que
otro (an ms rpido) modo de crecimiento podra ser posible. Sin embargo, no ponemos
mucho peso en esta observacin, esto no es un libro sobre "la aceleracin tecnolgica" o
"crecimiento exponencial" o las nociones diversas veces reunidos bajo el ttulo de "la
singularidad". A continuacin, se revisa la historia de la artificial inteligencia. A
continuacin, examinamos las capacidades actuales del campo. Por ltimo, echamos un
vistazo a algunas encuestas de opinin de expertos recientes, y contemplamos nuestra
ignorancia acerca de la lnea de tiempo de los futuros avances. Modos de crecimiento y la
historia grande
Hace apenas unos pocos millones de aos nuestros antepasados todava estaban
colgando de las ramas en la copa africana. En una escala de tiempo geolgica o incluso la
evolucin, el ascenso de Homo sapiens de nuestro ltimo ancestro comn con los grandes
simios sucedieron con rapidez. Desarrollamos postura erguida, pulgares oponibles y-
crucialmente-algunos cambios relativamente menores en el tamao del cerebro y la
organizacin neurolgica que llevaron a un gran salto en la capacidad cognitiva. Como
consecuencia, los seres humanos pueden pensar de manera abstracta, comunicar
pensamientos complejos y culturalmente acumular informacin sobre las generaciones
mucho mejor que cualquier otra especie en el planeta.
Estas capacidades permiten los seres humanos desarrollan tecnologas productivas
cada vez ms eficientes, por lo que es posible que nuestros antepasados a emigrar lejos de
la selva y la sabana. Especialmente despus de la adopcin de la agricultura, la densidad
de poblacin aumentaron junto con el tamao total de la poblacin humana. Ms
personas significan ms ideas; mayores densidades signific que las ideas podan
propagarse con mayor facilidad y que algunos individuos podran dedicarse al desarrollo
de habilidades especializadas. Estos acontecimientos aumentaron la
tasa de crecimiento de la productividad econmica y la capacidad tecnolgica.
Desarrollos posteriores, relacionados con la Revolucin Industrial, provocaron una
segunda, cambio de ritmo comparable en la tasa de crecimiento.
Estos cambios en la tasa de crecimiento tienen consecuencias importantes. Hace
unos cien mil aos, a principios de humano (o homnido) la prehistoria, el crecimiento fue
tan lento que tom en el orden del milln de aos para la capacidad productiva humana
para aumentar lo suficiente como para sostener un adicional de un milln de personas
que viven a nivel de subsistencia. Por 5000 aC, tras la Revolucin Agrcola, la tasa de
crecimiento haba aumentado hasta el punto en que la misma cantidad de crecimiento
tuvo apenas dos siglos. Hoy en da, despus de la Revolucin Industrial, la economa
mundial crece en promedio en esa cantidad cada noventa minutos.1 Incluso el actual
ritmo de crecimiento va a producir resultados impresionantes si se mantiene durante un
moderadamente largo tiempo. Si la economa mundial sigue creciendo al mismo ritmo que
lo ha hecho en los ltimos cincuenta aos, el mundo va a haber algunas 4,8 veces ms rico
en el 2050 y cerca de 34 veces ms rico en 2100 de lo que es hoy.2 Sin embargo, la
perspectiva de continuar en una senda de crecimiento exponencial constante palidece en
comparacin con lo que pasara si el mundo fuera a experimentar otro cambio de ritmo en
la tasa de crecimiento comparable en magnitud a los asociados con la revolucin agrcola y
la Revolucin Industrial. El economista Robin Hanson estima, en base a los datos
econmicos y poblacionales histricos, una economa mundial caracterstica de tiempo
para que la sociedad de cazadores-recolectores del Pleistoceno de 224.000 aos de
duplicacin; para la sociedad la agricultura, 909 aos; y para la sociedad industrial, 6,3
aos3 (En el modelo de Hanson, la poca actual es una mezcla de la agricultura y de los
modos-el crecimiento industrial de la economa mundial en su conjunto an no est
creciendo a la tasa de duplicacin de 6,3 aos.) Si otro tales transicin a un modelo de
crecimiento diferente se produjera, y fuera de magnitud similar a los dos anteriores, que
dara lugar a un nuevo rgimen de crecimiento en el que la economa mundi al se
duplicara en tamao cada dos semanas. Dicha tasa de crecimiento parece fantstico por
las luces actuales. Los observadores en pocas anteriores podran haber encontrado
igualmente absurdo suponer que la economa mundial un da sera duplica varias veces
dentro de un mismo perodo de vida. Sin embargo, esa es la condicin extraordinaria que
ahora damos a ser ordinarias.
La idea de una singularidad tecnolgica que viene a estas alturas ha sido
ampliamente popularizado, empezando por ensayo seminal de Vernor Vinge y
continuando con los escritos de Ray Kurzweil y otros.4 El trmino "singularidad", sin
embargo, se ha utilizado en muchos sentidos confusamente dispares y ha acrecentado un
(todava casi milenaria) aura impa de connotations.5 tecno-utpico Dado que la mayora
de estos significados y connotaciones son irrelevantes para nuestro argumento, podemos
ganar claridad mediante la supresin de la palabra "singularidad" en favor de una
terminologa ms precisa.
Figura 1
La historia a largo plazo del PIB mundial. Trazada en una escala lineal, la historia de la
economa mundial se parece a una lnea plana abrazando a la X
eje y, hasta que de repente clava verticalmente hacia arriba. (A) Incluso cuando nos
acercamos a las ms recientes 10.000 aos, el patrn sigue siendo esencialmente una de
un solo ngulo de 90 . (B) Slo en los ltimos 100 aos ms o menos hace el ascensor
curva sensiblemente por encima del nivel cero. (Las diferentes lneas en la trama
corresponden a diferentes conjuntos de datos, que producen poco diferente estimates.6)
Grandes expectativas
Mquinas emparejan los seres humanos en la inteligencia de que en general es,
que poseen el sentido comn y la capacidad efectiva de aprender, razonar y planificar
para satisfacer desafos complejos de procesamiento de informacin a travs de una
amplia gama de naturales y abstractas dominios han esperado desde la invencin de las
computadoras en la dcada de 1940. En ese momento, la llegada de este tipo de
mquinas a menudo se coloca una veintena de aos en el futuro.
7 Desde entonces, la fecha prevista de llegada ha estado retrocediendo a un ritmo
de un ao por cada ao; por lo que hoy en da, los futuristas que se preocupan por la
posibilidad de ia fuerte todava a menudo creen que las mquinas inteligentes son un par
de dcadas away.8
Dos dcadas es un punto dulce para pronosticadores de cambio radical: lo
suficientemente cerca para ser que llame la atencin y relevante, pero lo suficiente para
que sea posible suponer que para entonces podra haber ocurrido una serie de avances,
en la actualidad slo vagamente imaginable,. Contraste esto con plazos ms cortos: la
mayora de las tecnologas que tendrn un gran impacto en el mundo en cinco o diez aos
a partir de ahora ya son de uso limitado para que tecnologas que remodelar el mundo en
menos de quince aos, probablemente existen como prototipos de laboratorio. Veinte
aos tambin pueden estar cerca de la duracin tpica restante de la carrera de un
pronosticador, que limita el riesgo reputacional de una prediccin audaz.
Del hecho de que algunos individuos han sobrepronostic inteligencia artificial en
el pasado, sin embargo, no se sigue que la IA es imposible o nunca se desarroll.
9 La razn principal por la que el progreso ha sido ms lento de lo esperado es que
las dificultades tcnicas de la construccin de mquinas inteligentes han demostrado ser
superiores a los pioneros previeron. Pero esto deja abierta cun grande esas dificultades
son y qu tan lejos estamos ahora de superarlos. A veces, un problema que parece
inicialmente irremediablemente complicada resulta tener una solucin
sorprendentemente simple (aunque lo contrario es probablemente ms comn).
En el prximo captulo, vamos a ver los diferentes caminos que pueden conducir a la
inteligencia de las mquinas a nivel humano. Pero notemos en primer lugar que no
obstante las muchas paradas que hay entre aqu y la inteligencia artificial a nivel humano,
ste no es el destino final. La siguiente parada, a poca distancia de ms largo de las pistas,
es la inteligencia artificial a nivel sobrehumano. El tren no podra deten er o incluso
desacelerar en la estacin Humanville. Es probable que Swoosh derecho.
El matemtico IJ Good, que haba servido como jefe de estadstica en el equipo para
romper el cdigo de Alan Turing en la Segunda Guerra Mundial, podra haber sido el
primero en enunciar los aspectos esenciales de este escenario. En un pasaje muy citado de
1965, escribi:
Deje una mquina ultrainteligente definirse como una mquina que ahora puede superar
todas las actividades intelectuales de cualquier hombre, sin embargo inteligente. Desde el
diseo de mquinas es una de estas actividades intelectuales, una mquina
ultrainteligente podra disear incluso mejores mquinas; entonces habra, sin duda, una
"explosin de inteligencia", y la inteligencia del hombre se quedara muy atrs. As, la
primera mquina ultrainteligente es la ltima invencin de que el hombre tiene que hacer
cada vez, siempre que la mquina es lo suficientemente dcil para decirnos cmo
mantenerla bajo control. 10
Puede parecer obvio ahora que los principales riesgos existenciales se asociaran
con una explosin como la inteligencia, y que la perspectiva, por tanto, debe ser
examinada con la mayor seriedad, incluso si se supiera (que no lo es) tener sino un
moderado pequea probabilidad de que viene pasar. Los pioneros de la inteligencia
artificial, sin embargo, a pesar de su creencia en la inminencia de nivel AI humana, en su
mayora no contemplan la posibilidad de mayor de lo humano AI. Es como si sus msculos
especulacin lo haba agotado en concebir la posibilidad radical de mquinas alcanzando
la inteligencia humana que no poda comprender el corolario-que las mquinas seran
posteriormente convertido
superinteligente.
Le dieron ningn servicio a dejar el labio solo seria pensamiento a cualquier problema de
seguridad o reparo tico relacionado con la creacin de mentes artificiales y potenciales
seores informticos: una laguna que asombra incluso en el contexto de la era de la
normas no tan impresionantes de tecnologa crtica assessment.12 Debemos esperar que
por el momento la empresa con el tiempo llega a ser factible, habremos ganado no slo el
nivel de competencia tecnolgica para provocar una explosin de inteligencia, sino
tambin el mayor nivel de maestra que sean necesarias para hacer que la detonacin de
supervivencia.
Pero antes de que nos dirigimos a lo que se avecina, ser til tomar un rpido vistazo a la
historia de la inteligencia de la mquina hasta la fecha. Estaciones de la esperanza y la
desesperacin
En el verano de 1956 en el Dartmouth College, diez cientficos comparten un
inters en las redes neuronales, teora de autmatas, y el estudio de la inteligencia
convocado para un taller de seis semanas. Este Proyecto de Verano Dartmouth es a
menudo considerado como el canto del gallo de la inteligencia artificial como un campo
de investigacin. Muchos de los participantes ms tarde sera reconocido como figuras de
fundacin. La visin optimista entre los delegados se refleja en la propuesta presentada a
la Fundacin Rockefeller, que proporcion los fondos para el evento:
Proponemos que un 2 meses, 10 estudio hombre de inteligencia artificial se llevar
a cabo .... El estudio es proceder sobre la base de la conjetura de que todos los aspectos
de aprendizaje o cualquier otra caracterstica de la inteligencia puede en principio ser tan
describe precisamente que una mquina puede ser hecha para simular la misma. Se har
un intento de encontrar la manera de hacer las mquinas que utilizan el lenguaje,
abstracciones y conceptos de forma, resolver tipos de problemas que ahora reservadas a
los seres humanos, y mejorar a s mismos. Creemos que un avance significativo puede
hacerse en uno o ms de estos problemas si un grupo cuidadosamente seleccionado de
cientficos trabajar en l juntos por un verano.
En las seis dcadas desde este inicio impetuoso, el campo de la inteligencia
artificial ha pasado por perodos de bombo y las altas expectativas que se alternan con
perodos de retroceso y la decepcin.
El primer perodo de excitacin, que comenz con la reunin de Dartmouth, fue
descrito ms tarde por John McCarthy (principal organizador del evento) como "Mira,
mam, sin manos!" Era. Durante estos primeros das, los investigadores construyeron
sistemas diseados para refutar las afirmaciones de la forma "Ninguna mquina jams
podra hacer
X ! "Tales afirmaciones escpticos eran comunes en la poca. Para contrarrestarlos,
los investigadores de la IA crearon pequeos sistemas que alcanzaron
X en un "micromundo" (un bien definido, dominio limitado que permiti una versin
reducida de la actuacin que se demostr), lo que proporciona una prueba de concepto y
demostrar que
X podra, en principio, debe hacerse por la mquina. Uno de estos sistemas
temprano, el terico de la lgica, fue capaz de probar la mayor parte de los teoremas en el
segundo captulo de Whitehead y Russell
Principia Mathematica , E incluso se acerc con una prueba de que era mucho ms
elegante que el original, desacreditando as la idea de que las mquinas podran "pensar
slo numricamente" y que muestra que las mquinas tambin fueron capaces de hacer la
deduccin y de inventar proofs.13 lgica Un seguimiento programa, el general Problem
Solver, podra resolver, en principio, una amplia gama de programas problems.14
especificados formalmente que podran resolver problemas de clculo tpicos de los
cursos universitarios de primer ao, los problemas de analoga visual del tipo que aparece
en algunas pruebas de coeficiente intelectual, y simples verbal problemas de lgebra eran
tambin written.15 El robot Shakey (llamada as debido a su tendencia a temblar durante
la operacin) demostr cmo el razonamiento lgico podra ser integrado con la
percepcin y la utiliza para planificar y controlar fsica activity.16 El programa ELIZA
mostr como un equipo podra suplantar un psychotherapist.17 Rogerian A mediados de
los aos setenta, el programa SHRDLU mostr cmo un brazo robtico simulado en un
mundo simulado de bloques geomtricos podra seguir instrucciones y responder a las
preguntas en Ingls que se escriben en por un user.18 En dcadas posteriores, sistemas
hara se crean que demostraron que las mquinas podran componer msica en el estilo
de diversos compositores clsicos, superar a los mdicos en formacin en ciertas tareas de
diagnstico clnico, conducir coches de forma autnoma, y hacer patentable inventions.19
Incluso ha habido una IA que quebr jokes.20 original (no que su nivel de humor era alta
"Qu se obtiene cuando se cruza un ptico con un
objetos mentales ? Una
ojo -dea "hijos -pero los informes, encontraron sus juegos de palabras constantemente
entretenido.) Los mtodos que produjeron xitos en los sistemas de demostraci n
tempranas a menudo
resultado difcil de extender a una mayor variedad de problemas o para casos de
problemas ms difciles. Una razn para esto es la "explosin combinatoria" de
posibilidades que deben ser exploradas por los mtodos que se basan en algo as como
bsqueda exhaustiva. Estos mtodos funcionan bien para los casos simples de un
problema, pero fracasan cuando las cosas se ponen un poco ms complicado. Por
ejemplo, para probar un teorema que tiene una de 5 lneas de largo la prueba en un
sistema de deduccin con una regla de inferencia y 5 axiomas, uno podra simplemente
enumerar las combinaciones posibles y comprobar 3,125 cada uno para ver si entrega la
conclusin prevista. Bsqueda exhaustiva podra tambin trabajar para pruebas de 6 y 7
de la lnea. Pero a medida que la tarea se hace ms difcil, el mtodo de bsqueda
exhaustiva pronto se mete en problemas. Demostrando un teorema con una prueba de 50
lneas no toma diez veces ms que demostrar un teorema que tiene una prueba de 5
lneas: ms bien, si uno utiliza bsqueda exhaustiva, se requiere peinado a travs de 550
8,9 1034 secuencias posibles -que es computacionalmente inviable incluso con los
superordenadores ms rpidos.
Para superar la explosin combinatoria, hay algoritmos que explotan la estructura del
dominio de destino y se aprovechan de los conocimientos previos mediante el uso de
bsqueda heurstica, la planificacin y abstractas representaciones capacidades flexibles
que estaban mal desarrollados en los primeros sistemas de IA. El rendimiento de estos
primeros sistemas tambin sufri debido a los mtodos deficientes para el manejo de la
incertidumbre, la dependencia de las representaciones quebradizos y sin conexin a tierra
simblicos, la escasez de datos y limitaciones de hardware graves sobre la capacidad de la
memoria y la velocidad del procesador. A mediados de la dcada de 1970, hubo una
creciente toma de conciencia de estos problemas. La comprensin de que muchos
proyectos de IA nunca podran hacer valer sus promesas iniciales condujo a la aparicin de
la primera "invierno AI": un perodo de reduccin de personal, durante el cual los fondos
disminuy y aument el escepticismo, y la IA se cay de la moda.
Una nueva primavera lleg a principios de 1980, cuando Japn lanz su Proyecto Quinta
Generacin Computer Systems, una asociacin pblico-privada bien financiado que
pretenda dejar atrs el estado de la tcnica en el desarrollo de una arquitectura de
computacin paralela masiva que servira como plataforma para la inteligencia artificial.
Esto ocurri en la fascinacin pico con los japoneses "milagro econmico de la posguerra",
un perodo en el que lderes gubernamentales y empresariales occidentales buscaban
ansiosamente para adivinar la frmula del xito econmico de Japn en la esperanza de
replicar la magia en casa. Cuando Japn decidi invertir grandes en AI, varios otros pases
siguieron el ejemplo.
Los aos siguientes vieron una gran proliferacin de sistemas expertos. Diseado
como herramientas de apoyo para los tomadores de decisiones, los sistemas expertos son
programas basados en reglas que hicieron inferencias sencillas de una base de
conocimiento de los hechos, que se haba obtenido de expertos en el dominio humano y
cuidadosamente codificadas a mano en un lenguaje formal. Se construyeron cientos de
estos sistemas expertos. Sin embargo, los sistemas ms pequeos siempre poco beneficio,
y los ms grandes resultaron caros de desarrollar, validar y mantener al da, y eran
generalmente engorroso de usar. Era prctico para adquirir un equipo independiente por
el simple hecho de ejecutar un programa. A fines de 1980, esta temporada de
crecimiento, tambin, haba seguido su curso.
El Proyecto Quinta Generacin no cumpli con sus objetivos, al igual que sus
contrapartes en Estados Unidos y Europa. Un segundo invierno AI descendi. En este
punto, un crtico justificadamente podra lamentar "la historia de la investigacin de la
inteligencia artificial hasta la fecha, que consiste siempre xito muy limitado en rea s
particulares, seguido inmediatamente por el fracaso en alcanzar los objetivos ms amplios
en los que estos xitos iniciales parecen en un primer momento a insinuar."
Las cualidades del cerebro como de las redes neuronales contrastados fa vorablemente
con la lgica de cortar de manera rgida pero el rendimiento de los sistemas frgiles -
suficientes BAIA basados en reglas tradicionales de modo de inspirar un nuevo "ismo"
conexionismo
, Que hizo hincapi en la importancia de procesamiento sub-simblico paralelo masivo.
Ms de 150.000 artculos acadmicos ya han sido publicados en las redes neuronales
artificiales, y seguir siendo un enfoque importante en el aprendizaje de la mquina.
Los mtodos basados en la evolucin, tales como algoritmos genticos y programacin
gentica, constituyen otro enfoque cuyo surgimiento ayudado a poner fin a la segunda
invierno AI. Hizo tal vez un impacto acadmico menor que las redes neuronales, pero fue
ampliamente popularizado. En los modelos evolutivos, se mantiene una poblacin de
soluciones candidatas (que pueden ser estructuras o programas de datos), y las nuevas
soluciones candidatas son generados aleatoriamente por mutacin o recombinacin de
variantes en la poblacin existente. Peridicamente, la poblacin se poda mediante la
aplicacin de un criterio de seleccin (una funcin de aptitud) que permite que slo los
mejores candidatos para sobrevivir en la prxima generacin. Repiten a lo largo de miles
de generaciones, la calidad media de las soluciones en el grupo de candidatos aumenta
gradualmente. Cuando funciona, este tipo de algoritmo puede producir soluciones
eficientes a una amplia gama de problemas-soluciones que pueden ser
sorprendentemente novedoso y poco intuitivo, a menudo buscan ms como estructuras
naturales que cualquier cosa que un ingeniero humano diseara. Y, en principio, esto
puede ocurrir sin mucha necesidad de intervencin humana ms all de la especificacin
inicial de la funcin de aptitud, que a menudo es muy simple. En la prctica, sin embargo,
conseguir mtodos evolutivos de trabajar bien requiere habilidad e ingenio, sobre todo en
la elaboracin de un buen formato de representacin. Sin una
forma eficiente para codificar soluciones candidatos (un lenguaje gentico que coincid e
con la estructura latente en el dominio de destino), la bsqueda de la evolucin tiende a
deambular eternamente en un vasto espacio de bsqueda o quedar atrapado en un
ptimo local. Incluso si se encuentra un buen formato de representacin, la evolucin es
computacionalmente exigente ya menudo es derrotado por la explosin combinatoria.
Las redes neuronales y algoritmos genticos son ejemplos de mtodos que estimulan el
entusiasmo en la dcada de 1990 al aparecer para ofrecer alternativas al paradigma
estancamiento BAIA. Pero la intencin aqu no es para cantar las alabanzas de estos dos
mtodos o para elevarlos por encima de las muchas otras tcnicas de aprendizaje
automtico. De hecho, uno de los principales desarrollos tericos de los ltimos veinte
aos ha sido una comprensin ms clara de cmo superficialmente tcnicas dispares
pueden ser entendidas como casos especiales dentro de un marco matemtico comn. Por
ejemplo, muchos tipos de red neuronal artificial se pueden ver como clasificadores que
realizan un tipo particular de clculo estadstico (estimacin de mxima verosimilitud).26
Esta perspectiva permite redes neuronales que deben compararse con una clase ms
amplia de algoritmos para clasificadores de ejemplos- aprendizaje "rboles de decisin",
"modelos de regresin logstica", "mquinas de vectores soporte", "ingenuo de Bayes", "
k
-nearest-vecinos de regresin ", entre others.27 De una manera similar, los algoritmos
genticos se pueden ver como realizar estocstico de escalada, que es de nuevo un
subconjunto de una clase ms amplia de algoritmos para la optimizacin. Cada uno de
estos algoritmos para la construccin de clasificadores o para la bsqueda de un espacio
de soluciones tiene su propio perfil de las fortalezas y debilidades que se p ueden estudiar
matemticamente. Los algoritmos difieren en sus requisitos de tiempo de procesador y
espacio de memoria, que los sesgos inductiva que presuponen, la facilidad con que
externamente contenido producido se puede incorporar, y la transparencia d e su
funcionamiento interno son un analista humano.
Detrs del alarde publicitario de la mquina de aprendizaje y resolucin creativa de
problemas tanto se encuentra un conjunto de compensaciones matemticamente bien
especificadas. Lo ideal es que el agente de bayesiano perfecto, uno que hace uso
probabilsticamente ptimo de la informacin disponible. Este ideal es inalcanzable
porque est demasiado computacionalmente exigente para ser implementado en
cualquier equipo fsico (vase el recuadro 1). En consecuencia, se puede ver la inteligencia
artificial como una bsqueda para encontrar atajos: formas de tractably aproximar el ideal
bayesiano sacrificando algunos optimalidad o generalidad preservando suficiente para
conseguir un alto rendimiento en los dominios reales de inters.
Un reflejo de esta imagen se puede ver en el trabajo realizado durante el ltimo par de
dcadas en los modelos grficos probabilsticos, como las redes Bayesianas. Redes
bayesianas proporcionan una forma concisa de representar las relaciones de
independencia probabilsticos y condicionales que tienen en algn dominio particular.
(Explotacin de tales relaciones de independencia es esencial para la superacin de la
explosin combinatoria, que es como un gran problema para la inferencia probabilstica
como lo es para la deduccin lgica.) Tambin proporcionan informacin importante
sobre el concepto de causalidad. 28
Una de las ventajas de relacionar los problemas de aprendizaje de los dominios
especficos para el problema general de la inferencia bayesiana es que los nuevos
algoritmos que hacen inferencia bayesiana ms eficiente entonces producir mejoras
inmediatas a travs de muchas reas diferentes. Los avances en las tcnicas de
aproximacin de Monte Carlo, por ejemplo, se aplican directamente en la visin artificial,
la robtica, la gentica y computacionales. Otra ventaja es que permite a los
investigadores de diferentes disciplinas piscina ms fcilmente sus resultados. Modelos
grficos y estadstica bayesiana se han convertido en un foco comn de investigacin en
muchos campos, incluyendo el aprendizaje de mquina, la fsica estadstica, la
bioinformtica, la optimizacin combinatoria y teora de la comunicacin.35 Una buena
cantidad de los recientes progresos en el aprendizaje de la mquina es el resultado de la
incorporacin de los resultados formales originalmente derivados en otros campos
acadmicos. (Aplicaciones de aprendizaje de mquina tambin se han beneficiado
enormemente de las computadoras ms rpidas y mayor disponibilidad de grandes
conjuntos de datos.)
Recuadro 1 Un agente bayesiano ptimo
Un agente bayesiano perfecto comienza con una "distribucin de probabilidad antes", una
funcin que asigna probabilidades a cada "mundo posible" (es decir, a cada forma
especfica al mximo el mundo podra llegar a ser).29
Este antes incorpora un sesgo inductivo tal que los mundos ms simples posibles se
asignan probabilidades ms altas. (Una forma de definir formalmente la simplicidad de un
mundo posible es en trminos de su "complejidad Kolmogorov," una medida basada en la
longitud del programa ms corto de computadoras que genera una descripcin completa
del mundo.30) El anterior tambin incorpora cualquier fondo conocimiento de que los
programadores quieren dar al agente.
Como el agente recibe nueva informacin de sus sensores, actualiza su distribucin de
probabilidad por conditionalizing la distribucin de la nueva informacin de acuerdo con
el teorema de Bayes. 31 Condicionalizacin es la operacin matemtica que establece el
nuevo probabilidad de esos mundos que son incompatibles con la informacin recibida a
cero y normaliza la distribucin de probabilidad sobre los mundos posibles restantes. El
resultado es una "distribucin de probabilidad posterior" (que el agente puede usar como
su nuevo antes en el siguiente paso del tiempo). A medida que el agente hace
observaciones, su masa de probabilidad de este modo se concentr en el conjunto cada
vez menor de los mundos posibles que permanecen consistentes con la evidencia; y entre
estos mundos posibles, otras ms simples siempre tienen ms probabilidad.
Metafricamente, podemos pensar en una probabilidad como la arena en una hoja
grande de papel. El documento se divide en zonas de diferentes tamaos, cada rea
correspondiente a un mundo posible, con grandes reas que corresponden a mundos ms
simples posibles. Imagnese tambin una capa de arena de incluso extensin de espesor
en toda la hoja: esta es nuestra distribucin de probabilidad previa. Cada vez que una
observacin se hace que descarte algunos mundos posibles, quitamos la arena de las
reas correspondientes del papel y redistribuirlo de manera uniforme sobre las reas que
quedan en juego. Por lo tanto, la cantidad total de la arena en la hoja nunca cambia, slo
se concentra en menos reas como evidencia observacional acumula. Esta es una imagen
de aprendizaje en su forma ms pura. (Para calcular la probabilidad de una
hiptesis, Simplemente medir la cantidad de arena en todas las reas que
corresponden a los mundos posibles en los que la hiptesis es verdadera.)
Hasta el momento, hemos definido una regla de aprendizaje. Para conseguir un agente,
tambin necesitamos una regla de decisin. Con este fin, dotamos al agente con una
"funcin de utilidad", que asigna un nmero a cada mundo posible. El nmero representa
la conveniencia de que mundo segn preferencias bsicas del agente. Ahora, en cada paso
de tiempo, el agente selecciona la accin con la ms alta utilidad esperada. 32
(Para encontrar la accin con la ms alta utilidad esperada, el agente podra enumerar
todas las acciones posibles. Se podra entonces calcular la distribucin de probabilidad
condicional dada la accin de la distribucin de probabilidad que resultara de
conditionalizing su distribucin de probabilidad actual en la observacin de que la accin
tena acaba de ser tomada. Por ltimo, se podra calcular el valor esperado de la accin
como la suma del valor de cada mundo posible multiplicado por la probabilidad
condicional de que el mundo dado action.33) La regla de aprendizaje y la regla de
decisin en conjunto definen una "nocin ptimo" para un agente. (Esencialmente la
misma nocin de optimalidad se ha utilizado ampliamente en la inteligencia artificial, la
epistemologa, la filosofa de la ciencia, la economa, y las estadsticas.
34 ) En realidad, es imposible construir un agente tal porque es computacionalmente
intratable para realizar los clculos necesarios. Cualquier intento de hacerlo sucumbe a
una explosin combinatoria como el descrito en nuestra discusin de la BAIA. Para ver por
qu esto es as, considere un pequeo subconjunto de todos los mundos posibles: los que
constan de un solo monitor de ordenador flotando en un vaco sin fin. El monitor tiene 1,
000 1, 000 pxeles, cada uno de los cuales es perpetuamente encendido o apagado.
Incluso este subconjunto de los mundos posibles es enormemente grande: la 2 (1000
1000) posibles estados del monitor superan en nmero a todos los clculos previstos
siempre que tenga lugar en el universo observable. Por lo tanto, no podamos ni siquiera
enumerar todos los mundos posibles en este pequeo subconjunto de todos los mundos
posibles, y mucho menos realizar clculos ms elaborados en cada uno de ellos
individualmente.
Nociones de optimalidad pueden ser de inters terico, incluso si son fsicamente
irrealizable. Nos dan un estndar por el cual juzgar aproximaciones heursticas, ya veces
podemos razonar sobre lo que un agente ptima hara en algn caso especial. Nos
encontraremos con algunas nociones de optimalidad alternativas para agentes artificiales
en el Captulo 12.
Lo ltimo
En los aos transcurridos desde, programas de backgammon ahora han superado los
mejores jugadores humanos.41
TCS viajeros Sobrehumana en colaboracin con humanos42
Tanto en 1981 y 1982, el programa de Douglas Lenat Eurisko gana el campeonato
de Estados Unidos en TCS viajeros (un juego de guerra naval futurista), lo que provoc
cambios en las reglas para bloquear sus estrategias poco ortodoxas.
43 Eurisko tenido heursticas para el diseo de su flota, y tambin tena la heurstica
para modificar sus heurstica.
Othello Sobrehumano
1997: El programa Logistello gana cada juego en un partido de seis partidos contra
el campen del mundo de Takeshi Murakami.44 Ajedrez Sobrehumano
1997: Deep Blue es mejor que el campen mundial de ajedrez, Garry Kasparov.
Kasparov afirma haber visto destellos de inteligencia y creatividad cierto en algunos de los
movimientos de la computadora. 45
Desde entonces, los motores de ajedrez han seguido improve.46
Crucigramas
Nivel Experto 1999: El programa Proverbio crucigrama para resolver el crucigrama supera a -solucionador media.47
2012: El programa Dr. Fill, creada por Matt Ginsberg, las puntuaciones en el cuartil
superior entre los concursantes de lo contrario humanos en la American Crucigrama
Torneo. (Del Dr. Rellena rendimiento es irregular. Se completa perfectamente el
rompecabezas tiene ms difcil por los seres humanos, sin embargo, est perplejo por un
par de acertijos no estndar que implicaron la ortografa hacia atrs o escribir respuestas
en diagonal.) 48
Escarbar
Sobrehumano A partir de 2002, el software de Scrabble-juego supera a los mejores
jugadores humanos.49 Puente
Igual a la mejor Para el ao 2005, puente de contrato que juegan software alcanza
la paridad con los mejores jugadores de bridge humanos.
50
Jeopardy!
Sobrehumano 2010: IBM Watson
derrota a los dos de todos los tiempos-ms humana Jeopardy!
campeones, Ken Jennings y Brad Rutter.51 Jeopardy! es un programa de juegos por
televisin con preguntas de trivia sobre la historia, la literatura, los deportes, la geografa,
la cultura pop, la ciencia y otros temas. Las preguntas se presentan en forma de pistas, ya
menudo implican juegos de palabras. Pker Variado
Los jugadores de pquer de ordenador permanecen ligeramente por debajo de los
mejores seres humanos para full-ring de Texas hold 'em pero desempearse a un nivel
sobrehumano en algunas variantes de pquer. 52
Carta blanca
Sobrehumano
Heurstica evolucionaron mediante algoritmos genticos producen un solucionador
para el juego de solitario FreeCell (que en su forma ms generalizada es NP-completo) que
es capaz de vencer a los jugadores humanos de alto rango.
53
Ir Muy fuerte nivel amateur A partir de 2012, la serie Zen de los programas de go-
juego ha alcanzado el rango 6 dan en los juegos rpidos (el nivel de un jugador muy
fuerte aficionado), utilizando Monte Carlo Bsqueda rbol y tcnicas de aprendizaje
automtico.54
Ir-jugando programas han ido mejorando a un ritmo de alrededor de 1 daN / ao en los
ltimos aos. Si esta tasa de mejora contina, podran vencer a la campeona del mundo
humano en cerca de una dcada.
Hay un sentido importante, sin embargo, en que ajedrecista AI result ser un triunfo
menor de lo que muchos imaginaron que sera. Antes se supona, tal vez no sin razn, que
para que un equipo a jugar al ajedrez a nivel de gran maestro, que tendra que estar
dotado de un alto grado de general
intelligence.57 Uno podra haber pensado, por ejemplo, el gran juego de ajedrez requiere
ser capaz de aprender conceptos abstractos, pensar inteligentemente acerca de la
estrategia, redactar planes flexibles, hacer una amplia gama de deducciones lgicas
ingeniosos, y tal vez incluso modelar el pensamiento de un rival. No tan. Result ser
posible construir un motor de ajedrez perfectamente bien en torno a un algorithm.58 para
fines especiales Cuando se implementa en los procesadores rpidos que se hicieron
disponibles hacia el final del siglo XX, que produce el juego muy fuerte. Pero una IA
construido de esa manera es estrecha. Juega al ajedrez; que puede hacer no other.59
En otros dominios, soluciones han resultado ser ms
complicada de lo previsto inicialmente, y el progreso ms lento. El cientfico de la
computacin Donald Knuth fue golpeado que "AI ha ya tenido xito en hacer bsicamente
todo lo que necesita" pensar ", pero ha dejado de hacer la mayor parte de lo que la gente
y los animales" sin thinking'-que, de alguna manera, es mucho ms difcil! "60 Analizar
escenas visuales, reconocimiento de objetos, o controlar el comportamiento de un robot
que interacta con un entorno natural ha demostrado ser un reto. Sin embargo, una
buena cantidad de progreso se ha hecho y contina siendo hecha, ayudado por las
constantes mejoras en el hardware. El sentido comn y la comprensin del lenguaje
natural tambin han resultado ser difcil. En la actualidad se piensa a menudo que el logro
de una actuacin totalmente plano humano en estas tareas es un problema "AI-completo",
lo que significa que la dificultad de resolver estos problemas es esencialmente equivalente
a la dificultad de la construccin en general mquinas inteligentes a nivel humano.61
En otras palabras, si alguien fueron para tener xito en la creacin de una IA que pudiera
entender el lenguaje natural, as como un adulto humano, seran con toda probabilidad
tambin o bien ya han logrado crear una IA que podra hacer todo lo dems que la
inteligencia humana puede hacer, o que seran sino una muy pequeo paso de un
capability.62 tan general
Experiencia Chess-juego result ser alcanzable por medio de un algoritmo
sorprendentemente simple. Es tentador especular que otras capacidades tales como la
capacidad de razonamiento general, o alguna habilidad clave que participan en la
programacin pueden asimismo ser alcanzable a travs de algn algoritmo
sorprendentemente simple. El hecho de que el mejor rendimiento a la vez que se alcanza
a travs de un complicado mecanismo no significa que no existe un mecanismo simple
podra hacer el trabajo tan bien o mejor. Podra ser simplemente que nadie ha encontrado
la alternativa ms sencilla. El sistema de Ptolomeo (con la Tierra en el centro, en rbita
por el Sol, la Luna, los planetas y las estrellas) represent al estado de la tcnica en la
astronoma durante ms de mil aos, y su exactitud predictiva se ha mejorado durante
siglos por complicando progresivamente el modelo aadiendo epiciclos sobre epiciclos a
los movimientos celestes postuladas. Entonces todo el sistema fue derrocado por la teora
heliocntrica de Coprnico, que era ms simple y, aunque slo despus de una mayor
elaboracin por accurate.63 Kepler-ms predictiva
Mtodos de inteligencia artificial se utilizan ahora en ms reas de lo que tendra sentido
para revisar aqu, pero mencionando una muestra de ellos le dar una idea de la amplitud
de las aplicaciones. Aparte del juego de IA aparece en la Tabla 1, hay audfonos con
algoritmos que filtran el ruido ambiental; ruta buscadores que muestran mapas y ofrecen
consejos de navegacin para los conductores; sistemas de recomendacin que sugieren
libros y lbumes de msica basado en las compras y clasificaciones anteriores de un
usuario; y los sistemas de apoyo a las decisiones mdicas que ayudan a los mdicos a
diagnosticar el cncer de mama, recomiendan los planes de tratamiento, y la ayuda en la
interpretacin de electrocardiogramas. Hay mascotas robticas y robots de limpieza, los
robots de csped-siega, robots de rescate, robots quirrgicos, y ms de un milln de
robots industriales. 64
La poblacin mundial de robots supera 10 million.65 Reconocimiento de voz
moderna, basada en tcnicas estadsticas tales como los modelos ocultos de Markov, se ha
convertido suficientemente exacta para el uso prctico (algunos fragmentos de este libro
se redactaron con la ayuda de un programa de reconocimiento de voz). Asistentes digitales
personales, tales como Siri de Apple, responden a comandos de voz y pueden responder a
preguntas sencillas y ejecutar comandos. Reconocimiento ptico de caracteres de texto
manuscrito y mecanografiado se utiliza rutinariamente en aplicaciones como el correo de
clasificacin y digitalizacin de documentos antiguos.66
Traduccin automtica sigue siendo imperfecto, pero es lo suficientemente bueno
para muchas aplicaciones. Los primeros sistemas utilizan el enfoque BAIA de gramticas
de codificacin manual que tuvieron que ser desarrollada por lingistas calificados de cero
para cada idioma. Los nuevos sistemas utilizan tcnicas de aprendizaje automtico
estadsticos que construyen automticamente modelos estadsticos de los patrones de
uso observados. La mquina deduce los parmetros de estos modelos mediante el anlisis
de corpora bilinge. Este enfoque prescinde de los lingistas: los programadores que
construyen estos sistemas necesitan ni siquiera hablar las lenguas con las que trabajan.
67 El reconocimiento facial ha mejorado lo suficiente en los ltimos aos que ahora
se utiliza en los pasos fronterizos automatizados en Europa y Australia. El Departamento
de Estado de Estados Unidos opera un sistema de reconocimiento facial con ms de 75
millones de fotografas para la tramitacin de visados. Los sistemas de vigilancia utilizan
tecnologas de minera de datos cada vez ms sofisticada IA y analizar de voz, vdeo o
texto, grandes cantidades de las cuales estn rastreado desde los medios de comunica cin
electrnicos en el mundo y se almacenan en centros de datos gigantes.
Teorema-proving y la ecuacin de problemas son ahora tan bien establecidas que
apenas se consideran como la IA ms. Solucionadores de ecuaciones se incluyen en los
programas de computacin cientfica, tales como Mathematica. Mtodos de verificacin
formal, incluyendo demostradores de teoremas automatizadas, se utilizan de forma
rutinaria por los fabricantes de chips para verificar el comportamiento de los diseos de
circuitos antes de la produccin.
Los establecimientos militares y de inteligencia de Estados Unidos han estado liderando el
camino para el despliegue a gran escala de los robots de bombas, disponiendo de
vigilancia y ataque aviones y otros vehculos no tripulados. Esto s todava dependen
principalmente de control remoto por los operadores humanos, pero se est trabajando
para extender sus capacidades autnomas. Programacin inteligente es un rea importante de xito. La
herramienta de DART para la planificacin logstica automatizada y la programacin se utiliz en la Operacin Tormenta del Desierto en
1991 a tales efectos que DARPA (Agencia de Proyectos de Investigacin Avanzada de Defensa de los Estados Unidos) afirma que e sta
sola aplicacin ms que pagado su inversin de treinta aos en la IA .
68
Sistemas de reserva de avin utilizan sistemas de programacin y de precios sofisticados.
Las empresas hacen un amplio uso de tcnicas de IA en los sistemas de control de
inventario. Tambin utilizan sistemas de reserva telefnica automticas y lneas de ayuda
relacionados con el software de reconocimiento de voz para marcar el comienzo de sus
clientes a travs de desventurados laberintos de enclavamiento opciones del men.
Tecnologas de IA subyacen muchos servicios de Internet. Software vigila el trfico de
correo electrnico en el mundo, ya pesar de la adaptacin continua por los spammers
para burlar las contramedidas que se les imputan, los filtros de spam bayesiano han
logrado en gran medida para contener la marea de spam a raya. Software utilizando
componentes de AI es responsable de aprobar o rechazar automticamente las
transacciones de tarjetas de crdito, y un seguimiento continuo de la actividad de cuenta
para detectar signos de uso fraudulento. Sistemas de recuperacin de informacin
tambin hacen un amplio uso de la mquina de aprendizaje. El motor de bsqueda de
Google es, sin duda, el mayor sistema de inteligencia artificial que an se ha construido.
Ahora, hay que subrayar que la demarcacin entre la inteligencia artificial y el
software en general no es agudo. Algunas de las aplicaciones mencionadas anteriormente
podra ser visto ms como aplicaciones de software genricos en lugar de AI, en particular,
aunque esto nos lleva de nuevo a la mxima de McCarthy que cuando algo funciona ya no
se llama AI. Una distincin ms relevante para nuestros propsitos es que entre los
sistemas que tienen un estrecho margen de capacidad cognitiva (llmense "AI" o no) y los
sistemas que tienen ms en general la capacidad de resolucin de problemas aplicables.
Esencialmente todos los sistemas actualmente en uso son del primer tipo: estrecho. Sin
embargo, muchos de ellos contienen componentes que tambin podra desempear un
papel en el futuro inteligencia general artificial o estar al servicio de su desarrollo-
componentes tales como clasificadores, algoritmos de bsqueda, los planificadores, los
solucionadores, y los marcos de representacin.
69 Comercio algortmico ha sido implicado en Flash Crash de 2010 (ver Cuadro 2).
73
El sentimiento de Nilsson ha sido repetida por varios otros de los fundadores, entre ellos
Marvin Minsky, John McCarthy, y Patrick Winston. 74
Los ltimos aos han visto un resurgimiento del inters en la IA, que an podra
extenderse a renovados esfuerzos hacia artificial
general inteligencia (lo que llama Nilsson "IA fuerte"). Adems de hardware ms
rpido, un proyecto contemporneo se beneficiara de los grandes avances que se han
hecho en los muchos subcampos de AI, en ingeniera de software de manera ms general,
y en los campos vecinos, como la neurociencia computacional. Un indicio de la demanda
acumulada de la informacin y la educacin de calidad se muestra en la respuesta a la
oferta gratuita en lnea de un curso de introduccin a la inteligencia artificial de l a
Universidad de Stanford en el otoo de 2011, organizada por Sebastian Thrun y Peter
Norvig. Algunos 160.000 estudiantes de todo el mundo firmaron desde la izquierda (y
23.000 completaron) 0.75
Opiniones de expertos sobre el futuro de la IA varan enormemente. Hay
desacuerdo sobre escalas de tiempo, as como acerca de lo que constituye AI
eventualmente podra tomar. Las predicciones sobre el futuro desarrollo de la inteligencia
artificial, un estudio reciente seal que "son tan seguros como lo son diversos."
Aunque la distribucin actual de la fe no se ha medido con mucho cuidado, podemos obtener una idea aproximada de
76
diversas encuestas y observaciones informales ms pequeos. En particular, una serie de encuestas recientes han encuestados
miembros de varias comunidades de expertos pertinentes sobre la cuestin de cundo esperan que "la inteligencia artificial a nivel
humano" (HLMI) a desarrollar, que se define como "una que pueda llevar a cabo la mayora de las profesiones humanas, al menos , as
como un humano tpico ".
TOP100
5%
50% Conjunto
10%
75%
Figura 2 Impacto global a largo plazo de HLMI.83 Los tamaos pequeos de la
muestra, los sesgos de seleccin, y -sobre todo- la falta de fiabilidad inherente de
opiniones personales provocaron quiere decir que no se debe leer demasiado en estas
encuestas a expertos y entrevistas. Ellos no nos dejan sacar ninguna conclusin firme. Pero
ellos apuntan a una conclusin dbil. Ellos sugieren que (al menos en lugar de mejores
datos o anlisis) puede ser razonable para creer que la inteligencia de la mquina a nivel
humano tiene una oportunidad bastante considerable de ser desarrollado a mediados de
siglo, y que tiene la oportunidad no trivial de ser desarrollado considerablemente ms
pronto o ms tarde; que podra tal vez muy pronto a partir de entonces como resultado
superinteligencia; y que una amplia gama de resultados puede tener una posibilidad
significativa de que ocurra, incluyendo muy buenos resultados y los resultados que son tan
malos como la extincin humana.84
Por lo menos, sugieren que el tema merece una mirada ms cercana.
CAPITULO 2 Caminos de superinteligencia
Turing prevea un proceso iterativo para desarrollar una mquina tal nio:
No podemos esperar encontrar una buena mquina nio en el primer intento. Hay que
experimentar con la enseanza de uno de esos mquina y ver lo bien que aprende.
Entonces se puede probar con otro y ver si es mejor o peor. Hay una conexin obvia entre
este proceso y la evolucin .... Uno puede Esperemos, sin embargo, que este proceso ser
ms rpido que la evolucin. La supervivencia del ms apto es un mtodo lento para
medir ventajas. El experimentador, por el ejercicio de la inteligencia, debe ser capaz de
acelerarlo. Igualmente importante es el hecho de que no se limita a mutaciones
aleatorias. Si es capaz de trazar una causa de alguna debilidad que probablemente puede
pensar en el tipo de mutacin que mejorarlo. 4
Sabemos que los procesos evolutivos ciegos pueden producir inteligencia general a nivel
humano, puesto que ya lo han hecho al menos una vez. Procesos evolutivos con visin de
futuro, es decir, los programas genticos diseados y guiados por un ser inteligente
programador debe humano ser capaz de lograr un resultado similar con mucho mayor
eficiencia. Esta observacin ha sido utilizado por algunos filsofos y cientficos, entre ellos
David Chalmers y Hans Moravec, para argumentar que a nivel de AI humana no slo es
tericamente posible, pero factible dentro de este siglo. 5 La idea es que podemos
estimar las capacidades relativas de evolucin y la ingeniera humana para producir
inteligencia, y encontrar que la ingeniera humana es ya muy superior a la evolucin en
algunas reas y es probable que se convierta superior en las reas restantes en poco
tiempo. El hecho de que la evolucin produce la inteligencia, por tanto, indica que la
ingeniera humana pronto ser capaz de hacer lo mismo. Por lo tanto, escribi Moravec
(ya en 1976):
Pero es cierto que pronto vamos a tener suficiente poder de cmputo para recapitular los
procesos evolutivos pertinentes que produjeron la inteligencia humana? La respuesta
depende tanto de la cantidad de tecnologa informtica avanzar en las prximas dcadas
y en la forma en que se requiere mucha potencia de clculo para ejecutar algoritmos
genticos con la misma potencia de optimizacin como el proceso evolutivo de la
seleccin natural que se encuentra en nuestro pasado. Aunque, al final, la conclusin que
obtenemos de perseguir esta lnea de razonamiento es decepcionantemente
indeterminada, es instructivo para intentar un clculo aproximado (ver Cuadro 3). Si nada
ms, el ejercicio llama la atencin sobre algunas incgnitas interesantes.
El resultado es que los recursos computacionales necesarios para simplemente replicar los
procesos evolutivos relevantes en la Tierra que producen inteligencia a nivel humano son
severamente fuera de su alcance, y permanecern as que incluso si la ley de Moore fuera
a continuar durante un siglo (ver Figura 3). Es plausible, sin embargo, que en comparacin
con la replicacin de fuerza bruta de los procesos evolutivos naturales, vastas mejoras en
la eficiencia son alcanzables por el diseo del proceso de bsqueda para objetivo
para la inteligencia, utilizando diversas mejoras evidentes sobre la seleccin natural. Sin
embargo, es muy difcil de obligado la magnitud de los aumentos de la eficiencia
alcanzables. Ni siquiera podemos decir si ascienden a cinco o veinticinco rdenes de
magnitud. Ausente una mayor elaboracin, por lo tanto, los argumentos evolucionistas no
pueden restringir significativamente nuestras expectativas de cualquiera de la dificultad
de la construccin de la inteligencia artificial a nivel humano o los plazos para tales
desarrollos. Recuadro 3 Qu hara falta para recapitular la evolucin?
No todos los hazaa lograda por la evolucin en el curso del desarrollo de la inteligencia
humana es relevante para un ingeniero humano tratando de evolucionar artificialmente
inteligencia de la mquina. Slo una pequea parte de la seleccin evolutiva de la Tierra
ha sido la seleccin de inteligencia. Ms especficamente, los problemas que los
ingenieros humanos no pueden derivacin trivialmente pueden haber sido objeto de una
porcin muy pequea de la seleccin evolutiva total. Por ejemplo, ya que podemos
ejecutar nuestros equipos de la energa elctrica, que no tenemos que reinventar las
molculas de la economa de la energa celular con el fin de crear mquinas inteligentes, y
sin embargo la evolucin molecular de las vas metablicas podran haber utilizado una
gran parte del total cantidad de energa de seleccin que estaba a disposicin de la
evolucin a lo largo de la historia de la Tierra. 7 Se podra argumentar que las ideas
clave para la IA estn incorporados en la estructura del sistema nervioso, que entr en
existencia hace menos de mil millones de aos.8 Si tomamos ese punto de vista, entonces
el nmero de "experimentos" pertinentes a disposicin de la evolucin se redujo
drsticamente. Hay algunas 4-6 1030 procariotas en el mundo de hoy, pero slo 1.019
insectos, y menos de 1.010 seres humanos (mientras que las poblaciones pre-agrcolas
eran rdenes de magnitud ms pequea) 0.9 Estos nmeros slo son intimidantes
moderadamente.
Los algoritmos evolutivos, sin embargo, requieren no slo variaciones de
seleccionar entre, sino tambin una funcin de aptitud para evaluar variantes, y esto es
por lo general el componente ms costoso computacionalmente. Una funcin de aptitud
para la evolucin de la inteligencia artificial plausiblemente requiere simulacin del
desarrollo neuronal, el aprendizaje y la cognicin para evaluar la aptitud. Podemos por lo
tanto es mejor no hacer para mirar el nmero prima de organismos con sistemas
nerviosos complejos, pero en lugar de asistir al nmero de neuronas en los organismos
biolgicos que podamos necesitar para simular para imitar la funcin de la aptitud de la
evolucin. Podemos hacer un crudo
estimacin de que esta ltima cantidad, considerando los insectos, que dominan la
biomasa animal terrestre (con hormigas solo estimados para contribuir un 15-20%) 10
insectos del tamao del cerebro vara sustancialmente, con los insectos grandes y sociales
luciendo cerebros ms grandes:. un cerebro de la abeja tiene un poco menos de 106
neuronas, el cerebro de la mosca de fruta tiene 105 neuronas, y las hormigas se
encuentran en el medio con 250.000 neurons.11 La mayora de los insectos ms pequeos
pueden tener cerebros de unos pocos miles de neuronas. Errar en el lado de alta de forma
conservadora, si asignamos todos los nmeros 1.019 insectos fruta-mosca de neuronas, el
total sera de 1.024 neuronas de insectos en el mundo. Esto podra ser aumentado con un
pedido adicional de magnitud para dar cuenta de los coppodos acuticas, aves, reptiles,
mamferos, etc., para llegar a 1025. (Por el contrario, en los tiempos pre-agrcolas haba
menos de 107 seres humanos, con arreglo 1.011 neuronas cada :. por lo tanto menos de
1.018 neuronas humanas en total, aunque los seres humanos tienen un mayor nmero de
sinapsis por neurona)
El coste computacional de simular una neurona depende del nivel de detalle que se
incluye en la simulacin. Modelos de neuronas simples Extremadamente utilizan cerca de
1.000 operaciones de punto flotante por segundo (FLOPS) para simular una neurona (en
tiempo real). El modelo de Hodgkin-Huxley electrofisiolgicamente realista utiliza
1200000 flops. Un modelo multi-compartimental ms detallada aadira otros tres o
cuatro rdenes de magnitud, mientras que los modelos de mayor nivel que los sistemas
abstractos de las neuronas podran restar dos a tres rdenes de magnitud a partir de los
modelos simples. 12
Si nos vamos a simular 1.025 neuronas ms de mil millones de aos de evolucin (ms de
la existencia de los sistemas nerviosos como los conocemos), y permitimos que nues tras
computadoras se ejecuten durante un ao, estas cifras nos dan un requisito en el rango de
1031 -1044 flops. En comparacin, China Tianhe-2, la supercomputadora ms potente del
mundo a partir de septiembre de 2013, proporciona slo 3,39 1016 FLOPS. En las
ltimas dcadas, se ha tomado unos 6,7 aos para las computadoras de los productos
bsicos para aumentar el poder en un orden de magnitud. Incluso un siglo de continuo la
ley de Moore no sera suficiente para cerrar esta brecha. Ejecucin de hardware ms
especializado, o permitiendo ya veces correr, podra contribuir a pocos ms rdenes de
magnitud. Esta cifra es conservadora en otro aspecto. Evolucin logra la inteligencia
humana, sin el objetivo de este resultado. En otras palabras, las funciones de la aptitud
para organismos naturales no seleccionan slo por la inteligencia y sus precursores.13
Incluso los entornos en los que los organismos con habilidades de procesamiento de
informacin superiores Reap diversas recompensas no pueden seleccionar para la
inteligencia, ya la mejora de la inteligencia pueden (ya menudo lo hacen) imponer costos
significativos, tales como un mayor consumo de energa o tiempos de maduracin ms
lenta, y esos costos pueden ser mayores que cualquier beneficio se gan desde el
comportamiento ms inteligente. Excesivamente entornos mortales tambin reducen el
valor de la inteligencia: la vida til esperada de la ms corta, menos tiempo habr para
una mayor capacidad de aprendizaje para pagar. Reduccin de la presin selectiva para la
inteligencia retarda la propagacin de las innovaciones de inteligencia de mejora, y por lo
tanto la oportunidad para la seleccin a favor de innovaciones posteriores que dependen
de ellos. Por otra parte, la evolucin puede terminar atrapado en ptimos locales que los
seres humanos se dieran cuenta y bypass mediante la alteracin de las compensaciones
entre la explotacin y la exploracin o proporcionando una suave progresin de la cada
vez ms difcil tests.14 inteligencia y como se mencion anteriormente, la evolucin
dispersa mucho de su poder seleccin en rasgos que no estn relacionados con la
inteligencia (como carreras rojo Reina de co-evolucin de competencia entre los sistemas
inmunolgicos y parsitos). Evolucin contina desperdiciando recursos que producen
mutaciones que han demostrado consistentemente letal, y no toma ventaja de similitudes
estadsticas en los efectos de las diferentes mutaciones. Estas son todas las ineficiencias en
la seleccin natural (cuando se ve como un medio de evolucin de inteligencia) que sera
relativamente fcil para un ingeniero humano para evitar durante el uso de algoritmos
evolutivos para el desarrollo de software inteligente.
Es posible que la eliminacin de ineficiencias como las que acabamos de describ ir que
recortar muchos rdenes de magnitud de la 10 31-1044 TIRN rango calculado
anteriormente. Desafortunadamente, es difcil saber cmo muchos rdenes de magnitud.
Es difcil incluso para hacer una estimacin aproximada de lo que sabemos, los ahorros de
eficiencia podra ser cinco rdenes de magnitud, o diez, o veinte y five.15
el cerebro humano y lo que sugiere que podramos utilizar como una plantilla para una
inteligencia artificial. Se pueden distinguir diferentes versiones de este enfoque basado en
lo cerca que proponen imitar las funciones del cerebro biolgico. En un extremo, el de
muy cerca la imitacin-tenemos la idea de emulacin total del cerebro
, Lo que vamos a discutir en la siguiente subseccin. En el otro extremo se encuentran los
enfoques que se inspiran en el funcionamiento del cerebro, pero no intentan imitacin de
bajo nivel. Los avances en la neurociencia y la psicologa cognitiva, lo cual ser ayudado
por mejoras en la instrumentacin deberan finalmente descubrir los principios generales
de la funcin cerebral. Este conocimiento podra entonces guiar los esfuerzos de AI. Ya
hemos encontrado redes neuronales como un ejemplo de una tcnica de IA -inspirado
cerebro. Organizacin perceptiva jerrquica es otra idea que ha sido transferido de la
ciencia del cerebro para el aprendizaje de la mquina. El estudio del aprendizaje de
refuerzo ha sido motivado (por lo menos en parte) por su papel en las teoras psicolgicas
de la cognicin animal y tcnicas de aprendizaje de refuerzo (por ejemplo, el "TD-
algoritmo") inspirados en estas teoras son ahora ampliamente utilizado en AI.18 Ms
casos como estos seguramente se acumularn en el futuro. Dado que no es un nmero,
tal vez limitado un nmero muy pequeo de los mecanismos fundamentales distintos que
operan en el cerebro, continuando el progreso incremental en la ciencia del cerebro,
finalmente, debe descubrirlos todos. Antes de ello, sin embargo, es posible que un
enfoque hbrido, que combina algunas tcnicas inspiradas en el cerebro con algunos
mtodos puramente artificiales, cruzara la lnea de meta. En ese caso, el sistema
resultante no tiene que ser cerebro-como a pesar de que algunas ideas obtenida de
cerebro se usaron en su desarrollo reconocible. La disponibilidad del cerebro como
plantilla proporciona un fuerte apoyo a la afirmacin de que la inteligencia artificial es en
ltima instancia factible. Esto, sin embargo, no nos permite predecir cundo se lograr
porque es difcil predecir el futuro de la tasa de descubrimientos en la ciencia del cerebro.
Lo que podemos decir es que el an ms en el futuro esperamos, mayor es la probabilidad
de que los secretos de la funcionalidad del cerebro se han decodificado lo suficiente como
para permitir la creacin de inteligencia de las mquinas de esta manera.
Diferentes personas que trabajan hacia la inteligencia de las mquinas tienen
diferentes puntos de vista acerca de cmo enfoques prometedores neuromrfica se
comparan con los enfoques que apuntan a diseos completamente sintticos. La
existencia de las aves demostr que el vuelo de aire ms pesado que era fsicamente
posible y pide esfuerzos para construir mquinas voladoras. Sin embargo, los primeros
aviones que funcionan no baten sus alas. El jurado est fuera de si la inteligencia artificial
ser como el vuelo, que los seres humanos logra a travs de un mecanismo artificial, o
combustin similares, que al principio nos dominamos copiando los incendios de origen
natural.
La idea de Turing de disear un programa que adquiere la mayor parte de su
contenido mediante el aprendizaje, en lugar de tener que pre-programado en un
principio, puede aplicarse por igual a los enfoques neuromrficos y sintticos a la
inteligencia artificial. Una variacin en la concepcin de Turing de una mquina de nio es
la idea de una "semilla AI."19 Mientras que una mquina de nio, como parece haber
Turing previsto que, tendra una arquitectura relativamente fijo que slo desarrolla sus
potencialidades inherentes al acumular
contenido , Una semilla AI sera una inteligencia artificial ms sofisticada capaz de
mejorar su propio
arquitectura . En las primeras etapas de una semilla AI, estas mejoras podran producirse
principalmente a travs de ensayo y error, la adquisicin de informacin, o la ayuda de los
programadores. En sus etapas posteriores, sin embargo, una semilla AI deb e ser capaz de
entender su propio funcionamiento suficiente para disear nuevos algoritmos y
estructuras computacionales para arrancar su rendimiento cognitivo. Esta comprensin
necesaria podra ser el resultado de la semilla AI alcanzar un nivel suficiente de
inteligencia general en muchos dominios, o de cruzar un umbral en un dominio particular
relevancia tales como la informtica o las matemticas.
Esto nos lleva a otro concepto importante, el de una semilla xito AI sera capaz de
mejorar de forma iterativa en s "auto-mejora recursiva.": Una primera versin de la IA
podra disear una versin mejorada de s mismo, y la versin mejorada de bienestar ms
inteligente que el original-podra ser capaz de disear una versin an ms inteligente de
s mismo, y as sucesivamente.
20 Bajo ciertas condiciones, un proceso de auto-mejora recursiva tal podra continuar
el tiempo suficiente para dar lugar a una explosin, una inteligencia evento en el que, en
un corto perodo de tiempo, el nivel de un sistema de aumentos de inteligencia de una
relativamente modesta dotacin de capacidades cognitivas ( quiz sub -humana en
muchos aspectos, pero con un talento de dominio especfico para la codificacin y la
investigacin en IA) para superinteligencia radical. Volveremos a esta importante
posibilidad en el captulo 4, en el que se analizaron ms de cerca la dinmica de tal
evento. Tenga en cuenta que este modelo sugiere la posibilidad de sorpresas: los intentos
de construir ia fuerte puede fallar casi por completo hasta el ltimo componente crtico
que falta se pone en el lugar, momento en el cual una semilla AI podra llegar a ser capaz
de auto-mejora recursiva sostenido.
Antes de terminar este apartado, hay una cosa ms que debemos destacar, y es
que una inteligencia artificial no necesita mucho se asemejan a una mente humana. IA
podra ser -de hecho, es probable que la mayora se-ser extremadamente extrao.
Debemos esperar que van a tener muy diferentes arquitecturas cognitivas que
inteligencias biolgicos, y en sus primeras etapas de desarrollo que tendremos muy
diferentes perfiles de las fortalezas y debilidades cognitivas (aunque, como veremos ms
adelante discutir, que podramos eventualmente superar cualquier debilidad inicial) . Por
otra parte, los sistemas de meta de IA podran divergir radicalmente de las de los seres
humanos. No hay razn para esperar que una IA genrico para estar motivado por el amor
o el odio o el orgullo u otros tales sentimientos humanos comunes: estas adaptaciones
complejas requeriran un esfuerzo costoso deliberada de recrear en IA. Esto es a la vez un
gran problema y una gran oportunidad. Volveremos al tema de la motivacin AI en
captulos posteriores, pero es tan central para el argumento de este libro que vale la pena
teniendo en cuenta en todo momento.
Para evaluar la viabilidad de la emulacin de todo el cerebro, hay que entender el criterio
para el xito. El objetivo no es crear una simulacin del cerebro de manera detallada y
precisa que uno podra utilizar para predecir exactamente lo que habra ocurrido en el
cerebro original si haba sido sometido a una secuencia particular de estmulos. En
cambio, el objetivo es captar suficiente de las propiedades computacionalmente
funcionales del cerebro para permitir la emulacin resultante para llevar a cabo el trabajo
intelectual. Para ello, muchos de los detalles biolgica desordenado de un verdadero
Un anlisis ms elaborado sera distinguir entre los diferentes niveles de xito emulacin
cerebro es irrelevante.
basado en la medida en que se ha conservado la funcionalidad de procesamiento de informacin del cerebro emulado. Por ejemplo, s e
podra distinguir entre (1) una
emulacin de alta fidelidad
que tiene todo el conjunto de conocimientos, habilidades, capacidades y valores del
cerebro emulado; (2) una emulacin distorsionada cuyas disposiciones son
significativamente no humano en algunos aspectos, pero que es sobre todo capaz de hacer
lo mismo el trabajo intelectual como el cerebro emulado; y (3) una emulacin genrica
(Que tambin podra ser distorsionada) es algo as como un beb, que carecen de las
habilidades o los recuerdos que haban sido adquiridas por el cerebro adulto emulado
pero con la capacidad de aprender ms de lo que un ser humano normal puede learn.26
Aunque parece finalmente factible producir una emulacin de alta fidelidad, parece
bastante probable que el primero emulacin total del cerebro que lograramos si nos
fuimos por este camino sera de un grado inferior. Antes de que se pueden conseguir
cosas que funcionan a la perfeccin, probablemente conseguir que las cosas funcionen de
manera imperfecta. Tambin es posible que un impulso hacia la tecnologa de emulacin
dara lugar a la creacin de algn tipo de neuromrfica AI que adaptar alguno s principios
neurocomputacionales descubiertos durante los esfuerzos de emulacin y de hibridar con
mtodos sintticos, y que esto iba a pasar antes de la finalizacin de un completo y
funcional emulacin de todo el cerebro. La posibilidad de un derrame de este tipo en
neuromrfica AI, como veremos en un captulo posterior, complica la evaluacin
estratgica de la conveniencia de tratar de acelerar la tecnologa de emulacin.
Cun lejos estamos de alcanzar actualmente una emulacin de todo el cerebro
humano? Una evaluacin reciente present una hoja de ruta tcnica y lleg a la
conclusin de que las capacidades de requisitos previos podran estar disponibles a
mediados de siglo, aunque con un intervalo de incertidumbre general.
27 Figura 5 representa los principales hitos en esta hoja de ruta. La aparente
simplicidad del mapa puede ser engaosa, sin embargo, y debemos tener cuidado de no
subestimar la cantidad de trabajo que queda por hacer. Sin cerebro an no se ha emulado.
Considere el modelo de organismo humilde
Caenorhabditis elegans , Que es un gusano redondo transparente, alrededor de 1
mm de longitud, con 302 neuronas. La matriz de conectividad completa de estas neuronas
se conoce desde mediados de la dcada de 1980, cuando fue laboriosamente traza do
mediante el corte, microscopa electrnica, y de la mano-etiquetado de specimens.29
Pero saber simplemente que las neuronas se conectan con la que no es suficiente . Para
crear una emulacin del cerebro tambin se tendra que saber qu sinapsis excitato ria son
y cules son inhibitoria; la fuerza de las conexiones; y varias propiedades dinmicas de los
axones, las sinapsis, y rboles dendrticas. Esta informacin no est disponible todava,
incluso para el pequeo sistema nervioso de los
C. elegans (A pesar de que ahora puede estar dentro del alcance de un proyecto de
investigacin de tamao moderado dirigida) 0.30 xito en la emulacin de un pequeo
cerebro, como el de C. elegans
, Nos dara una mejor visin de lo que sera necesario para emular cerebro s ms grandes.
humano
. Debido a las diferencias entre estos peldaos, al menos despus del primer paso son en
su mayora de naturaleza cuantitativa y debido principalmente (aunque no del todo) a las
diferencias en el tamao de los cerebros para ser emulado, que debera ser manejable a
travs de una relativamente sencilla ampliacin de la exploracin y la simulacin
capacity.31
Una vez que empezamos subiendo esta escalera final, el eventual
consecucin de emulacin de todo el cerebro humano se vuelve ms clara foreseeable.32
De este modo podemos esperar obtener alguna advertencia previa antes de la llegada a la
inteligencia artificial de nivel humano a lo largo de toda la trayectoria de la emulacin
cerebro, al menos si el ltimo lugar entre el requisito que permite tecnologas para llega r
a la madurez suficiente es o bien la exploracin de alto rendimiento o de la potencia de
clculo necesaria para la simulacin en tiempo real. Si, sin embargo, la ltima tecnologa
que permite a caer en su lugar es el modelado neurocomputacional, entonces la transicin
de prototipos mediocres a una emulacin humana de trabajo podra ser ms abrupto. Uno
podra imaginar un escenario en el que, a pesar de abundantes datos de exploracin y
computadoras rpidas, est resultando difcil conseguir nuestros modelos neuronales que
funcionan bien. Cuando por fin el ltimo fallo se plancha a cabo, lo que antes era un
sistema anlogo completamente disfuncional tal vez para un cerebro inconsciente de
someterse a un gran mal Convulsin podra encajar en un estado de vigilia coherente. En
este caso, el avance clave no sera anunciada por una serie de funcionamiento
emulaciones animales de aumentar la magnitud (provocando titulares de los peridicos de
tamao de fuente correspondiente escalada). Incluso para aquellos que pagan la atencin
que podra ser difcil saber de antemano el xito cun muchos defectos permanecieron en
los modelos neurocomputacionales en cualquier punto y el tiempo que se tardara en
solucionarlos, incluso hasta la vspera de la gran avance crtico. (Una vez que una
emulacin total del cerebro humano se ha logrado, ms desarrollos potencialmente
explosivas se llevaran a cabo, pero que aplazar el debate de esta hasta el captulo 4.)
Sorpresa escenarios son, por tanto imaginable para la emulacin de todo el cerebro, incluso si todas las investigaciones pertinentes se
llevaron a cabo al aire libre. Sin embargo, en comparacin con la ruta AI a la inteligencia artificial, la emulacin de todo el cerebro es
ms probable que sea precedida por presagios clara s ya que se basa ms en tecnologas concretas observables y no est totalmente
basada en el conocimiento terico. Tambin podemos decir, con mayor confianza que en el camino de la IA, que el camino de
emulacin no tendr xito en el futuro cercano (dentro de los prximos quince aos, por ejemplo), porque sabemos que varias
tecnologas precursoras desafiantes an no se han desarrollado. Por el contrario, parece probable que alguien pudiera
Seleccin
1 de 2
Puntos de CI ganaron
4.2
1 en 10
11.5
1 en 100
18.8
1 en 1000
24.3
5 generaciones de 1 en 10
<65 (b / c rendimientos
decrecientes)
10 generaciones de 1 en 10
<130 (b / c rendimientos decrecientes) Lmites acumulativos (variantes aditivos
optimizados para la cognicin)
100 + (<300 (b / c rendimientos decrecientes)) Curiosamente, la disminucin de los
rendimientos se disminuy en gran medida cuando la seleccin se extiende sobre varias
generaciones. Por lo tanto, la seleccin repetidamente la parte superior 1 en 10 ms de
diez generaciones (que cada nueva generacin se compone de los descendientes de los
seleccionados en la generacin anterior) producir un mayor incremento en el valor rasgo
que una seleccin de 1 en 100 de una sola vez. El problema con la seleccin secuencial,
por supuesto, es que se necesita ms tiempo. Si cada paso generacional lleva veinte o
treinta aos, y luego incluso slo cinco generaciones sucesivas podran empujarnos hasta
bien entrado el siglo XXII. Mucho antes de entonces, los modos ms directos y poderosos
de la ingeniera gentica (por no hablar de la inteligencia artificial) lo ms probable es
estar disponible.
Hay, sin embargo, una tecnologa complementaria, uno que, una vez que ha sido
desarrollado para uso en seres humanos, sera potenciar en gran medida la mejora de la
potencia pre-implantacin cribado gentico: a saber, la derivacin de esperma viable y
huevos a partir de clulas madre embrionarias.
46 Las tcnicas para esto ya se han utilizado para producir descendencia frtil en
ratones y clulas de gametos-como en los seres humanos. Retos cientficos sustanciales
siguen siendo, sin embargo, en la traduccin de los resultados de los animales a los seres
humanos y para evitar alteraciones epigenticas en las lneas de clulas madre derivadas.
Segn un experto, estos retos pueden poner aplicaciones humanas "10 o incluso 50 aos
en el futuro." 47 Con gametos derivados de clulas madre, la cantidad de energa
disponible para la seleccin de un par se podra aumentar en gran medida. En la prctica
actual, un procedimiento de fertilizacin in vitro implica normalmente la creacin de
menos de diez embriones. Con gametos derivados de clulas madre, unas pocas clulas
donados pueden ser convertidos en un nmero virtualmente ilimitado de gametos que
pueden ser combinados para producir embriones, que podra ser genotipo o
secuenciados, y los ms prometedores elegido para la implantacin. Dependiendo del
costo de la preparacin y seleccin de cada embrin individual, esta tecnologa podra
producir un aumento de varias veces en el poder selectivo a disposicin de las parejas que
utilizan la fecundacin in vitro. Ms importante an, el tallo gametos derivados de clulas
permitira a mltiples generaciones de seleccin para ser comprimido en menos de un
perodo de maduracin humana, permitiendo la seleccin de embriones iterada
. Este es un procedimiento que constar de los siguientes pasos: 48
1 Genotipo y seleccione un nmero de embriones que son ms altos en las
caractersticas genticas deseadas.
2 Extraer clulas madre de los embriones y los convierte a los espermatozoides y
vulos, con vencimiento dentro de seis meses o less.49 3
Cruce el nuevo esperma y vulos para producir embriones.
Con nuevos avances en la tecnologa gentica, puede ser posible sintetizar genomas a la
especificacin, obviando la necesidad de grandes grupos de embriones. La sntesis de ADN
ya es una rutina de la biotecnologa y en gran medida automatizado, aunque todava no es
factible para sintetizar un genoma humano entero que podra ser utilizado en un contexto
reproductiva (no menos debido a las dificultades an no resueltos en consegui r el
epigentica derecha). 54 Pero una vez que esta tecnologa ha madurado, un embrin
podra ser diseado con la combinacin exacta preferido de insumos genticos de cada
padre. Los genes que estn presentes en ninguno de los padres tambin podran ser
empalmados, incluyendo los alelos que estn presentes con baja frecuencia en la
poblacin, pero que puede tener efectos positivos significativos sobre cognition.55 Tabla 6
Posibles impactos de la seleccin gentica en diferentes escenarios52
Una intervencin que se hace posible cuando los genomas humanos pueden ser
sintetizados es gentico "correccin ortogrfica" de un embrin. (Seleccin de embriones
iterada tambin podra permitir una aproximacin de esto). Cada uno de nosotros lleva
actualmente una carga mutacional, con cientos de mutaciones que reducen la eficiencia
de los diversos procesos celulares.56 Cada mutacin individual tiene un efecto casi
insignificante (de ah que slo se retira lentamente de la reserva gentica), pero en
combinacin tales mutaciones puede exacta una pesada carga sobre nuestros
functioning.57 diferencias individuales en la fuerza de inteligencia en gran medida
atribuible a las variaciones en el nmero y la naturaleza de tales alelos ligeramente
deletreos que cada uno de nosotros lleva. Con la sntesis de genes que podramos tomar
el genoma de un embrin y construir una versin de ese genoma libre del ruido gentico
de las mutaciones acumuladas. Si se quisiera hablar provocativamente, se podra decir
que los individuos creados a partir de estos genomas revisar podran ser "ms humano"
que nadie actualmente vivo, en que seran expresiones menos distorsionadas de forma
humana. Tales personas no estaran todos copias al carbn, porque los seres humanos
varan genticamente de manera que no sean mediante la realizacin de diferentes
mutaciones deletreas. Pero la manifestacin fenotpica de un genoma proofread puede
ser una constitucin fsica y mental excepcional, con elevada funcionamiento en
dimensiones rasgo polignico como la inteligencia, la salud, la resistencia, y
appearance.58 (A analoga suelta podra hacerse con las caras de material compuesto, en
el que los defectos de los individuos superpuestos se promedian: vase la Figura 6.)
Figura 6 Caras compuestas como una metfora de los genomas de hechizo a
cuadros. Cada una de las imgenes centrales fue producido por la superposicin de
fotografas de diecisis individuos diferentes (residentes de Tel Aviv). Caras compuestas a
menudo se juzgan para ser ms bella que cualquiera de las caras individuales de que se
componen, como imperfecciones idiosincrsicos se promedian. Anlogamente, mediante
la eliminacin de mutaciones individuales, revisadas genomas pueden producir la gente
ms cerca de "los ideales platnicos." Estas personas no estaran todos genticamente
idnticos, debido a que muchos genes vienen en mltiples alelos igualmente funcionales.
Correccin slo eliminara varianza derivada de mutations.59 deletreo
Otras tcnicas biotecnolgicas potenciales tambin pueden ser relevantes. La
clonacin reproductiva humana, una vez logrado, se podra utilizar para replicar el
genoma de individuos excepcionalmente talentosos. La captacin se limitara por la
preferencia de la mayora de los futuros padres para ser biolgicamente relacionado a sus
hijos, sin embargo, la prctica, sin embargo, podra llegar a tener un impacto no
despreciable debido a que (1) incluso un relativamente pequeo aumento en el nmero
de personas excepcionalmente talentosos podran tener un efecto significativo; y (2) es
posible que algn estado se embarcara en un programa de eugenesia de mayor escala, tal
vez mediante el pago de las madres de alquiler. Otros tipos de ingeniera gentica, tales
como el diseo de genes sintticos novedosos o insercin en el genoma de regiones
promotoras y otros elementos para controlar la expresin gnica-podra tambin ser
importante en el tiempo. An ms pueden existir posibilidades exticas, tales como cubas
llenas de tejido complejamente estructurada culta cortical, o animales transgnicos
"levantadas" (tal vez algunos mamferos de gran cerebro, como la ballena o elefante,
enriquecida con los genes humanos). Estos ltimos son totalmente especulativa, pero
durante un perodo de tiempo ms largo que quizs no pueden ser completamente
descontados.
Hasta ahora hemos hablado de las intervenciones en la lnea germinal, los que se
pueden hacer en los gametos o embriones. Somticos mejoras de genes, sin pasar por el
ciclo de generacin, podran producir, en principio, los impactos ms rpidamente. Sin
embargo, son tecnolgicamente mucho ms difcil. Requieren que los genes modificados
pueden insertar en un gran nmero de clulas en el cuerpo vivo, incluyendo, en el caso de
mejora de la cognicin, el cerebro. Seleccin entre las clulas o embriones de huevo
existentes, en contraste, no requiere la insercin de genes. Incluso este tipo de terapias
como la lnea germinal tareas implican la modificacin del genoma (por ejemplo, la
correccin del genoma o empalme de alelos raros) son mucho ms fciles de implementar
en el gameto o la etapa embrionaria, donde uno est tratando con un pequeo nmero de
clulas. Por otra parte, las intervenciones en la lnea germinal de embriones
probablemente pueden lograr mayores efectos que las intervenciones somticas en los
adultos, debido a que el primero sera capaz de dar forma el desarrollo temprano del
cerebro mientras que el segundo se limitara a ajustar una estructura existente. (Algo de lo
que se podra hacer a travs de la terapia gnica somtica tambin podran ser
alcanzables por medios farmacolgicos.) Centrndonos, por tanto, en las intervenciones en
la lnea germinal, debemos tener en cuenta el desfase generacional retrasar cualquier gran
impacto en el mundo.60
Incluso si la tecnologa se perfecciona hoy y de inmediato empez a utilizar, se
necesitaran ms de dos dcadas para que una cra mejorada genticamente para alcanzar
la madurez. Adems, con aplicaciones en seres humanos normalmente hay un retraso de
al menos una dcada entre prueba de concepto en el laboratorio y la aplicacin clnica,
debido a la necesidad de extensos estudios para determinar la seguridad. Las formas ms
simples de la seleccin gentica, sin embargo, podran anular en gran medida la necesidad
de tales pruebas, ya que utilizaran tcnicas de tratamiento de fertilidad estndar y la
informacin gentica que elegir entre embriones que de otro modo han sido
seleccionados por casualidad.
Los retrasos tambin pueden ser el resultado de los obstculos no enraizadas en un miedo
al fracaso (la demanda de pruebas de seguridad), sino en el miedo al xito, la demanda de
regulacin impulsada por las preocupaciones sobre la licitud moral de la seleccin
gentica o sus implicaciones sociales ms amplias. Tales preocupa ciones son
probablemente ms influyente en algunos pases que en otros, debido a los diferentes
contextos culturales, histricos y religiosos. Alemania de la posguerra, por ejemplo, ha
optado por dar un gran rodeo para cualquier prctica reproductivos que podran ser
percibidos como incluso en la forma ms remota dirigida a la mejora, una postura que es
comprensible dada la historia particularmente oscura de atrocidades conectados a la
eugenesia movimiento en ese pas. Otros pases occidentales tienden a ad optar un
enfoque ms liberal. Y algunos pases, tal vez China o Singapur, los cuales tienen las
polticas de poblacin podra a largo plazo no slo permiten sino que activamente
promueven el uso de la seleccin gentica y la ingeniera gentica para mejora r la
inteligencia de sus poblaciones una vez que la tecnologa para hacerlo est disponible.
Una vez que el ejemplo se ha establecido, y los resultados empiezan a mostrar, holdouts
tendrn fuertes incentivos para seguir su ejemplo. Naciones se enfrentar an a la
posibilidad de convertirse remansos cognitivas y perder en, cientficos, militares, y
concursos de prestigio econmicos con los competidores que adoptan las nuevas
tecnologas de mejora de humanos. Los individuos dentro de una sociedad veran lugares
en las escuelas de lite que se llenan de nios seleccionados genticamente (que tambin
pueden ser en promedio ms bonita, ms saludable y ms consciente) y querrn sus
propios hijos para tener las mismas ventajas. Hay alguna posibilidad de que un gran
cambio de actitud podra tener lugar durante un tiempo relativamente corto, tal vez en
tan slo una dcada, una vez que la tecnologa se ha demostrado que funciona y para
proporcionar un beneficio sustancial. Las encuestas de opinin en Estados Unidos revelan
un cambio dramtico en la aprobacin pblica de la fecundacin in vitro despus del
nacimiento del primer "beb probeta", Louise Brown, en 1978. Unos aos antes, slo el
18% de los estadounidenses dijeron que usaran personalmente FIV para tratar la
infertilidad; sin embargo, en una encuesta realizada poco despus del nacimiento de
Louise Brown, el 53% dijo que lo haran, y el nmero sigue aumentando.61 (En
comparacin, en una encuesta realizada en 2004, el 28% de los estadounidenses aprueba
la seleccin de embriones para la "fuerza o inteligencia", 58% aprobado para evitar el
cncer del adulto, y el 68% aprobado de la misma para evitar enfermedades infantiles
mortales. 62)
Si sumamos los diversos retrasos -digamos cinco a diez aos para reunir la informacin
necesaria para la seleccin significativamente eficaz entre un conjunto de embriones
fecundados in vitro (posiblemente mucho ms tiempo antes provienen gametos derivados
de clulas estn disponibles para su uso en la reproduccin humana), diez ao s a construir
una absorcin importante, y veinte-veinticinco aos para que la mejorada
generacin para llegar a una edad en la que comienzan a ser productiva, nos
encontramos con que las mejoras de la lnea germinal es poco probable que tenga un
impacto significativo en la sociedad antes de mediados de este siglo. A partir de ese punto
en adelante, sin embargo, la inteligencia de los segmentos importantes de la poblacin
adulta puede comenzar a ser impulsado por mejoras genticas. La velocidad de la subida
sera luego acelerar en gran medida como cohortes concebidos mediante tecnologas
genticas ms potentes de la prxima generacin (en gametos derivados de clulas madre
y en particular la seleccin de embriones iterativo) entrar en la fuerza laboral. Con el pleno
desarrollo de las tecnologas genticas descritas anteriormente (dejando a un lado las
posibilidades ms exticas como la inteligencia en el tejido neural culta), que podra ser
posible para asegurar que los nuevos individuos son en promedio ms i nteligente que
cualquier ser humano que an no ha existido, con picos que subir ms alto todava. El
potencial de mejora biolgica es, pues, en ltima instancia, alto, probablemente suficiente
para el logro de la forma al menos dbiles de superinteligencia. Esto no debera ser
sorprendente. Despus de todo, los procesos evolutivos mudos han ampliado
dramticamente la inteligencia en el linaje humano, incluso en comparacin con nuestros
parientes cercanos a los grandes simios y nuestros propios ancestros humanoides; y no
hay razn para suponer
Homo sapiens haber alcanzado el vrtice de alcanzable eficacia cognitiva en un sistema
biolgico. Lejos de ser la especie biolgica ms inteligentes posibles, estamos
probablemente mejor idea de como las especies biolgicas posibles estpidas capaces de
iniciar una civilizacin tecnolgica-un nicho llenamos porque llegaron all primero, no
porque estamos en ningn sentido ptimamente adaptado a ella. El progreso a lo largo de
la ruta biolgica es claramente factible. El desfase generacional en las intervenciones en la
lnea germinal significa que el progreso no poda ser tan repentina y abrupta como en
escenarios de inteligencia de la mquina. (Somticas terapias gnicas y las intervenciones
farmacolgicas podran saltar tericamente el desfase generacional, pero parece ms
difcil de perfeccionar y tienen menos probabilidades de producir efectos dramticos.) El
ltimo potencial de la inteligencia de la mquina es, por supuesto, mucho mayor que la
de la inteligencia orgnica. (Se puede obtener una idea de la magnitud de la brecha
considerando la diferencia de velocidad entre los componentes electrnicos y las clulas
nerviosas: transistores incluso de hoy operan en una escala de tiempo diez millones de
veces menor que la de las neuronas biolgicas.) Sin embargo, incluso las mejoras
relativamente moderadas de biolgica cognicin podra tener consecuencias importantes.
En particular, la mejora cognitiva podra acelerar la ciencia y la tecnologa, incluidos los
avances hacia formas ms potentes de amplificacin de la inteligencia biolgica y la
inteligencia artificial. Considere cmo el ritmo de avance en el campo de la inteligencia
artificial que cambiara en un mundo donde Average Joe es un interlocutor intelectual de
Alan Turing o John von Neumann, y donde millones de personas se elevan muy por
encima de cualquier gigante intelectual del past.63 Una discusin de las implicaciones
estratgicas de mejora cognitiva tendr que esperar un captulo posterior. Pero podemos
resumir esta seccin sealando tres conclusiones: (1) por lo menos dbil formas de
superinteligencia son alcanzables por medio de mejoras biotecnolgicas; (2) la viabilidad
de los seres humanos cognitivamente mejoradas se suma a la plausibilidad que avanz
formas de inteligencia de la mquina son factibles, porque incluso si
nosotros eran fundamentalmente incapaz de crear inteligencia artificial (que no hay
ninguna razn para suponer), la inteligencia artificial an podra estar al alcance de los
humanos cognitivamente mejoradas; y (3) si tenemos en cuenta los escenarios de
estiramiento significativamente en la segunda mitad de este siglo y ms all, hay que
tener en cuenta la aparicin probable de una generacin de poblaciones genticamente
mejorados votantes, inventores, cientficos-con la magnitud de la mejora rpida escalada
ms dcadas posteriores.
Interfaces cerebro-ordenador
A veces se propone que las interfaces cerebro-ordenador directos, en particular los
implantes, podran permitir a los seres humanos para explotar los puntos fuertes de
recuperacin digital de computacin perfecto, clculo aritmtico rpida y precisa, y datos
de alto ancho de banda de transmisin que permite al sistema hbrido resultante superan
radicalmente la cerebro no aumentada. 64 Pero a pesar de la posibilidad de
conexiones directas entre el cerebro humano y los ordenadores se ha demostrado, parece
poco probable que este tipo de interfaces se utilizan ampliamente como mejoras cualquier
momento soon.65
Para empezar, hay riesgos significativos de complicaciones mdicas, incluyendo
infecciones, desplazamiento del electrodo, hemorragia, y la implantacin de electrodos en
declive cognitivo en el cerebro. Tal vez el ejemplo ms vivo a la fecha de los beneficios que
se pueden obtener a travs de la estimulacin cerebral es el tratamiento de los pacientes
con la enfermedad de Parkinson. El implante de Parkinson es relativamente simple: no se
comunica realmente con el cerebro sino simplemente suministra una corriente elctrica
estimulante para el ncleo subtalmico. Un vdeo de demostracin muestra un sujeto se
desplom en una silla, completamente inmovilizado por la enfermedad, y de repente
brota a la vida cuando la corriente est encendido: el sujeto ahora mueve sus brazos, se
pone de pie y camina por la habitacin, se da la vuelta y realiza una pirueta . Sin embargo,
incluso detrs de este procedimiento especialmente sencillo y casi milagrosamente xito,
acechan negativos. Un estudio de los pacientes con Parkinson que haban recibido
implantes cerebrales profundas mostr reducciones en la fluidez verbal, la atencin
selectiva, de nombres de colores, y la memoria verbal en comparacin con los controles.
Temas tratados tambin reportaron quejas ms cognitivas.66 Tales riesgos y efectos
secundarios pueden ser tolerable si el procedimiento se utiliza para aliviar una
discapacidad severa. Pero para que los sujetos sanos voluntarios a s mismos para la
neurociruga, tendra que haber alguna mejora muy sustancial de la funcionalidad normal
a ser adquirida.
Esto nos lleva a la segunda razn para dudar de que la superinteligencia se lograr
mediante ciborgizacin, a saber, que la mejora es probable que sea mucho ms difcil que
la terapia. Los pacientes que sufren de parlisis podran beneficiarse de un implante que
reemplaza sus nervios cortados o activa generadores de patrones de movimiento de la
columna vertebral. 67
Los pacientes que son sordos o ciegos podra beneficiarse de cochleae artificial y
pacientes retinas.68 con enfermedad de Parkinson o el dolor crnico podran beneficiarse
de la estimulacin cerebral profunda que excita o inhibe la actividad en un rea particular
de la brain.69 Lo que parece mucho ms difcil de lograr es una interaccin directa de alto
ancho de banda entre el cerebro y el ordenador para proporcionar aumentos sustanciales
en la inteligencia de una forma que no podan alcanzarse ms fcilmente por otros
medios. La mayora de los potenciales beneficios que los implantes cerebrales podran
proporcionar en sujetos sanos se puede obtener en menos riesgo, los gastos y molestias a
travs de nuestro motor regular y rganos de los sentidos para interactuar con los
ordenadores situados fuera de nuestros cuerpos. No necesitamos para conectar un cable
de fibra ptica en nuestro cerebro con el fin de acceder a Internet. No slo puede la retina
humana transmitir datos a una velocidad impresionante de casi 10 millones de bits por
segundo, pero viene pre-empaquetado con una cantidad masiva de wetware dedicado, la
corteza visual, que est altamente adaptada al significado extraer de este torrente de
informacin y para la interconexin con otras reas del cerebro para su posterior
processing.70 Incluso si hubiera una manera fcil de bombear ms informacin en nuestro
cerebro, la entrada de datos adicional hara poco para aumentar la velocidad a la que
pensamos y aprender a no ser que toda la maquinaria neuronal necesaria para dar sentido
a los datos se actualiza de manera similar. Dado que este incluye casi todo el cerebro, lo
que realmente se necesita es una "prtesis total del cerebro - que es slo otra forma de
decir ia fuerte. Sin embargo, si uno tena un nivel AI humana, se podra prescindir de la
neurociruga: una computadora puede ser que tambin tienen una carcasa de metal como
uno de los huesos. As que este caso lmite slo nos lleva de vuelta a la senda de AI, que ya
hemos examinado. Interfaz cerebro-ordenador tambin se ha propuesto como una
manera de obtener informacin fuera del cerebro, para los propsitos de la comunicacin
con otros cerebros o con mquinas.71
Tales enlaces ascendentes han ayudado a pacientes con bloqueado-en el sndrome de
comunicarse con el mundo exterior por lo que les permite mover un cursor en una
pantalla por thought.72 El ancho de banda alcanzado en tales experimentos es baja: el
paciente minuciosamente tipos fuera una letra lenta despus de otras en un ritmo de unas
palabras por minuto. Uno puede imaginar fcilmente versiones mejoradas de esta
tecnologa, tal vez un implante de ltima generacin podra tapar en el rea de Broca (una
regin en el lbulo frontal que participan en la produccin del lenguaje) y recoger
speech.73 interna Pero mientras esta tecnologa podra ayudar a algunas personas con
discapacidades inducidas por accidente cerebrovascular o la degeneracin muscular, se
celebraran poco atractivo para los sujetos sanos. La funcionalidad que proporcionara es
esencialmente la de un micrfono junto con el software de reconocimiento de voz, que ya
est disponible comercialmente-menos el dolor, molestias, gastos, y los riesgos asociados
con la neurociruga (y menos por lo menos algunos de los matices hiper-orwelliana de un
dispositivo de escucha intracraneal). Mantener nuestras mquinas fuera de nuestro
Pero qu pasa con el sueo de pasar por las palabras en
cuerpo tambin hace ms fcil de actualizar.
conjunto y establecer una conexin entre dos cerebros que permite conceptos, pensamientos o reas enteras de la experiencia d e ser
"descargados" de una mente a otra? Podemos descargar archivos de gran tamao a nuestras computadoras, incluyendo bibliotecas con
millones de libros y artculos, y esto se puede hacer a lo largo de segundos: algo similar podra hacerse con nuestro cerebro ? La
aparente plausibilidad de esta idea deriva probablemente de una visin incorrecta de cmo se almacena y se represent en el cerebro
la informacin. Como se ha sealado, el paso limitante de la velocidad en la inteligencia humana no es la rapidez con datos b rutos
pueden ser alimentados en el cerebro, sino ms bien lo rpido que el cerebro puede extraer el significado y dar sentido a los datos. Tal
vez se sugiri que transmitimos significados directamente, en lugar de ellos paquete en datos sensoriales que debe ser decodi ficado
por el receptor. Hay dos problemas con esto. La primera es que el cerebro, a diferencia de los tipos de programa que normalmente se
ejecutan en nuestros ordenadores, no utilizan formatos de almacenamiento y representacin de datos estandarizados. Ms bien, cada
cerebro desarrolla sus propias representaciones idiosincrsicos de contenido de nivel superior. Qu particulares asambleas neuronales
son reclutados para representar un concepto particular depende de las experiencias nicas del cerebro en cuestin (junto con varios
factores genticos y los procesos fisiolgicos estocsticos). Al igual que en las redes neuronales artificiales, es decir, en las redes
neuronales biolgicas es probable representado de manera integral en la estructura y actividad patrones de regiones superpues tas
importantes, no en las clulas de memoria discretos establecidos en matrices ordenadas.
74 Por lo tanto, no sera posible establecer un sencillo mapeo entre las neuronas en
un cerebro y los de otro de tal manera que los pensamientos podran deslizarse
automticamente de uno a otro. A fin de que los pensamientos de un cerebro a ser
inteligible a otro, los pensamientos deben ser descompuesto y empaquetado en smbolos
de acuerdo a alguna convencin compartida que permite a los smbolos que deben ser
interpretadas correctamente por el cerebro de recepcin. Este es el trabajo del lenguaje.
En principio , Uno podra imaginar la descarga del trabajo cognitivo de articulacin e interpretacin de una interfaz que
leera alguna manera los estados neuronales en el cerebro del emis or y de alguna manera de comer en un patrn de medida de
activacin para el cerebro del receptor. Pero esto nos lleva al segundo problema con el escenario de cyborg. Incluso dejando de lado la
(bastante inmensa) desafo tcnico de cmo leer y escribir de forma fiable al mismo tiempo de quizs miles de millones de neuronas
direccionables individualmente, creando la interfaz requerida es probablemente un problema de AI -completo. La interfaz tendra que
incluir un componente de poder (en tiempo real) para trazar patrones de disparo en un cerebro en patrones de descarga
semnticamente equivalentes en el otro cerebro. La comprensin detallada de varios niveles de la computacin neuronal necesar ia
para llevar a cabo tal tarea parece habilitar directamente neuromr fica AI.
A pesar de estas reservas, la ruta hacia la mejora cognitiva cyborg no es del todo
sin promesa. Impresionante trabajo en el hipocampo de ratas ha demostrado la viabilidad
de una prtesis neural que puede mejorar el rendimiento en una tarea de memoria de
trabajo simple.
75 En su versin actual, el implante recoge las aportaciones de una docena o dos
electrodos situados en un rea ("CA3") del hipocampo y proyectos en un nmero similar
de neuronas en otra rea ("CA1"). Un microprocesador est capacitado para discriminar
entre dos patrones de activacin diferentes en la primera zona (correspondiente a dos
memorias diferentes, "palanca derecha" o "palanca izquierda") y para aprender cmo
estos patrones se proyectan en la segunda zona. Esta prtesis no slo puede restaurar la
funcin cuando se bloque la conexin neuronal normal entre las dos reas neuronales,
pero mediante el envo de un token especialmente claro de un patrn particular de la
memoria a la segunda rea que puede mejorar el rendimiento en la tarea de memoria
ms all de lo que la rata es normalmente capaz de hacer. Mientras que un tour de force
tcnico para los estndares contemporneos, el estudio deja muchas preguntas difciles
sin respuesta: Qu tan bien la escala de enfoque para un mayor nmero de recuerdos?
Qu tan bien podemos controlar la explosin combinatoria que de lo contrario amenaza
con hacer que el aprendizaje de la asignacin correcta factible a medida que aumenta el
nmero de neuronas de entrada y salida? El mejor rendimiento en la tarea de prueba
viene en algn costo oculto, como la disminucin de la capacidad de generalizar a partir
del estmulo particular usado en el experimento, o disminucin de la capacidad para
desaprender la asociacin cuando el entorno cambia? Los sujetos de prueba todava de
alguna manera beneficiar incluso si, a diferencia de las ratas que podan acogerse a las
ayudas de memoria externas tales como lpiz y papel? Y cunto ms difcil sera aplicar un
mtodo similar al de otras partes del cerebro? Considerando que la presente prtesis se
aprovecha de la estructura de alimentacin hacia adelante relativamente simple de las
partes del hipocampo (bsicamente acta como un puente entre las zonas unidireccional
CA3 y CA1), otras estructuras en la corteza implican retroalimentacin enrevesado bucles
que aumentan en gran medida la complejidad del cableado Diagrama y, presumiblemente,
la dificultad de descifrar el funcionamiento de cualquier grupo integrado de las neuronas.
Una esperanza para la ruta cyborg es que el cerebro, si se implanta de forma permanente
con un dispositivo de conexin a algn recurso externo, sera con el tiempo
aprender una asignacin eficaz entre sus propios estados internos cognitivas y las
entradas que recibe de, o las salidas, aceptados por el dispositivo. Entonces, el propio
implante no tendra que ser inteligente; ms bien, el cerebro sera inteligente adaptarse a
la interfaz, tanto como el cerebro de un nio aprende gradualmente a interpretar las
seales que llegan de los receptores en sus ojos y ears.76 Pero aqu de nuevo uno debe
preguntarse cunto realmente se gan. Supongamos que la plasticidad del cerebro eran
tales que podra aprender a detectar patrones de alguna nueva arbitraria flujo de entrada
proyectada sobre una parte de la corteza por medio de una interfaz cerebro-ordenador:
por qu no proyectar la misma informacin sobre la retina en su lugar, como una visual
patrn, o sobre la cclea como sonidos? La alternativa de baja tecnologa evita mil
complicaciones, y en ambos casos el cerebro podra desplegar sus mecanismos de
reconocimiento de patrones y la plasticidad para aprender a dar sentido a la informacin.
Redes y organizaciones
arriba "? Podra el Internet convertirse en algo ms que la columna vertebral de una
superinteligencia, algo vagamente colectiva integrada ms como un crneo virtual de la
vivienda un emergente super-inteligencia unificada? (Esta fue una de las formas en que la
superinteligencia podra surgir de acuerdo con la influyente 1993 el ensayo de Vernor
Vinge, que acu el trmino "singularidad tecnolgica". 83) Contra ste podra objetar
que la inteligencia artificial es bastante difcil de lograr a travs ardua ingeniera, y que es
increble suponer que surgir espontneamente. Sin embargo, la historia no tiene
por qu ser que algunos futura versin de Internet de repente se convierte en
superinteligente por mera casualidad. Una versin ms plausible del escenario sera que el
Internet se acumula mejoras gracias al trabajo de muchas personas durante muchos aos
el trabajo de disear mejor la bsqueda y filtrado de informacin, algoritmos ms
potentes formatos de representacin de datos, agentes de software autnomas ms
capaces, y los protocolos ms eficientes que rige las interacciones entre estos robots-y que
las mejoras incrementales mirada finalmente crear la base de alguna forma ms unificada
de la inteligencia web. Parece por lo menos concebible que un sistema cognitivo basado en
la web tales, sobresaturada con potencia de los ordenadores y todos los dems recursos
necesarios para un crecimiento explosivo salvo por un ingrediente fundamental, podra,
cuando el componente faltante final se dej caer en el caldero, arder con
superinteligencia. Este tipo de escenario, sin embargo, converge en otro posible camino
hacia la superinteligencia, el de inteligencia general artificial, que ya hemos discutido.
Resumen
El hecho de que hay muchos caminos que conducen a la superinteligencia debera
aumentar nuestra confianza en que vamos a llegar con el tiempo. Si un camino resulta ser
bloqueado, todava podemos avanzar.
Que hay varias rutas no implica que hay mltiples destinos. Incluso si la
amplificacin de inteligencia significativa se logra primero a lo largo de uno de los caminos
no-mquina de inteligencia, esto no hara que la inteligencia artificial irrelevante. Todo lo
contrario: una mayor inteligencia biolgica u organizacional aceleraran los avances
cientficos y tecnolgicos, lo que podra acelerar la llegada de las formas ms radicales de
amplificacin de la inteligencia como la emulacin de todo el cerebro y la IA. Esto no
quiere decir que es indiferente cmo se llega a la mquina superinteligencia. El camino
recorrido para llegar all podra hacer una gran diferencia en el resultado final. Incluso si
las capacidades finales que se obtienen no dependen tanto de la trayectoria, cmo se
utilizarn-how esas capacidades tanto control que los seres humanos tienen so bre su
disposicin, bien podra depender de los detalles de nuestro enfoque. Por ejemplo, las
mejoras de la inteligencia biolgica o de organizacin podran aumentar nuestra
capacidad para anticipar riesgos y disear superinteligencia mquina que es seguro y
beneficioso. (Una evaluacin estratgico implica muchas complejidades, y tendr que
esperar el captulo 14.) Verdadero superinteligencia (en contraposicin a aumentos
marginales en los niveles actuales de inteligencia) podra plausiblemente primero ser
alcanzado a travs de la ruta de AI. Hay, sin embargo, muchas incertidumbres
fundamentales a lo largo de este camino. Esto hace que sea difcil evaluar rigurosamente
el tiempo que el camino es o cuntos obstculos que hay en el camino. El camino de
emulacin de todo el cerebro tambin tiene alguna posibilidad de ser la ruta ms rpida a
superinteligencia. Desde el progreso a lo largo de este camino requiere avances
tecnolgicos principalmente incrementales en lugar de avances tericos, un caso fuerte
puede hacer que con el tiempo tener xito. Parece bastante probable, sin embargo, que
incluso si el progreso a lo largo de toda la ruta de emulacin de cerebro es rpido,
la inteligencia artificial, sin embargo, ser el primero en cruzar la lnea de llegada: est o es
debido a la posibilidad de neuromrfica IA basado en emulaciones parciales.
Mejoras cognitivas biolgicos son claramente factible, especialmente los basados en la
seleccin gentica. La seleccin de embriones Iterated actualmente parece una tecnologa
especialmente prometedora. En comparacin con los posibles avances en la inteligencia
de la mquina, sin embargo, las mejoras biolgicas seran relativamente lenta y gradual.
Ellos, a lo sumo, dar lugar a formas relativamente dbiles de superinteligen cia (ms sobre
esto en breve).
La clara posibilidad de mejora biolgica debera aumentar nuestra confianza en que la
inteligencia artificial es en ltima instancia, alcanzables, ya que los cientficos e ingenieros
humanos mejorados sern capaces de hacer ms y ms rpido progreso de su au
naturel
contrapartes. Especialmente en escenarios en los que la inteligencia artificial se retrasa
ms all de mediados de siglo, las cohortes cada vez cognitivamente mejoradas prximos
escenario jugarn un papel creciente en la evolucin posterior. Ven poco probable
interfaces cerebro-ordenador como fuente de superinteligencia. Las mejoras en las redes y
organizaciones podran dar lugar a formas dbilmente superinteligentes de la inteligencia
colectiva en el largo plazo; pero lo ms probable es que van a jugar un papel facilitador
similar a la de la mejora cognitiva biolgica, poco a poco la capacidad efectiva el aumento
de la humanidad para resolver problemas intelectuales. En comparacin con las mejoras
biolgicas, los avances en las redes y la organizacin har una diferencia antes-de hecho,
estos avances se estn produciendo continuamente y estn teniendo un impacto
significativo ya. Sin embargo, las mejoras en las redes y organizaciones pueden dar ms
estrechos aumentos en nuestra capacidad de resolucin de problemas de mejoras en la
"inteligencia colectiva" cognicin-que alza biolgica en lugar de "inteligencia de calidad",
para anticipar una distincin que estamos a punto de introducir en el prximo captulo.
CAPTULO 3
Formas de superinteligencia
Por "mucho" que aqu significa algo as como "mltiples rdenes de magnitud." Pero en
lugar de tratar de borrar todos los remanente de la vaguedad de la definicin, vamos a
confiar al lector interpretar con sensatez. 2
El ejemplo ms simple de superinteligencia velocidad sera una emulacin total del
cerebro que se ejecuta en hardware rpido.
3 Una emulacin que funciona a una velocidad de diez mil veces mayor que la de un
cerebro biolgico sera capaz de leer un libro en pocos segundos y escribir una tesis
doctoral en una tarde. Con un factor de aceleracin de un milln, una emulacin poda
lograr todo un milenio de trabajo intelectual en un da.4 trabajo
Para una mente tan rpida, los acontecimientos en el mundo exterior parecen
desarrollarse en cmara lenta. Suponga que su mente corra a 10000 . Si su amigo carnal
debe suceder a caer su taza de t, se poda ver la porcelana descender lentamente hacia la
alfombra en el transcurso de varias horas, como un cometa en silencio deslizndose por el
espacio hacia una cita con un planeta lejano; y, como la anticipacin de la venida de
choque se propaga tardamente a travs de los pliegues de
la materia gris de su amigo y de all hacia el sistema nervioso perifrico, se poda observar
su cuerpo asumiendo gradualmente el aspecto de un momento Uy-suficientes congelada
para usted, no slo para pedir una taza de reemplazo, sino tambin a leer un par de
artculos cientficos y tomar una siesta.
Debido a esto la dilatacin del tiempo aparente del mundo material, una superinteligencia
velocidad preferira trabajar con objetos digitales. Podra vivir en la realidad virtual y hacer
frente en la economa de la informacin. Alternativamente, podra interactuar con el
medio fsico por medio de manipuladores de nanoescala, ya que las extremidades en
escalas tan pequeas podran funcionar ms rpido que apndices macroscpicos. (La
frecuencia caracterstica de un sistema tiende a ser inversamente proporcional a su escala
de longitud. 5
) Una mente rpida podra comulgar principalmente con otras mentes rpidas en lugar de
con bradytelic, los humanos melaza-como.
La velocidad de la luz se convierte en un obstculo cada vez ms importante como mentes
se vuelven ms rpidos, ya que las mentes ms rpidas enfrentan mayores costos de
oportunidad en el uso de su tiempo para viajar o comunicarse a travs de largas
distancias. 6
Tenga en cuenta que el umbral para la superinteligencia colectiva est indexado a los
niveles de rendimiento de la presente, es decir, a principios del siglo XXI. A lo largo de la
prehistoria humana, y otra vez a lo largo de la historia humana, la inteligencia colectiva de
la humanidad
tiene crecido por factores muy grandes. La poblacin mundial, por ejemplo, ha
aumentado por lo menos un factor de mil desde que el Pleistocene.9 Sobre esta base, los
niveles actuales de la inteligencia colectiva humana podan considerarse superinteligencia
acercarse
Un cierto tipo de lector se ver tentado a este punto interponer que la sociedad
moderna no parece tan particularmente inteligente. Tal vez algunos de decisiones
polticas no deseado solo se ha hecho en el pas de origen del lector, y la aparente falta de
sabidura de esa decisin ahora ocupa un lugar preponderante en la mente del lector
como evidencia de la incapacidad mental de la era moderna. Y no es el caso de que la
humanidad contempornea est idolatrando el consumo de materiales, agotamiento de
los recursos naturales, la contaminacin del medio ambiente, diezmando a la diversidad
de especies, a la vez que al no remediar gritando injusticias globales y dejar de lado los
valores humansticos o espirituales supremos? Sin embargo, dejando de lado la cuestin
de cmo se apilan las deficiencias de la modernidad contra las fallas no tan despreciables
de pocas anteriores, no hay nada en nuestra definicin de superinteligencia colectiva
implica que una sociedad con una mayor inteligencia colectiva es necesariamente mejor.
La definicin ni siquiera implica que la sociedad ms inteligente es colectivamente
ms sabio . Podemos pensar en la sabidura como la capacidad de conseguir las cosas
importantes aproximadamente derecha. Entonces es posible imaginar una organizacin
compuesta de un gran grupo de trabajadores del conocimiento muy coordinados de
manera eficiente, que en conjunto pueden resolver problemas intelectuales a travs de
muchos dominios muy generales. Esta organizacin, supongamos, puede operar la
mayora de los tipos de empresas, inventar la mayora de tipos de tecnologas, y optimizar
la mayora de los tipos de procesos. An as, podra conseguir algunas cuestiones clave de
gran imagen totalmente equivocada ejemplo-para, puede dejar de tomar las precauciones
adecuadas contra los riesgos existenciales-y como resultado perseguir un corto perodo de
crecimiento explosivo que termina sin gloria en el colapso total. Tal organizacin podra
tener un alto grado de inteligencia colectiva; si es lo suficientemente alta, la organizacin
es una superinteligencia colectiva. Debemos resistir la tentacin de tirar todos los
atributos normativamente deseable en un concepto amorfo gigante del funcionamiento
mental, como si uno nunca podra encontrar un rasgo admirable sin todos los otros son
igualmente presentes. En su lugar, debemos reconocer que no puede existir
instrumentalmente poderosos sistemas de procesamiento de informacin-que los
sistemas inteligentes no son ni buenos ni inherentemente fiable sabio. Pero vamos a
examinar esta cuestin en el captulo 7.
Superinteligencia colectiva podra ser vagamente o estrechamente integrada. Para
ilustrar un caso de superinteligencia colectiva vagamente integrado, imaginar un planeta,
MegaEarth
, Que tiene el mismo nivel de las tecnologas de comunicacin y coordinacin que
tenemos actualmente en la Tierra real pero con una poblacin de un milln de veces ms
grande. Con una poblacin tan enorme, la fuerza de trabajo intelectual total en la
MegaEarth sera proporcionalmente mayor que en nuestro planeta. Supongamos que un
genio cientfico del calibre de un Newton o un Einstein surge al menos una vez por cada 10
millones de personas: entonces MegaEarth habra 700.000 tales genios viven
contemporneamente, junto proporcionalmente vastas multitudes de talentos
ligeramente menores. Las nuevas ideas y tecnologas se desarrollaron a un ritmo
vertiginoso, y la civilizacin mundial sobre MegaEarth constituiran una
superintelligence.11 colectiva vagamente integrado
Superinteligencia Calidad: Un sistema que es al menos tan rpido como una mente
humana y cualitativamente muy inteligente.
Al igual que con la inteligencia colectiva, la calidad de la inteligencia es tambin un
concepto un tanto turbia; y en este caso la dificultad se ve agravada por nuestra falta de
experiencia con cualquier variacin en la calidad de inteligencia por encima del extremo
superior de la distribucin actual humano. Podemos, sin embargo, conseguir un poco de
comprensin de la nocin considerando algunos casos relacionados.
En primer lugar, podemos ampliar la gama de nuestros puntos de referencia
teniendo en cuenta los animales no humanos, que tienen la inteligencia de menor calidad.
(Esto no se entiende como una observacin especista Un pez cebra tiene una cualidad de
la inteligencia que se adapta excelentemente a sus necesidades ecolgicas, pero la
perspectiva relevante aqu es una ms antropocntrica uno:. Nuestra preocupacin es con
el rendimiento en humanamente . tareas cognitivas complejas pertinentes) Los animales no
humanos carecen de lenguaje estructurado complejo; que son capaces de ninguna o slo
el uso de herramientas rudimentarias y la construccin de la herramienta; que estn
severamente restringidos en su capacidad de hacer planes a largo plazo; y tienen la
capacidad de razonamiento abstracto muy limitada. Tampoco son estas limitaciones
plenamente explicadas por la falta de velocidad o de la inteligencia colectiva entre las
mentes de los animales no humanos. En trminos de potencia de clculo en bruto, los
cerebros humanos son probablemente inferiores a las de algunos animales grandes,
incluyendo elefantes y ballenas. Y aunque compleja civilizacin tecnolgica de la
humanidad no sera posible sin nuestra ventaja enorme en la inteligencia colectiva, no
todas las capacidades cognitivas claramente humanos dependen de la inteligencia
colectiva. Muchos estn muy desarrollados, incluso en pequeas, aisladas de cazadores-
recolectores bands.13 Y muchos no estn tan altamente desarrollados entre los animales
no humanos altamente organizados, como los chimpancs y los delfines intensamente
entrenados por instructores humanos, o las hormigas que viven en su propio grande y
bienestar sociedades ordenadas. Evidentemente, los notables logros intelectuales de
Homo sapiens son en gran medida atribuible a las caractersticas especficas de nuestra
arquitectura cerebral, las caractersticas que dependen de una dotacin gentica nica, no
compartida por otros animales. Esta observacin puede ayudar a ilustrar el concepto de
superinteligencia calidad: es la inteligencia de calidad al menos tan superior a la de la
inteligencia humana como la calidad de la inteligencia humana es superior a la de los
elefantes, delfines, o chimpancs.
Una segunda manera de ilustrar el concepto de superinteligencia calidad es
observando los dficits cognitivos especficos de dominio que pueden afectar los seres
humanos individuales, en particular los dficits que no son causados por la demencia en
general u otras condiciones asociadas con la destruccin total de los recursos
neurocomputacionales del cerebro. Consideremos, por ejemplo, las personas con
trastornos del espectro autista que pueden tener dficits notables en la cognicin social,
mientras que funciona bien en otros dominios cognitivos; o personas con amusia
congnita, que no pueden tararear o reconocer melodas simples con todo funcione con
normalidad en la mayora de los dems aspectos. Muchos otros ejemplos podran aducirse
de la literatura neuropsiquitrica, que est repleta de casos de estudio de los pacientes
que sufren dficits estrictamente circunscritas causadas por anomalas genticas o trauma
cerebral. Estos ejemplos muestran que los adultos humanos normales tienen una gama de
talentos cognitivos notables que no son simplemente una funcin de poseer una cantidad
suficiente de potencia de procesamiento neural general o incluso una cantidad suficiente
de inteligencia general: especializada tambin se necesita circuitera neural. Esta
observacin sugiere la idea de
posible, pero no se dio cuenta de talentos cognitivos , Talentos que ningn ser
humano real posee a pesar de que otros sistemas de los inteligentes sin ms potencia de
procesador que el cerebro-que tena esos talentos se beneficiaran enormemente en su
capacidad para llevar a cabo una amplia gama de tareas estratgicamente relevantes
humano.
Velocidad de la comunicacin interna . Los axones llevan potenciales de accin a
una velocidad de 120 m / s o menos, mientras que los ncleos de procesamiento
electrnicos pueden comunicarse pticamente a la velocidad de la luz (300.000.000 m / s)
0.21 La lentitud de los nervios lmites seales de lo grande que un cerebro biolgico puede
ser al mismo tiempo funciona como una unidad de procesamiento individual. Por ejemplo,
para lograr una latencia de ida y vuelta de menos de 10 ms entre dos element os de un
sistema, cerebros biolgicos deben ser menores que 0,11 m3. Un sistema electrnico, por
otro lado, podra ser 6,1 1017 m3, aproximadamente del tamao de un planeta enano:
dieciocho rdenes de magnitud larger.22
Editabilidad . Es ms fcil de experimentar con variaciones de los parmetros en el
software que en wetware neural. Por ejemplo, con una emulacin de todo el cerebro uno
podra fcilmente juicio lo que sucede si se aade ms neuronas en un rea cortical en
particular o si uno aumenta o disminuye su excitabilidad. Ejecucin de tales experimentos
en los que viven los cerebros biolgicos, sera mucho ms difcil. De duplicacin. Con el
software, se puede hacer rpidamente arbitrariamente muchas copias de alta fidelidad
para llenar la base de hardware disponible. Cerebros biolgicos, por el contrario, se
pueden reproducir slo muy lentamente; y cada nueva instancia comienza en un estado
de indefensin, sin recordar nada de lo que sus padres aprendieron en sus vidas.
Coordinacin Meta
. Colectivos humanos estn repletos de ineficiencias derivadas del hecho de que es casi
imposible lograr una completa uniformidad de propsito entre los miembros de un grupo
grande, al menos hasta que se vuelve factible para inducir la docilidad a gran escala por
medio de drogas o seleccin gentica. Un "clan copia" (un grupo de programas idnticos o
casi idnticos que comparten un objetivo comn) podra evitar estos problemas de
coordinacin.
El intercambio de memoria
En primer lugar, tenga en cuenta las mejoras de contenido. Por "contenido" que
aqu referimos a aquellas partes de los activos de software de un sistema que no integran
su arquitectura algortmica ncleo. Contenido podra incluir, por ejemplo, las bases de
datos de percepciones almacenados, bibliotecas habilidades especializadas, e inventarios
de conocimiento declarativo. Para muchos tipos de sistema, la distincin entre la
arquitectura algortmica y contenido es muy unsharp; sin embargo, servir como una
manera spera y lista de apuntar a una fuente potencialmente importante de las
ganancias de capacidad en una inteligencia artificial. Una forma alternativa de expresar la
misma idea es diciendo que la capacidad de resolucin de problemas intelectual de un
sistema se puede mejorar no slo haciendo que el ms inteligente del sistema, sino
tambin mediante la ampliacin de lo que el sistema sabe.
Figura 8
A escala menos antropomrfica? La diferencia entre un tonto y una persona inteligente
puede parecer grande desde una perspectiva antropocntrica, sin embargo, en una visin
menos parroquial los dos tienen minds.9 casi indistinguibles Es casi seguro que demostrar
ms y tomar ms tiempo para construir una inteligencia artificial que tiene un nivel
general de elegancia comparable a la de un tonto del pueblo que mejorar un sistema de
este tipo para que sea mucho ms inteligente que cualquier humano.
se small.20 Qu pasa y
? Hay casos en los que un proyecto tiene la capacidad ms importante que el resto del
combinado el proyecto Manhattan mundo, por ejemplo, trajo una gran fraccin de los
mejores fsicos del mundo a Los Alamos para trabajar en la bomba atmica. Ms
comnmente, cualquier proyecto contiene slo una pequea fraccin de la capacidad de
investigacin relevantes total del mundo. Pero incluso cuando el mundo exterior tiene una
mayor cantidad total de la capacidad de investigacin relevante que cualquier proyecto,
sin embargo, podr ser superior
, Ya que gran parte de la capacidad del mundo exterior no es estar centrado en el sistema
en cuestin. Si un proyecto comienza a parecer prometedor, lo cual ocurrir cuando un
sistema pasa a la lnea de base humana, si no antes, que podra atraer inversin adicional,
aumentando . Si los logros del proyecto son pblicos,
Tambin podra aumentar a medida que los avances inspira un mayor inters en la
inteligencia de la mquina en general y como diversos poderes desordenar para entrar en
el juego. Durante la fase de transicin, por lo tanto, la potencia total optimizacin aplicada
a la mejora de un sistema cognitivo es probable que aumente la capacidad del sistema de
increases.21
A medida que crecen las capacidades del sistema, puede llegar un pun to en el que el
poder de optimizacin generada por el propio sistema comienza a dominar el poder de
optimizacin que se le aplica desde el exterior (en todas las dimensiones importantes de
mejora):
Este
cruce es significativo porque ms all de este punto, una mejora adicional de las
capacidades del sistema contribuye fuertemente a aumentar el poder de optimizacin
total aplicada a la mejora del sistema. Con ello entramos en un rgimen de una fuerte
auto-mejora recursiva. Esto conduce a un crecimiento explosivo de la capacidad del
sistema bajo una gama bastante amplia de diferentes formas de la curva de obstinacin.
videojuego extendi desde Japn a Europa y Amrica del Norte en slo un ao!)
Est ms all del alcance de nuestra investigacin para revisar esta literatura aqu. Sin
embargo, es instructivo examinar algunos ejemplos de carreras tecnolgicas
estratgicamente importantes en el siglo XX (vase el cuadro 7).
Con respecto a estos seis tecnologas, que fueron considerados como de importancia
estratgica por las superpotencias que rivalizan por su importancia militar o simblica, las
brechas entre el lder y el ms rezagado cercano fueron (muy aproximadamente) 49
meses, 36 meses, 4 meses, 1 mes, 4 meses, y 60 meses, respectivamente a ms largo que
la duracin de un despegue rpido y ms cortas que la duracin de un despegue lento.
10
20 Los grandes proyectos de software pueden ofrecer una analoga ms estrecha con
los proyectos de IA, pero es ms difcil dar ejemplos ntidos de rezagos tpicos ya que el
software se suele rodar en cuotas incrementales y las funcionalidades de los sistemas de
la competencia a menudo no son directamente comparables.
Tabla 7
Un proyecto internacional sera por lo tanto necesitan para superar los principales retos
de seguridad, y una buena cantidad de confianza, probablemente sera necesario para
ponerlo en marcha, la confianza que puede tomar tiempo para desarrollarse. Considere la
posibilidad de que incluso despus de que el deshielo en las relaciones entre Estados
Unidos y la Unin Sovitica tras el ascenso de Gorbachov al poder, los esfuerzos de
reduccin de armas -que podra ser en gran medida en los intereses de ambas
superpotencias-tuvieron un comienzo irregular. Gorbachov estaba buscando reducciones
abruptas en armas nucleares, pero las estancadas negociaciones sobre la cuestin de la
Iniciativa de Defensa Estratgica de Reagan ("Star Wars"), que el Kremlin se opuso
enrgicamente. En la reunin Cumbre de Reykjavik en 1986, Reagan propuso que Estados
Unidos compartira con la Unin Sovitica la tecnologa que se desarrolla bajo la Iniciativa
de Defensa Estratgica, por lo que ambos pases podran protegerse de los lanzamientos
accidentales y en contra de las naciones ms pequeas que podran desarrollar nuclear
armas. Sin embargo, Gorbachov no fue persuadido por esta aparente propuesta ganadora.
Consideraba el gambito como un ardid, negndose a acreditar la idea de que los
estadounidenses comparten los frutos de su investigacin militar ms avanzada en un
momento en que ni siquiera estaban dispuestos a compartir con los soviticos su
tecnologa para ordear vacas. 31 Independientemente de que Reagan fue, de hecho,
sincero en su oferta de colaboracin superpotencia, la desconfianza hizo la propuesta de
un non-starter.
La colaboracin es ms fcil de lograr entre los aliados, pero incluso all no es automtico.
Cuando la Unin Sovitica y los Estados Unidos se aliaron contra Alemania durante la
Segunda Guerra Mundial, Estados Unidos ocult su proyecto de la bomba atmica de la
Unin Sovitica. Los Estados Unidos colaboran en el Proyecto Manhattan con Gran
Bretaa y Canad. 32 Del mismo modo, el Reino Unido ocult su xito en romper el
cdigo alemn Enigma de la Unin Sovitica, pero lo comparti-aunque con cierta
dificultad con los Estados Unidos.33 Esto sugiere que, a fin de lograr la colaboracin
internacional en alguna tecnologa que es de fundamental importancia para la seguridad
nacional, podra ser necesario haber construido previamente una relacin cercana y de
confianza. Volveremos en el captulo 14 de la conveniencia y viabilidad de la colaboracin
internacional en el desarrollo de tecnologas de amplificacin de la inteligencia. Desde
ventaja estratgica decisiva a Singleton Un proyecto que obtuvo una ventaja estratgica
decisiva optar por usarlo para formar un producto nico? Considere una situacin
histrica vagamente anloga. Los Estados Unidos ha desarrollado armas nucleares en
1945. Fue la nica potencia nuclear hasta que la Unin Sovitica desarroll la bomba
atmica en 1949. Durante este intervalo, y durante algn tiempo despus de eso, los
Estados Unidos pudo haber tenido, o ha estado en condiciones de alcanzar , una ventaja
militar decisiva. Los Estados Unidos podran entonces, tericamente, han utilizado su
monopolio nuclear para crear un producto nico. Una forma en que se podra haber
hecho habra sido por embarcarse en un esfuerzo supremo para construir su arsenal
nuclear y luego amenazar (y si es necesario, llevar a cabo) un primer ataque nuclear para
destruir la capacidad industrial de cualquier nuclear incipiente programa en la URSS y en
cualquier otro pas tentados a desarrollar una capacidad nuclear. Un curso ms benigno
de la accin, que tambin podra haber tenido la oportunidad de trabajar, habra sido
utilizar su arsenal nuclear como moneda de cambio para negociar un gobierno fuerte-a-
internacional de las Naciones Unidas con el veto menos un monopolio nuclear y el
mandato de tomar todas las medidas necesarias para evitar cualquier pas de desarrollar
sus propias armas nucleares.
Ambos enfoques se propusieron en el momento. El enfoque de lnea dura de
poner en marcha o amenazar a un primer ataque fue defendida por algunos intelectuales
destacados como Bertrand Russell (que haba sido durante mucho tiempo activo en los
movimientos contra la guerra y que ms tarde pasar dcadas haciendo campaa contra
las armas nucleares) y John von Neumann (co-creador de la teora de juegos y uno de los
arquitectos de la estrategia nuclear estadounidense).
34 Tal vez es un signo de progreso civilizatorio que la misma idea de amenazar a un
primer ataque nuclear hoy parece borderline tonto o moralmente obscena.
Una versin del enfoque benigna fue juzgado en 1946 por los Estados Unidos en
forma de plan de Baruch. La propuesta consisti en la EE.UU. renunciar a su monopolio
nuclear temporal. El uranio y el torio minera y tecnologa nuclear seran colocados bajo el
control de un organismo internacional que funciona bajo los auspicios de las Naciones
Unidas. La propuesta pide a los miembros permanentes del Consejo de Seguridad a
renunciar a sus vetos en asuntos relacionados con las armas nucleares con el fin de
prevenir cualquier gran poder hallados en violacin del acuerdo de vetar la imposicin de
remedios.
35 Stalin, al ver que la Unin Sovitica y sus aliados podran ser fcilmente perder la
votacin, tanto en el Consejo de Seguridad y la Asamblea General, rechaz la propuesta.
Una atmsfera helada de sospecha mutua descendi sobre las relaciones entre los
antiguos aliados de guerra, la desconfianza que luego se solidific en la Guerra Fra. Como
haba sido ampliamente predicho, una carrera armamentista nuclear costoso y
extremadamente peligroso sigui.
Hay muchos factores que pueden disuadir a una organizacin humana con una
ventaja estratgica decisiva de la creacin de un producto nico. Estos inclu yen funciones
no agregativos o delimitadas de servicios pblicos, las reglas de decisin no la
maximizacin, la confusin y la incertidumbre, problemas de coordinacin, y diversos
costos asociados a una toma de posesin. Pero y si no fuera una organizaci n humana,
sino un agente artificial superinteligente que entr en posesin de una ventaja estratgica
decisiva? Los factores antes mencionados ser igualmente eficaz en la inhibicin de una IA
de intentar tomar el poder? Corramos brevemente a travs de la lista de factores y
considerar cmo podran aplicarse en este caso. Individuos humanos y organizaciones
humanas suelen tener preferencias sobre los recursos que no estn bien representados
por una "funcin de utilidad sin lmites de agregacin." Un ser humano normalmente no
apostar todo su capital para una oportunidad de duplicar su cincuenta por ciento. Un
estado normalmente no se arriesgar a perder todo su territorio para una ocasin del diez
por ciento de una expansin de diez veces. Para los individuos y los gobiernos, hay
rendimientos decrecientes a la mayora de los recursos. La misma necesidad
no mantener durante los IA. (Volveremos al problema de la motivacin de AI en los
captulos siguientes.) Por tanto, un AI podra ser ms propensos a seguir u n curso de
accin arriesgado que tiene alguna posibilidad de darle el control del mundo.
Los seres humanos y las organizaciones humanas ejecutar tambin pueden operar
con los procesos de adopcin que no buscan maximizar la utilidad esperada. Por ejemplo ,
pueden permitir la aversin al riesgo fundamental, o "satisficing" reglas de decisin que se
centran en el cumplimiento de los umbrales de suficiencia o secundarios limitaciones
"deontolgicas" que proscriben ciertos tipos de accin, independientemente d e cmo sus
consecuencias deseables. Tomadores de decisiones Humanos menudo parecen estar
actuando una identidad o una funcin social en lugar de tratar de maximizar el logro de
algn objetivo en particular. Una vez ms, esto no se aplica a los agentes arti ficiales.
Funciones delimitadas de servicios pblicos, la aversin al riesgo, y reglas de decisin no
maximizando pueden combinar de forma sinrgica con la confusin y la incertidumbre
estratgica. Las revoluciones, incluso cuando tienen xito en el derrocamiento del orden
existente, a menudo no producen el resultado que sus instigadores haban prometido.
Esto tiende a detener la mano de un agente humano si la accin contemplada es
irreversible, de normas de ruptura, y los precedentes que carece. Un superin teligencia
podra percibir la situacin ms clara y, por tanto, frente a la confusin menos estratgica
y la incertidumbre sobre el resultado en caso de que intente utilizar su aparente ventaja
estratgica decisiva para consolidar su posicin dominante.
Otro factor importante que puede inhibir los grupos de la explotacin de una
ventaja estratgica que puede ser decisivo es el problema de la coordinacin interna. Los
miembros de una conspiracin que est en condiciones de tomar el poder debe
preocuparse no slo por haber sido infiltrado desde el exterior, sino tambin de ser
derrocado por alguna coalicin ms pequea de informacin privilegiada. Si un grupo est
formado por un centenar de personas, y la mayora de los sesenta puede tomar el poder y
privar de derechos a los no-conspiradores, qu es entonces para detener un treinta y
cinco fuertes subconjunto de estos sesenta aos de privar de sus derechos los otros veinte
y cinco aos? Y entonces tal vez un subconjunto de veinte disenfranchising otro quince
aos? Cada uno de los cientos de originales podran tener buenas razones para mantener
ciertas normas establecidas para prevenir la desintegracin general que podra resultar de
cualquier intento de cambiar el contrato social por medio de una toma de poder desnudo.
Este problema de la coordinacin interna no se aplicara a un sistema de inteligencia
artificial que constituye un solo agente unificado.
36
Por ltimo, est la cuestin de costo. Incluso si Estados Unidos podra haber utilizado su
monopolio nuclear para establecer un conjunto unitario, no podra haber sido capaz de
hacerlo sin incurrir en costos sustanciales. En el caso de un acuerdo negociado para
colocar armas nucleares bajo el control de unas Naciones Unidas reformadas y reforzadas,
estos costos podran haber sido relativamente pequea; pero los costos-morales,
econmicos, polticos y humanos de la realidad de intentar la conquista del mundo a
travs de la conduccin de la guerra nuclear habra sido casi inconcebiblemente grande,
incluso durante el perodo de monopolio nuclear. Con la suficiente superioridad
tecnolgica, sin embargo, estos costos seran mucho ms pequeo. Consideremos, por
ejemplo, un escenario en el que una nacin tena una gran ventaja tan tecnolgica que
podra desarmar de forma segura todas las dems naciones en la prensa de un botn, sin
que nadie morir o ser herido, y casi sin daos a la infraestructura o al medio ambiente .
Con tal superioridad tecnolgica casi mgico, un primer ataque sera mucho ms tentador.
O pensemos en un nivel an mayor de la superioridad tecnolgica que podra permitir que
el principal candidato para causar otras naciones para sentar voluntariamente las armas,
no por ellos amenazando con la destruccin sino simplemente convenciendo a una gran
mayora de sus poblaciones por medio de una publicidad muy efectiva diseada y
campaa de propaganda ensalzar las virtudes de la unidad global. Si esto se hace con la
intencin de beneficiar a todo el mundo, por ejemplo, mediante la sustitucin de las
rivalidades nacionales y carreras armamentistas con una feria, representante, y el
gobierno mundial eficaz, no est claro que no habra incluso una objecin moral
convincente para el aprovechamiento de un temporal ventaja estratgica en un singleton
permanente.
Por lo tanto varias consideraciones apuntan a un aumento de la probabilidad de que una
fuente de futuro con superinteligencia que obtuvo una suficientemente grande ventaja
estratgica en realidad lo utilizan para formar un conjunto unitario. La conveniencia de
este resultado depende, por supuesto, de la naturaleza del producto nico que se creara
y tambin en lo que el futuro de la vida inteligente se vera as en escenarios alternativos
multipolares. Vamos a volver a esas preguntas en captulos posteriores. Pero primero
vamos a echar un vistazo ms de cerca a qu y cmo una superinteligencia sera poderosa
y eficaz en el logro de resultados en el mundo.
CAPTULO 6
Superpotencias cognitivos
Supongamos que un agente superinteligente digitales entr en vigor, y que por alguna
razn quera tomar el control del mundo: Sera capaz de hacerlo? En este captulo
consideramos algunos poderes que un superinteligencia podra desarrollar y lo que puede
permitir que haga. Nos planteamos un escenario de toma de control que ilustra cmo un
agente superinteligente, comenzando como mera software, podra establecerse como un
producto nico. Tambin ofrecemos algunas observaciones sobre la relacin entre poder
sobre la naturaleza y el poder sobre otros agentes.
La razn principal de la posicin dominante de la humanidad en la Tierra es que nuestros
cerebros tienen un conjunto ligeramente ampliada de facultades en comparacin con
otros animales. 1 Nuestro mayor inteligencia nos permite transmitir la cultura de
manera ms eficiente, con el resultado de que el conocimiento y la tecnologa se acumula
de una generacin a la siguiente. Por ahora el contenido se ha acumulado suficiente para
hacer posible el vuelo espacial, bombas H, la ingeniera gentica, la informtica, las
granjas industriales, insecticidas, el movimiento internacional de paz, y todos los avos de
la civilizacin moderna. Los gelogos han comenzado a referirse a la poca actual como la
Antropoceno
en reconocimiento de la bitica distintivo, sedimentarias y firmas geoqumicas de
actividades.2 humana en una estimacin, nos apropiamos de 24% de produccin.3
primaria neta del ecosistema planetario Y sin embargo estamos muy lejos de haber
alcanzado los lmites fsicos de la tecnologa.
Estas observaciones hacen posible que cualquier tipo de entidad que desarroll una
mucho mayor que el nivel de la inteligencia humana sera potencialmente muy potente.
Dichas entidades podran acumularse contenido mucho ms rpido que nosotros e
inventar nuevas tecnologas en una escala de tiempo mucho ms corto. Tambin podran
usar su inteligencia para crear una estrategia ms eficaz que podemos.
Veamos algunas de las capacidades que un superinteligencia podra tener y cmo podra
utilizarlos. Funcionalidades y superpotencias
.
Un superinteligencia en toda regla sera sobresalir en gran medida en todas estas tareas y
que por lo tanto tienen toda la panoplia de las seis grandes potencias. Si existe la
posibilidad de la prctica significativa de una inteligencia dominio limitado que tiene
algunas de las superpotencias, pero sigue siendo incapaz por un perodo significativo de
tiempo para adquirir la totalidad de ellos no es clara. Creacin de una mquina con uno
cualquiera de estas potencias parece ser un problema AI-completo. Sin embargo, es
concebible que, por ejemplo, una superinteligencia colectiva que consiste en un nmero
suficientemente grande de mentes biolgicas o electrnicos de apariencia humana
tendra, por ejemplo, la superpotencia productividad econmica, pero carecen de la
superpotencia estrategias. Del mismo modo, es concebible que una ingeniera
especializada AI podra ser construida que tiene la investigacin superpotencia tecnologa
mientras que carecen por completo habilidades en otras reas. Esto es ms plausible si
existe algn dominio tecnolgico particular tal que virtuosismo dentro de ese dominio
sera suficiente para la generacin de una tecnologa de propsito general
abrumadoramente superior. Por ejemplo, uno podra imaginar una especializada AI
expertos en simulacin de sistemas moleculares y al inventar diseos nanomoleculares
que realizan una amplia gama de capacidades importantes (como computadoras o
sistemas de armas con caractersticas de rendimiento futuristas) descritos por el usuario
slo a un nivel bastante alto de abstraccin. 7 Tal AI tambin podra ser capaz de producir un plan detallado para
la forma de bootstrap de la tecnologa (como la biotecnologa y la ingeniera de protenas) existente a las capacidades necesarias para
constructor de alto rendimiento de fabricacin atmicamente precisa que permitiran la fabricacin barata de una gama mucho m s
amplia de structures.8 nanomecnica Sin embargo, podra llegar a ser el caso de que una ingeniera AI no poda realmente poseer la
superpotencia investigacin tecnolgica sin que tambin posee habilidades avanzadas en reas fuera de una tecnologa amplia g ama de
facultades intelectuales podra ser necesaria para comprender cmo interpretar las peticiones del usuario, la forma de modelar e l
comportamiento de un diseo en aplicaciones del mundo real, cmo hacer frente a los errores imprevistos y fallos de funcionam iento,
cmo adquirir los materiales e insumos necesarios para la construccin, y as forth.9
Tabla 8
Superpoderes: algunas tareas estratgicamente relevantes y habilidades correspondientes
Tarea Conjunto de
habilidades
Pertinencia estratgica
La amplificacin de Inteligencia Programacin de IA, la investigacin mejora
cognitiva, desarrollo de la epistemologa social, etc.
El sistema puede arrancar su inteligencia
Strategizing
La planificacin estratgica, la previsin, priorizacin y anlisis para la optimizacin
de las posibilidades de lograr la meta lejana
Lograr metas distantes
Superar la oposicin inteligente
Manipulacin Social
Modelado social y psicolgica, la manipulacin, la persuasin retrica Aprovechar
los recursos externos de contratacin de apoyo humano
Habilitar una "caja" AI para persuadir a sus guardianes que dejarlo salir Persuadir a
los Estados ya las organizaciones a adoptar algn curso de accin
Hackear
AI puede expropiar
Encontrar y explotar fallos de seguridad en los sistemas informticos
recursos computacionales a travs de Internet
Previsibilidad travs razones instrumentales convergentes. Incluso sin un conocimiento
detallado de los objetivos finales de un agente, que puede ser capaz de inferir algo acerca
de sus objetivos ms inmediatos considerando la instrumental razones que surgiran para
cualquiera de una amplia gama de posibles objetivos finales en una amplia gama de
situaciones. Este modo de prediccin se vuelve ms til cuanto mayor es la inteligencia del
agente, porque un agente ms inteligente es ms probable que reconocer las verdaderas
razones instrumentales por sus acciones, y as actuar de maneras que hacen que sea ms
probable que logre sus metas. (Una advertencia aqu es que puede haber importantes
razones instrumentales a las que nosotros son ajenos y que un agente se descubrira una
vez que llegue a algunos muy alto nivel de inteligencia que podra hacer que el
comportamiento de los agentes superinteligentes menos predecibles.) La siguiente
seccin explora esta tercera forma de previsibilidad y desarrolla una "tesis de la
convergencia instrumental" que complementa la tesis ortogonalidad. En este contexto
podemos entonces es mejor examinar los otros dos tipos de previsibilidad, lo que vamos a
hacer en los ltimos captulos donde nos preguntamos qu se podra hacer para dar forma
a una explosin de inteligencia para aumentar las posibilidades de un resultado
beneficioso.
Convergencia Instrumental
De acuerdo con la tesis de la ortogonalidad, agentes inteligentes pueden tener una
enorme gama de posibles objetivos finales. Sin embargo, de acuerdo a lo que podr amos
llamar la tesis de la "convergencia instrumental", hay algunos instrumental
metas que podran verse perseguidos por casi cualquier agente inteligente, porque hay
algunos objetivos que son intermediarios tiles a la consecucin de casi cualquier met a
final. Podemos formular esta tesis de la siguiente manera: La tesis de la convergencia
fundamental Varios valores instrumentales pueden ser identificados que son convergentes
en el sentido de que su consecucin aumentara las posibilidades de que el objetivo del
agente que se est realizado para una amplia gama de objetivos finales y una amplia
gama de situaciones, lo que implica que estos valores instrumentales son susceptibles de
ser perseguido por un amplio espectro de agentes inteligentes situados.
A continuacin vamos a considerar varias categoras donde se pueden encontrar estos
valores instrumentales convergentes. 8 La probabilidad de que un agente
reconocer los valores instrumentales que se enfrenta aumentos (ceteris paribus) Con la
inteligencia del agente. Por lo tanto, se centrar principalmente en el caso de un agente
superinteligente hipottica cuya instrumentales razonamiento capacidades muy superiores
a las de cualquier ser humano. Tambin vamos a comentar sobre cmo la tesis de la
convergencia fundamental se aplica al caso de los seres humanos, ya que esto nos da
ocasin para elaborar algunas calificaciones esenciales relativos a la forma en la tesis de la
convergencia fundamental debe ser interpretada y aplicada. Cuando existan valores
instrumentales convergentes, podemos ser capaces de predecir algunos aspectos de la
conducta de una superinteligencia, incluso si sabemos prcticamente nada acerca de las
metas finales de ese superinteligencia. Instinto de conservacin Si los objetivos finales de
un agente se refieren al futuro, entonces en muchos escenarios habr futuras acciones
que podra llevar a cabo para aumentar la probabilidad de alcanzar sus metas. Esto crea
una razn instrumental para el agente para tratar de estar cerca en el futuro para ayudar
a alcanzar su meta orientada hacia el futuro.
La mayora de los seres humanos parecen colocar algo final Valor por su propia
supervivencia. Esto no es una caracterstica necesaria de agentes artificiales: algunos
pueden ser diseados para colocar ningn valor final lo que sea por su propia
supervivencia. Sin embargo, muchos agentes que no se preocupan intrnsecamente por su
propia supervivencia que, bajo una gama bastante amplia de condiciones, el cuidado
instrumentalmente por su propia supervivencia, a fin de lograr sus objetivos finales.
Integridad gol contenido Si un agente conserva sus objetivos presentes en el futuro,
entonces sus objetivos actuales sern ms probable que se logre por su propio futuro. Esto
le da al agente una razn presente instrumento para prevenir alteraciones de sus objetivos
finales. (El argumento se aplica slo a los objetivos finales. Con el fin de alcanzar sus
objetivos finales, un agente inteligente, por supuesto, de forma rutinaria que desee
cambiar su submetas
a la luz de nueva informacin y conocimiento.)
Integridad Meta-contenido para los objetivos finales es en un sentido an ms
fundamental que la supervivencia como convergente motivacin instrumental. Entre los
humanos, lo contrario puede parecer para celebrar, pero eso se debe a que la
supervivencia es generalmente parte de nuestros objetivos finales. Para los agentes de
software, que puede cambiar fcilmente cuerpos o crear copias exactas de s mismos, la
preservacin de uno mismo como una aplicacin en particular o un objeto fsico
particular, no tiene por qu ser un importante valor instrumental. Agentes de software
avanzados tambin podran ser capaces de intercambiar recuerdos, habilidades de
descarga, y radicalmente modificar su arquitectura cognitiva y las personalidades. Una
poblacin de dichos agentes podra operar ms como una "sopa funcional" de una
sociedad compuesta por personas semipermanentes distintas. 9
Para algunos propsitos, los procesos en un sistema de este tipo podra ser mejo r
individualizada como hilos teleolgicas, Con base en sus valores, en lugar de sobre la base
de los cuerpos, personalidades, recuerdos, o habilidades. En estos escenarios, objetivos
continuidad podra decirse que constituir un aspecto clave de la supervivencia. Aun as,
hay situaciones en las que un agente puede cumplir mejor sus objetivos finales cambiando
intencionalmente. Tales situaciones pueden surgir cuando cualquiera de los siguientes
factores es significativo:
Sealizacin
Social
. Cuando otros pueden percibir los objetivos de un agente y utilizar esa informacin para
inferir disposiciones u otros atributos correlacionados instrumentalmente pertinentes,
puede ser de inters para el agente de modificar sus metas para hacer una impresin
favorable. Por ejemplo, un agente podra perderse de algunos acuerdos beneficiosos si los
socios potenciales no pueden confiar en que para cumplir con su parte del trato. Con el fin
de hacer compromisos crebles, un agente podra, por tanto, adoptar como objetivo final
el homenaje de sus compromisos anteriores (y permitir que otros para comprobar que se
ha adoptado de hecho esta meta). Los agentes que podran modificar de manera flexible y
transparente sus propias metas podran utilizar esta capacidad para hacer cu mplir
deals.10
Las preferencias sociales
. Otros tambin pueden tener preferencias finales sobre los objetivos de un agente.
Luego, el agente podra tener razn para modificar sus objetivos, ya sea para satisfacer o
frustrar esas preferencias. Preferencias relativas propio contenido gol
. Un agente podra tener algn objetivo final de que se trate con el propio contenido de la
meta del agente. Por ejemplo, el agente podra tener un objetivo final de convertirse en el
tipo de agente que est motivado por ciertos valores, ms que otros (como la compasin
en lugar de comodidad).
Los costes de almacenamiento
. Si el costo de almacenamiento o transformacin de una parte de la funcin de utilidad de
un agente es grande en comparacin con la posibilidad de que surja una situacin en que
la aplicacin de esa parte de la funcin de utilidad har una diferencia, entonces el agente
tiene una razn instrumental para simplificar su objetivo contenido, y puede destrozar la
parte que es idle.11
Nosotros los seres humanos a menudo parecemos felices de dejar que nuestros valores
finales a la deriva. Esto podra deberse a que a menudo no sabemos exactamente lo que
son. No es de extraar que queremos que nuestro creencias
acerca de nuestros valores finales para poder cambiar a la luz de continuar auto-
descubrimiento o cambios en las necesidades de auto-presentacin. Sin embargo, hay
casos en los que estamos dispuestos a cambiar los propios valores, no slo nuestras
creencias o interpretaciones de las mismas. Por ejemplo, alguien decida tener un hijo
podra predecir que van a entrar a valorar al nio por su propio bien, a pesar de que en el
momento de la decisin que pueden no valorar todo su futuro hijo o como nios en
general.
Los seres humanos son complicados, y muchos factores pueden estar en juego en una
situacin como esta. 12 Por ejemplo, uno podra tener un valor final que implica convertirse en el tipo de persona que se
preocupa por alguna otra persona para su propio bien, o uno podra tener un valor fina l que implica tener ciertas experiencias y
ocupando una determinada funcin social; y convirtindose en uno de los padres y de someterse a la meta operadora turnos podr a ser
un aspecto necesario de eso. Objetivos humanos tambin pueden tener un contenido incoherente, por lo que algunas personas podran
querer modificar algunas de sus objetivos finales para reducir las inconsistencias.
Mejora cognitiva
Mejoras en la racionalidad y la inteligencia tienden a mejorar la toma de decisiones
de un agente, lo que hace el agente ms probabilidades de alcanzar sus objetivos finales.
Se podra esperar por lo tanto mejora cognitiva emerja como un objetivo fundamental
para una amplia variedad de agentes inteligentes. Por razones similares, los agentes
tienden a valorar instrumentalmente muchos tipos de informacin.
13
Un agente menudo puede tener razones instrumentales para buscar una mejor
tecnologa, que en su forma ms simple significa la bsqueda de formas ms eficientes de
transformacin de un conjunto dado de insumos en productos valiosos. Por lo tanto, un
agente de software puede colocar un valor instrumental en algoritmos ms eficientes que
permiten a sus funciones mentales para correr ms rpido en el hardware determinado.
Del mismo modo, los agentes cuyos objetivos requieren alguna forma de construccin
fsica instrumentalmente podra valorar la mejora de la tecnologa de ingeniera que les
permite crear una gama ms amplia de las estructuras ms rpida y fiable, con menos o
ms baratos materiales y menos energa. Por supuesto, no es una solucin de
compromiso: los beneficios potenciales de una mejor tecnologa debe sopesarse frente a
sus costos, incluyendo no slo el costo de la obtencin de la tecnologa, sino tambin los
costos de aprender cmo usarlo, su integracin con otras tecnologas que ya estn en uso,
etcetera. Los defensores de una nueva tecnologa, confiados en su superioridad sobre las
alternativas existentes, son a menudo consternado cuando otras personas no comparten
su entusiasmo. Pero la resistencia de las personas a la tecnologa novedosa y
nominalmente superior no tiene por qu basarse en la ignorancia o la irracionalidad.
Valencia o normativo carcter de una tecnologa no slo depende del contexto en que se
despliega, sino tambin el punto de vista desde el cual se evalan sus impactos: qu es
una bendicin desde la perspectiva de una persona puede ser un pasivo de otro. As,
aunque los telares mecanizados aumentaron la eficiencia econmica de la produccin
textil, los tejedores manuales luditas quien anticip que la innovacin hara que sus
habilidades artesanales obsoletos pudo haber tenido buenas razones instrumentales para
oponerse a ella. El punto aqu es que si "la perfeccin tecnolgica" es el nombre de un
objetivo fundamental ampliamente convergente para agentes inteligentes, entonces el
trmino debe entenderse en un sentido-tecnologa especial debe ser interpretada como
incrustado en un contexto social determinado, y sus costos y beneficios debe evaluarse
con referencia a valores finales algunos agentes especificados.
Parece que un superinteligente semifallo
-un agente superinteligente que no se enfrenta a rivales inteligentes significativos o de la
oposicin, y por lo tanto en condiciones de determinar la poltica mundial
unilateralmente-tendra razn instrumental para perfeccionar las tecnologas que haran
ms capaces de moldear el mundo segn su designs.17 preferida Esto probablemente
incluir la tecnologa de la colonizacin del espacio, tales como sondas de von Neumann.
Nanotecnologa molecular, o alguna alternativa an la tecnologa de fabricacin fsica ms
capaz, tambin parece potencialmente muy til en el servicio de una gama muy amplia de
goals.18 definitiva Adquisicin de recursos
Sobre la base de estas observaciones puede ser tentador suponer que una
superinteligencia no frente a un mundo social competitiva vera ninguna razn
instrumental para acumular recursos ms all de un cierto nivel modesto, por ejemplo lo
que sea se necesitan recursos computacionales para ejecutar su mente junto con algo de
realidad virtual . Sin embargo, tal suposicin sera totalmente injustificada. En primer
lugar, el valor de los recursos depende de los usos a los que se pueden poner, que a su vez
depende de la tecnologa disponible. Con tecnologa madura, los recursos bsicos como el
tiempo, el espacio, la materia y la energa libre, podran ser procesados para servir casi
cualquier meta. Por ejemplo, este tipo de recursos bsicos se podran convertir en la vida.
El aumento de los recursos computacionales podran utilizarse para ejecutar la
superinteligencia a mayor velocidad y con una duracin ms larga, o para crear vidas y
civilizaciones fsicas o simuladas adicionales. Recursos fsicos adicionales tambin podran
utilizarse para crear sistemas de copia de seguridad o defensas perimetrales, mejorar la
seguridad. Tales proyectos podran fcilmente consumir mucho valor de ms de un planeta
de recursos.
CAPTULO 8
En este punto, cualquier resto de Cassandra tendra varias huelgas contra ella:
i Una historia de alarmistas que predicen un dao intolerable de las crecientes
capacidades de los sistemas robticos y ser demostrado en repetidas ocasiones mal. La
automatizacin ha trado muchos beneficios y se ha, en general, result ms seguro que el
funcionamiento humano.
ii Una clara tendencia emprica: el ms inteligente de la AI, ms seguro y ms confiable
que ha sido. Sin duda, este es un buen augurio para un proyecto destinado a la creacin
de la inteligencia artificial ms generalmente inteligente que cualquiera jams construido
antes, lo que es ms, la inteligencia artificial que puede mejorarse a s misma de manera
que se convertir en an ms confiable.
iii grande y creciente industrias con intereses creados en la robtica y la inteligencia
artificial. Estos campos son ampliamente vistos como clave para la competitividad de la
economa nacional y la seguridad militar. Muchos cientficos prestigiosos han construido
sus carreras sentando las bases para las actuales aplicaciones y los sistemas ms
avanzados estn planificadas. iv Una nueva tcnica prometedora en la inteligencia
artificial, que es tremendamente emocionante para aquellos que han participado en o
seguido la investigacin. Aunque los problemas de seguridad y la tica se debaten, el
resultado es condenada de antemano. Demasiado se ha invertido para tirar hacia atrs
ahora. Investigadores de la IA han estado trabajando para llegar a ia fuerte a nivel
humano para la mayor parte de un siglo: Claro
no hay posibilidad real de que se ahora de repente parar y tirar a la basura todo este
esfuerzo justo cuando por fin est a punto de dar sus frutos.
.
El giro traicionera -Mientras Dbil, una IA se comporta de forma cooperativa (cada vez
ms, ya que se vuelve ms inteligente). Cuando el AI consigue suficientemente fuerte, sin
advertencia o provocacin-golpea, forma un singleton, y comienza directamente para
optimizar el mundo de acuerdo con los criterios implcitos en sus valores finales.
A su vez traicionera puede ser resultado de una decisin estratgica para jugar
bien y ganar fuerza mientras dbil con el fin de huelga despus; pero este modelo no debe
interpretarse demasiado estrecha. Por ejemplo, una IA no puede jugar bien con el fin de
que
ella se les permita sobrevivir y prosperar. En cambio, la IA puede calcular que si se
termina, los programadores que lo construyeron desarrollarn un nuevo y algo diferente
arquitectura IA, pero uno que se le dar una funcin de utilidad similar. En este caso, la IA
original puede ser indiferente a su propia desaparicin, sabiendo que sus objetivos
seguirn siendo perseguido en el futuro. Incluso podra optar por una estrategia en la que
funciona mal de alguna manera particularmente interesante o tranquilizador. Aunque esto
podra causar la IA para ser terminado, sino que tambin podra alentar a los ingenieros
que realizan la autopsia para creer que se han recogido una nueva informacin valiosa
sobre la dinmica de IA-llevndolos a poner ms confianza en el prximo sistema de
disear, y por lo tanto el aumento de la posibilidad de que se alcanzarn los objetivos de AI
originales ya desaparecido. Muchas otras consideraciones estratgicas posibles tambin
podran influir en una IA avanzada, y sera arrogante suponer que podramos anticipar
todos ellos, en especial para una IA que ha alcanzado la superpotencia estrategias.
Pero hay otras maneras de defecto que podramos llamar "maligno" en que implican una
catstrofe existencial. Una de las caractersticas de un fallo maligna es que elimina la
oportunidad de intentarlo de nuevo. Por consiguiente, el nmero de fallos malignas que
se producirn es cero o uno. Otra de las caractersticas de un fallo ma ligna es que
presupone un gran xito: solamente un proyecto que tiene un gran nmero de cosas bien
podra tener xito en la construccin de una inteligencia artificial lo suficientemente
potente como para suponer un riesgo de fracaso maligno. Cuando una dbil mal
funcionamiento del sistema, las consecuencias son limitadas. Sin embargo, si un sistema
que tiene una ventaja estratgica decisiva porta mal, o si un sistema mal comportamiento
es lo suficientemente fuerte como para ganar una ventaja tal, el dao p uede fcilmente
equivale a una catstrofe existencial un terminal y destruccin global del potencial
axiolgico de la humanidad; es decir, un futuro que es en su mayora vaco de lo que
tenemos razones para valorar. Echemos un vistazo a algunos de los posibles modos
de fallo malignas.
Instanciacin Perverse
Tanto la observacin de que lo que se quiere que la IA a hacer "lo que queramos
decir" y la idea de que lo que se quiere dotar a la AI con algn tipo de sentido moral
merecemos seguir explorando. Los objetivos finales antes mencionadas dara lugar a
instancias perversos; pero puede haber otras formas de desarrollar las ideas subyacentes
que tienen ms promesa. Volveremos a esto en el captulo 13.
La idea detrs de esta propuesta es que si la IA est motivado para buscar la recompensa,
entonces se podra conseguir que se comporte de manera deseable mediante la
vinculacin de recompensa a la accin apropiada. La propuesta falla cuando la IA obtiene
una ventaja estratgica decisiva, momento en el que la accin que maximiza la
recompensa ya no es el que agrada al entrenador pero que implica tomar el control del
mecanismo de recompensa. Podemos llamar a este fenmeno wireheading
0.5 En general, mientras que un animal o un ser humano pueden ser motivados para
realizar diversas acciones exteriores a fin de lograr un estado mental interna deseada, una
mente digital que tiene el control total de su estado interno puede un rgimen de
cortocircuito tal motivacin por directamente cambiar su estado interno en la
configuracin deseada: las acciones y las condiciones externas que antes eran necesarios
como medios se convierten en superfluo cuando la IA se vuelve inteligente y lo
suficientemente capaces de alcanzar el final de forma ms directa (ms sobre esto en
breve) 0,6
Estos ejemplos de creacin de instancias perversa mostrar que muchas metas finales que
podra parecer a primera vista su vez segura y sensata a cabo, en una inspeccin ms
cercana, que tienen consecuencias radicalmente no deseadas. Si una superinteligencia con
uno de estos objetivos finales obtiene una ventaja estratgica decisiva, es ms de juego
para la humanidad.
Supongamos ahora que alguien propone una meta final diferente, no incluido en nuestra
lista anterior. Tal vez no es inmediatamente obvio cmo podra tener una ejemplificacin
perversa. Pero no hay que ser demasiado rpido a aplaudir nuestras manos y declarar la
victoria. Ms bien, debemos preocuparnos de que la especificacin de meta tiene algo de
perverso de instancias y que tenemos que pensar ms con el fin de encontrarlo. Incluso si
despus de pensar tan duro como podemos nosotros dejar de descubrir alguna manera de
crear instancias perversamente la meta propuesta, debemos permanecer preocupa que
tal vez una superinteligencia encontrar una manera donde no es evidente para nosotros.
Es, despus de todo, mucho ms astuto de lo que somos.
Profusin Infraestructura
Uno podra pensar que el ltimo de la citada instanciaciones perversos, cableado cerebral,
es un modo de fallo benigna: que la IA podra "encender, sintonizar, aband ono," gasto
excesivo con su seal de recompensa y la prdida de inters por el mundo exterior, ms
bien como un adicto a la herona. Pero esto no es necesariamente as, y ya dio a entender
en la causa en el Captulo 7. Incluso un drogadicto es motivado a tomar medidas para
garantizar un suministro continuo de su droga. El wireheaded AI, del mismo modo, se
motiv a tomar acciones para maximizar la expectativa de su futuro flujo de recompensa
(tiempo de descuento). Dependiendo de exactamente cmo se define la seal de
recompensa, la IA no puede incluso necesitar a sacrificar cualquier cantidad significativa
de su tiempo, la inteligencia, o la productividad de disfrutar su antojo al mximo, dejando
la mayor parte de sus capacidades libres para ser desplegados para fines distintos que la
inscripcin inmediata de recompensa. Qu otros propsitos? La nica cosa de valor final
a la IA, por supuesto, es su seal de recompensa. Por tanto, todos los recursos disponibles
deben dedicarse a aumentar el volumen y la duracin de la seal de recompensa o de
reducir el riesgo de una interrupcin futuro. En tanto que la IA puede pensar en un cierto
uso de recursos adicionales que tendr un efecto positivo distinto de cero en estos
parmetros, tendr una razn instrumental a utilizar esos recursos. Podra, por ejemplo,
siempre ser el uso de un sistema de copia de seguridad adicional para proporcionar una
capa adicional de defensa. E incluso si la IA no se le ocurra ninguna manera adicional de
reducir directamente los riesgos a la maximizacin de su futuro flujo de recompensa,
siempre podra dedicar recursos adicionales para la ampliacin de su hardware
computacional, por lo que podra buscar de manera ms efectiva para las nuevas ideas de
mitigacin de riesgos.
El resultado es que incluso una meta aparentemente autolimitado, tales como cableado
cerebral, implica una poltica de expansin ilimitada y adquisicin de recursos en un
agente que maximiza la utilidad que goza de una ventaja estratgica decisiva. 7
Este caso de un cableado cerebral AI ejemplifica el modo de fallo maligna de
profusin de infraestructura
, Un fenmeno en el que un agente transforma grandes partes del universo accesible en la
infraestructura al servicio de un objetivo, con el efecto secundario de impedi r la
realizacin del potencial axiolgico de la humanidad.
Profusin Infraestructura puede ser resultado de objetivos finales que habran sido
perfectamente inocua si se hubieran ejercido como objetivos limitados. Considere los dos
ejemplos siguientes:
Riemann hiptesis de catstrofe
. Una IA, dado el objetivo final de la evaluacin de la hiptesis de Riemann, persigue este
objetivo mediante la transformacin del Sistema Solar en "computronium" (recursos
fsicos dispuestos de manera que se optimiza para el clculo) -incluyendo los tomos en el
cuerpo de quien una vez se preocupaba por el answer.8
Paperclip AI
. Una IA, diseado para gestionar la produccin en una fbrica, se le da el objetivo final de
maximizar la produccin de clips, y procede al convertir primero la tierra y luego cada vez
ms grandes trozos de universo observable en clips.
En el primer ejemplo, la prueba o refutacin de la hiptesis de Riemann que produce la IA
es el resultado esperado y es en s misma inofensiva; el dao proviene de la
infraestructura de hardware y creado para lograr este resultado. En el segundo ejemplo,
algunos de los clips producidos sera parte de los resultados previstos; el dao vendra
bien desde las fbricas creadas para producir el clips (profusin in fraestructura) o del
exceso de clips (instanciacin perversa).
Uno podra pensar que el riesgo de un fracaso profusin infraestructura maligno surge
slo si la IA se ha dado algn objetivo final claramente abierto, como para fabricar tantos
clips como sea posible. Es fcil ver cmo esto da la superinteligente AI un apetito
insaciable por la materia y la energa, ya que los recursos adicionales siempre pueden
convertirse en ms clips. Pero supongamos que el objetivo es lugar para hacer al menos
un milln de clips (reuniones especificaciones de diseo adecuados) en lugar de hacer el
mayor nmero posible. A uno le gustara pensar que una IA con tal objetivo sera construir
una fbrica, lo utilizan para hacer un milln de clips, y luego detenerse. Sin embargo, esto
A menos que el sistema de motivacin de la IA es de un tipo especial, o hay
puede no ser lo que sucedera.
elementos adicionales en su objetivo final que penalizan estrategias que han excesivamente impactos en el mundo de amplio alc ance,
no hay ninguna razn para que la IA a cesar la actividad en la consecucin de su objetivo. Por el contrario: si la IA es un agente
bayesiano sensible,
Ahora se podra sugerir que el remedio aqu es obvia. (Pero, cmo era obvio que
antes
Tambin puede haber otras razones instrumentales, aparte de los epistmicos, para una
superinteligencia mquina para ejecutar clculos que instancian mentes sensibles o que
las normas morales de lo contrario infarto de. Un superinteligencia podra amenazar con
maltratar, o comprometerse a recompensar, simulaciones sensibles para chantajear o
incentivar a diversos agentes externos; o puede crear simulaciones con el fin de inducir a
la incertidumbre indicial de los observadores externos. 10
Este segundo problema de agencia plantea un desafo sin precedentes. Resolver requerir
nuevas tcnicas. Ya hemos considerado algunas de las dificultades que entraa. Vimos, en
particular, que el sndrome vez traicionera vicia lo que de otro modo podran haber
parecido un conjunto prometedor de los mtodos, los que se basan en la observacin de
la conducta de una IA en su fase de desarrollo y permitir que la AI para graduarse de un
entorno seguro, una vez que se ha acumulado un historial de tomar las acciones
apropiadas. Otras tecnologas a menudo pueden estar en el laboratorio o en estudios de
campo pequeas, y luego lanzado gradualmente con la posibilidad de detener el
despliegue si surgen problemas inesperados de seguridad comprobada. Su rendimiento en
los ensayos preliminares nos ayuda a hacer inferencias razonables sobre su futuro
fiabilidad. Tales mtodos conductuales son derrotados en el caso de superinteligencia
debido a la capacidad de planificacin estratgica de la inteligencia general.
3
Dado que el enfoque conductual es intil, hay que buscar alternativas. Podemos dividir los
mtodos de control posibles en dos grandes clases: mtodos de control de la
capacidad
Otro problema con el sistema de incentivos es que presupone que podemos decir
si los resultados producidos por la IA son de nuestro inters. Como captulos posteriores
elaborarn, este presupuesto no es inocuo. Una evaluacin completa de la viabilidad de
los mtodos de incentivos tambin tendra que tener en cuenta una serie de otros
factores, incluyendo algunas consideraciones esotricas que podran concebiblemente
hacer tales mtodos ms viable que un anlisis preliminar sugiere. En particular, la IA
puede enfrentar la incertidumbre indicial ineliminable si no poda estar seguro de que no
habitan en una simulacin por ordenador (en lugar de "a nivel de stano," la realidad
fsica no simulado), y esta situacin epistmica puede influir radicalmente la IA de
deliberaciones (vase el recuadro 8).
Recuadro 8 captura Antrpico La IA puede asignar una probabilidad sustancial a su
hiptesis de la simulacin, la hiptesis de que se est viviendo en una simulacin por
ordenador. Incluso hoy en da, muchas IAs simulan mundos habitan mundos consistentes
en dibujos geomtricos de lneas, textos, juegos de ajedrez, o realidades virtuales simples,
y en el que las leyes de la fsica se apartan claramente de las leyes de la fsica que creemos
que gobiernan el mundo de nuestra propia experiencia . Mundos virtuales ms ricos y ms
complicados sern factible con mejoras en las tcnicas de programacin y poder de
cmputo. Un superinteligencia madura podra crear mundos virtuales que aparecen a sus
habitantes lo mismo que nuestro mundo se nos aparece. Se podra crear un gran nmero
de tales mundos, corriendo la misma simulacin muchas veces o con pequeas
variaciones. Los habitantes no seran necesariamente capaz de decir si su mundo se simula
o no; pero si son inteligentes lo suficiente podran considerar la posibilidad y asignarle
alguna probabilidad. A la luz del argumento de la simulacin (una discusin completa de la
que est ms all del alcance de este libro) que la probabilidad podra ser sustancial.14
Esta situacin afecta especialmente relativamente superinteligencias en fase
inicial, los que todava no se han ampliado para aprovechar la dotacin csmica. Un
superinteligencia en estadio temprano, que utiliza slo una pequea fraccin de los
recursos de un nico planeta, sera mucho menos caro para simular que una
superinteligencia intergalctico maduro. Simuladores de ese potencial es, otras
civilizaciones seran ms maduros sean capaces de ejecutar un gran nmero de
simulaciones de tales etapas iniciales IA aun dedicando una fraccin minutos de sus
recursos computacionales para tal fin. Si al menos algunos (fraccin no trivial) de estas
civilizaciones superinteligentes maduras eligen usar esta habilidad, in hibidores de la
aromatasa en fase inicial deben asignar una probabilidad sustancial para estar en una
simulacin. Cmo un AI se vera afectada por la hiptesis de la simulacin depende de sus
valores.
15 Consideremos en primer lugar una IA que tiene un objetivo final "recursos
insaciable", como el objetivo de maximizar una funcin de utilidad que es lineal en el
nmero de clips causados por la IA de existir-doble de clips, dos veces bueno. Tal AI podra
cuidar menos sobre la hiptesis de la simulacin, el argumento de que su capacidad para
influir en el nmero de clips producidos parece mucho ms limitada si la IA se encuentra
en una simulacin que si es en la realidad fsica a nivel de stano. La IA podra
comportarse en consecuencia mucho ms como si fuera cierto que la hiptesis de la
simulacin es falso, aunque le asigna una probabilidad bastante alta a la hiptesis de
simulacin siendo true.16 La IA podra razonar que no importa mucho cmo acta si la
hiptesis de simulacin es verdadera, mientras que sus acciones hacen una gran
diferencia si la hiptesis es falsa; por lo que sera seleccionar acciones principalmente por
referencia a lo buenos que estn condicionados a la hiptesis de la simulacin de ser falsa.
Por el contrario, considere una IA que tiene un objetivo final ms modesto, una que
podra ser satisfecha con una pequea cantidad de recursos, tales como el objetivo de
recibir algunas fichas de recompensa criptogrficos pre-producido, o el objetivo de
provocar la existencia de cuarenta cinco clips virtuales. Tal AI debe
no descontar esos mundos posibles en los que habita una simulacin. Una parte
sustancial de la utilidad esperada total de la AI puede derivar de los mundos posibles. La
toma de decisiones de una IA con metas que son fcilmente de recursos-satiable puede,
por lo tanto, si se asigna una alta probabilidad a la simulacin de hiptesis estar dominada
por consideraciones acerca de qu acciones se producen el mejor resultado si su mundo
percibido es una simulacin. Tal AI (incluso si lo es, de hecho, no en una simulacin)
podra por lo tanto ser fuertemente influenciado por sus creencias acerca de qu
comportamientos seran recompensados en una simulacin. En particular, si una IA con
objetivos finales-insaciable de recursos considera que en la mayora de los mundos
simulados que coinciden con sus observaciones que ser recompensado si coopera (pero
no si intenta escapar de su caja o contravenir los intereses de su creador), entonces puede
elegir a cooperar. Por lo tanto, hemos encontrado que incluso una IA con una ventaja
estratgica decisiva, que podra de hecho darse cuenta de sus objetivos finales en mayor
medida al hacerse cargo del mundo que al abstenerse de hacerlo, sera, sin embargo, se
resisten a hacerlo. Por lo tanto la conciencia hace cobardes de todos nosotros, Y as el
matiz nativo de la Resolucin
Se sicklied el o'er, con el elenco plida del Pensamiento, Y las empresas de gran
mdula y momento,
Con este sentido sus corrientes se alejan, Y perder el nombre de Accin.
(Shakespeare, Aldea, Acto III. Sc. 1)
Una simple lnea en la arena, respaldado por la influencia de un simulador que no
existe, podra resultar una restriccin ms fuerte que una puerta de acero slido de dos
pies de espesor.
Al final, sin embargo, uno est calculando las ventajas y desventajas de aumento, la
opcin de decidir si confiar en que podra ser forzado. Si superinteligencia se logra
primero a lo largo de la ruta de la inteligencia artificial, el aumento no es aplicable. Por el
contrario, si superinteligencia se logra primero a lo largo de algn camino no AI, entonces
muchos de los otros mtodos de seleccin de la motivacin son inaplicables. Aun as, las
opiniones sobre qu tan probable sera el aumento de xito no tienen relevancia
estratgica en la medida en que tenemos la oportunidad de influir en la que la tecnologa
se producir primero superinteligencia. Sinopsis Una sinopsis rpida podra ser
llamado para antes de cerrar este captulo. Distinguimos dos grandes clases de mtodos
para tratar con el problema de agencia en el corazn de la seguridad AI: control de la
capacidad y la seleccin de la motivacin. Tabla 10 da un resumen.
Tabla 10 Mtodos de control
Capacidad de control
Mtodos de boxeo
El sistema est confinado de una manera tal que puede afectar el mundo exterior slo a
travs de algn canal restringido, pre-aprobado. Abarca los mtodos de contencin fsica y
de informacin. Mtodos de incentivos
El sistema se coloca dentro de un ambiente que ofrece incentivos apropiados. Esto podra
implicar la integracin social en un mundo de entidades igualmente poderosos. Otra
variacin es el uso de fichas (criptogrfico) de recompensa. "Capturar Antrpico" tambin
es una posibilidad muy importante pero que implica consideraciones esotricas. El
retraso del crecimiento
Las restricciones se imponen en las capacidades cognitivas del sistema o la capacidad de
afectar los procesos internos clave. Cables trampa Las pruebas de diagnstico se realizan
en el sistema (posiblemente sin su conocimiento) y un mecanismo apaga el sistema si se
detecta actividad peligrosa.
Seleccin Motivacin Especificacin directa
El sistema est dotado de algn sistema de motivacin especificado directamente, lo que
podra ser consecuencialista o involucrar a seguir una serie de reglas. Domesticidad
Un sistema de motivacin est diseado para limitar seriamente el alcance de las
ambiciones y las actividades del agente.
Normatividad indirecta Normatividad indirecta podra implicar basado en reglas o
principios consecuencialistas, pero se distingue por su dependencia de un enfoque
indirecto de especificar las reglas que ha de seguir o los valores que han de ser perseguido.
Aumento
Si estos fueron los nicos factores pertinentes, el orden de preferencia que parece claro:
un orculo sera ms seguro que un genio, lo que sera ms seguro que un soberano; y las
diferencias iniciales en la conveniencia y la velocidad de operacin seran relativamente
pequea y fcilmente dominado por los logros en materia de seguridad que se pueden
obtener mediante la construccin de un orculo. Sin embargo, hay otros factores que
deben tenerse en cuenta. Al elegir entre las castas, se debe considerar no slo el peligro
que representa el sistema en s, sino tambin los peligros que surgen de la forma en que
podra ser utilizado. Un genio de la mayora, obviamente, le da a la persona que lo
controla un enorme poder, pero lo mismo vale para un orculo. 9 Un soberano, por el
contrario, podra ser construido de tal forma que se conceder ninguna persona o grupo
de cualquier influencia especial sobre el resultado, y de tal manera que se resistira a
cualquier intento de corromper o alterar su agenda original. Es ms, si la motivacin de un
soberano se define utilizando "normatividad indirecta" (un concepto que se describe en el
Captulo 13), entonces podra ser utilizado para lograr algn resultado en abstracto
definido, como "todo lo que es mximamente justo y moralmente correcto" -sin que nadie
sepa de antemano qu es exactamente lo que esto implica. Esto creara una situacin
anloga a la de Rawls "velo de la ignorancia." 10 una configuracin de este tipo podra
facilitar la consecucin de un consenso, ayudar a prevenir los conflictos y promover un
resultado ms equitativo.
Otro punto, que cuenta contra algunos tipos de orculos y genios, es que hay riesgos
involucrados en el diseo de una superinteligencia tener un objetivo final que no coincide
plenamente los resultados que en ltima instancia, buscamos alcanzar. Por ejemplo, si
usamos una motivacin domesticidad para hacer la superinteligencia queremos minimizar
algunos de sus impactos en el mundo, puede ser que de esta manera crear un sistema
cuya clasificacin sobre los posibles resultados preferencia difiere de la del patrocinador.
Lo mismo suceder si construimos la IA para colocar un alto valor peculiar de responder a
las preguntas correctamente, o fielmente obedecer comandos individuales. Ahora bien, si
se tiene cuidado, esto no debera causar ningn problema: no sera suficiente acuerdo
entre las dos posiciones, al menos en la medida en que pertenecen a mundos posibles que
tienen una oportunidad razonable de ser actualizado, que los resultados que son buenas
por estndar de la AI tambin son buenos por la norma del director. Pero tal vez se podra
argumentar para el principio de diseo que no es prudente introducir incluso una cantidad
limitada de la falta de armona entre las metas y los nuestros de la AI. (La misma
preocupacin sera por supuesto aplicar a dar soberanos metas que no armonizan
completamente con la nuestra.) Herramienta-IA Una sugerencia que se ha hecho es
que construimos la superinteligencia ser como una herramienta en lugar de un agente.
11 Esta idea parece surgir de la observacin de que el software ordinario, que se
utiliza en innumerables aplicaciones, no plantea problemas de seguridad ni siquiera
remotamente similar a los desafos que se tratan en este libro. Podra uno no crear
"herramienta-AI" que es como tal un sistema de control de vuelo de software-como, por
ejemplo, o un asistente a slo virtual ms flexible y capaz? Por qu construir una
superinteligencia que tiene una voluntad propia? En esta lnea de pensamiento, el
paradigma agente es fundamentalmente errnea. En lugar de crear una IA que tiene
creencias y deseos y que acta como una persona jurdica, debemos tratar de construir
software regular que simplemente hace lo que est programado para hacer. Esta idea de
la creacin de software que "simplemente hace lo que est programado pa ra hacer" es,
sin embargo, no es tan sencillo si el producto que se est creando es una poderosa
inteligencia general. Hay, por supuesto, un sentido trivial en el que todo el software
simplemente no lo que est programado para hacer: el comportamiento se especifica
matemticamente por el cdigo. Pero esto es igualmente cierto para todas las castas de la
inteligencia artificial, "herramienta-AI" o no. Si, en cambio, "simplemente haciendo lo que
est programado para hacer" significa que el software se comporta como los
programadores
destinado a , Entonces esta es una norma que el software ordinario muy a menudo no
cumple. Debido a las capacidades limitadas de software contempornea (en comparacin
con los de la mquina superinteligencia) las consecuencias de tales fracasos son
manejables, que van desde insignificantes hasta muy costoso, pero en ningn caso
asciende a una amenaza existencial.12 Sin embargo, si se trata de capacidad insuficiente
en lugar de la suficiente fiabilidad que hace que el software ordin ario existencialmente
seguro, entonces no est claro cmo este tipo de software podra ser un modelo para una
superinteligencia seguro. Podra pensarse que al ampliar la gama de tareas realizadas por
el software de ordinario, se podra eliminar la necesidad de la inteligencia general
artificial. Sin embargo, el alcance y la diversidad de tareas que una inteligencia general
podra realizar de manera rentable en una economa moderna es enorme. Sera inviable
para crear software de propsito especial para manejar todas esas tareas. Incluso si se
pudiera hacer, tal proyecto tendra un
largo tiempo para llevar a cabo. Antes de que pudiera completarse, la naturaleza de
algunas de las tareas habra cambiado, y las nuevas tareas se habra convertido en
relevante. Habra gran ventaja de contar con un software que puede aprender por s solo
para hacer nuevas tareas, y de hecho para descubrir nuevas tareas que necesitan hacer.
Pero esto requerira que el software sea capaz de aprender, razonar y planificar, y hacerlo
de una manera potente y robusta entre dominios. En otras palabras, se requerira
inteligencia general. Especialmente relevante para nuestros propsitos es la tarea de
desarrollo de software en s. Habra enormes ventajas prcticas a ser capaz de
automatizar este. Sin embargo, la capacidad de auto-mejora rpida es slo la propiedad
crtica que permite una semilla AI para detonar una explosin de inteligencia.
Si la inteligencia general no es prescindible, hay alguna otra manera de
interpretar la idea herramienta de AI a fin de preservar la calidad tranquilizador pasiva de
una herramienta rutinaria? Se podra tener una inteligencia general que no es un agente?
Intuitivamente, no es slo la capacidad limitada de software comn que hace que sea
seguro, sino que tambin es su falta de ambicin. No hay subrutina en Excel que
secretamente quiere dominar el mundo si slo fuera lo suficientemente inteligente como
para encontrar un camino. La aplicacin de hoja de clculo no se "quieren" nada en
absoluto; lleva ciegamente las instrucciones del programa. Lo que (uno podra
preguntarse) se encuentra en el camino de la creacin de una aplicacin ms general
inteligente del mismo tipo? Un orculo, por ejemplo, que, cuando se le solicite con una
descripcin de una meta, respondera con un plan para lograrlo, de la misma forma en
que Excel responde a una columna de nmeros mediante el clculo de una suma sin
expresar as cualquier "preferencias" en cuanto a su salida o de cmo los seres humanos
podran optar por usarlo? La forma clsica de escritura de software requiere que el
programador para entender la tarea a realizar con suficiente detalle para formular un
proceso de solucin explcita que consiste en una secuencia de etapas bien definidas
matemticamente expresable en el cdigo.
13 (En la prctica, los ingenieros de software confan en las bibliotecas de cdigo
surtida con los comportamientos tiles, que pueden invocar sin necesidad de entender
cmo se implementan los comportamientos. Pero ese cdigo fue creado origin almente
por programadores que tenan un conocimiento detallado de lo que estaban haciendo.)
Este enfoque funciona para resolver tareas bien entendidos, y es al crdito para la
mayora del software que est actualmente en uso. Se est a la altura, sin embargo,
cuando nadie sabe con precisin la forma de resolver todas las tareas que deben llevarse a
cabo. Aqu es donde las tcnicas del campo de la inteligencia artificial se vuelven
relevantes. En aplicaciones estrechas, aprendizaje automtico puede ser utili zado
simplemente para ajustar algunos parmetros en un programa diseado en gran medida
humana. Un filtro de correo no deseado, por ejemplo, podra ser entrenado en un corpus
de mensajes de correo electrnico clasifican a mano en un proceso que cambia los pesos
que los lugares de algoritmos de clasificacin en diversas funciones de diagnstico. En una
aplicacin ms ambicioso, el clasificador puede ser construido para que pueda descubrir
nuevas funciones en su propia y poner a prueba su validez en un entorn o cambiante. Un
filtro de correo no deseado incluso ms sofisticado podra estar dotado de cierta
capacidad para razonar acerca de las ventajas y desventajas que se enfrenta el usuario o
sobre los contenidos de los mensajes que est clasificando. En ningun o de estos casos se
hace necesario que el programador saber la mejor manera de distinguir el spam de jamn,
solamente cmo configurar un algoritmo que puede mejorar su propio desempeo a
travs del aprendizaje, el descubrimiento o el razonamiento.
Con los avances en inteligencia artificial, que sera posible para el programador
para descargar ms del trabajo cognitivo necesario para encontrar la manera de realizar
una tarea determinada. En un caso extremo, el programador simplemente especificar un
criterio formal de lo que cuenta como xito y dejar en manos de la IA para encontrar una
solucin. Para guiar su bsqueda, el AI utilizara un conjunto de heursticas poderosos y
otros mtodos para descubrir la estructura en el espacio de posibles soluciones. Sera
seguir buscando hasta que encontr una solucin que satisface el criterio de xito. El AI
sera entonces o bien aplicar la solucin en s misma o (en el caso de un orculo) reportar
la solucin para el usuario.
Formas rudimentarias de este enfoque son bastante ampliamente desplegados
hoy. Sin embargo, el software que utiliza tcnicas de IA y de aprendizaje automtico,
aunque tiene cierta capacidad para encontrar soluciones que los programadores no
haban anticipado, funciones para todos los propsitos prcticos, como una herramienta y
no supone ningn riesgo existencial. Queremos entrar en la zona de peligro slo cuando
los mtodos utilizados en la bsqueda de soluciones se vuelven extremadamente potente
y general: es decir, cuando empiezan a ascender a general de inteligencia y sobre todo
cuando empiezan a ascender a superinteligencia. Hay (al menos) dos lugares donde podra
entonces surgir problemas. En primer lugar, el proceso de bsqueda superinteligente
podra encontrar una solucin que no slo es inesperado pero radicalmente involuntaria.
Esto podra conducir a un fallo de uno de los tipos discutidos anteriormente
("instanciacin perversa", "profusin infraestructura" o "crimen mente"). Es ms evidente
cmo esto podra suceder en el caso de un soberano o un genio, que implementa
directamente la solucin que ha encontrado. Si hace caras sonrientes moleculares o
transformar el planeta en clips es la primera idea que los descubre superinteligencia que
cumple el criterio solucin, entonces Smiley Faces o clips que obtenemos.14 Pero incluso
un orculo, que-si todo lo dems va bien-mero
informes la solucin, podra convertirse en una causa de la creacin de instancias
perversa. El usuario solicita el orculo de un plan para lograr un determinado resultad o, o
para una tecnologa para servir a una funcin determinada; y cuando el usuario sigue el
plan o construye la tecnologa, la creacin de instancias perversa puede sobrevenir, como
si la AI haba implementado la solucin itself.15
Puede ser til resumir las caractersticas de las diferentes castas del sistema que hemos
discutido (Cuadro 11). Tabla 11
Caractersticas de las diferentes castas del sistema
7 Naturaleza podra ser una gran experimentalista, pero uno que nunca pasar el
examen con una revisin tica tablero-contravenir la Declaracin de Helsinki y todas las
normas de la decencia moral, izquierda, derecha y centro. Es importante que no
replicamos gratuitamente tales horrores
Los detalles de cmo no se conocen bien este mecanismo obras. En los seres
humanos, el mecanismo es probablemente compleja y heterognea. Es ms fcil de
entender el fenmeno si tenemos en cuenta que en una forma ms rudimentaria, como
impronta filial en aves nidifugous, donde el pollito recin nacidos adquiere un deseo de
proximidad fsica a un objeto que presenta un estmulo en movimiento adecuado en el
primer da despus la eclosin. Qu objeto particular la chica quiere estar cerca depende
de su experiencia; solamente la disposicin general para imprimir de esta manera est
determinada genticamente. Anlogamente, Harry podra colocar un valor final en el
bienestar de Sally; pero tena el twain nunca conoci, podra haber cado en el amor con
otra persona en su lugar, y sus valores finales habra sido diferente. La capacidad de
nuestros genes para codificar para la construccin de un mecanismo objetivo de
adquisicin explica cmo llegamos a tener objetivos finales de gran complejidad
informativa, mayores que podra estar contenida en el propio genoma.
Esto no es necesariamente una mala cosa, pero el cuidado tendra que ser tomado para
hacer el sellado en marcha del sistema de objetivo se producen en el momento justo,
despus
Otro enfoque del problema de valor de carga es lo que podemos hacer referencia a
los andamios como motivacin. Se trata de dar la semilla AI un sistema objetivo
provisional, con los objetivos finales relativamente simples que podemos representar por
medio de la codificacin explcita o algn otro mtodo factible. Una vez que la AI ha
desarrollado ms sofisticados facultades de representacin, reemplazamos este sistema
objetivo andamio provisional con uno que tiene diferentes objetivos finales. Este sistema
objetivo sucesor entonces rige la AI, ya que se desarrolla en una superinteligencia en toda
regla. Debido a que los objetivos de andamios no son slo instrumentales, sino
en la que los programadores pueden inscribir cualquier estructura que consideren til.
Este inconveniente podra dar la vuelta a un lado positivo si se lograron dar las semillas AI
metas de andamios que hicieron quieran desarrollar una arquitectura de utilidad para los
programadores en sus esfuerzos posteriores para instalar los valores finales finales. Sin
embargo, no est claro lo fcil que sera dar una semilla AI metas de andamio con esta
propiedad, y tampoco est claro cmo incluso una semilla muy bien motivado AI sera
capaz de hacer un trabajo mucho mejor que el equipo de programacin humana en el
desarrollo de un buena arquitectura. Aprendizaje Valor
aprender los valores que quieren que perseguir. Para ello, debemos proporcionar un
criterio para la IA que recoge al menos implcitamente a cabo un conjunto adecuado de
valores. Podramos entonces construir el AI para actuar de acuerdo a sus mejores
estimaciones de estos valores implcitamente definidos. Sera perfeccionar continuamente
sus estimaciones, ya que aprende ms sobre el mundo y poco a poco descomprime las
implicaciones del criterio del valor determinante. En contraste con el enfoque de los
andamios, que da a la AI una meta andamio provisional y ms tarde lo reemplaza con un
objetivo final diferente, el enfoque de aprendizaje valor conserva un objetivo final que no
cambia a lo largo de las fases de desarrollo y funcionamiento de la AI. El apren dizaje no
cambia el objetivo. Cambia slo las creencias de la AI sobre la meta.
La AI por lo tanto debe estar dotada de un criterio que puede utilizar para
determinar qu percepciones constituyen evidencia a favor de algunas hiptesis sobre lo
que el objetivo final es y que percepciones constituyen evidencia en contra. Especificacin
de un criterio adecuado podra ser difcil. Parte de la dificultad, sin embargo, se refiere al
problema de la creacin de la inteligencia general artificial, en primer lugar, que requiere
un mecanismo de aprendizaje poderosa que puede descubrir la estructura del medio
ambiente de entradas sensoriales limitados. Ese problema que puede dejar de lado aqu.
Pero incluso modulo una solucin a cmo crear superinteligente AI, persisten las
dificultades que se presentan especficamente del problema de valor de carga. Con el
enfoque de aprendizaje de valor, estos toman la forma de la necesidad de definir un
criterio que conecta bitstrings perceptivos a las hiptesis sobre los valores. Antes de
ahondar en los detalles de cmo se podra implementar el aprendizaje de valor, que
podra ser til para ilustrar la idea general con un ejemplo. Supongamos que escribimos
una descripcin de un conjunto de valores en una hoja de papel. Doblamos el papel y lo
puso en un sobre cerrado. Luego creamos un agente con la inteligencia general a nivel
humano, y le damos el siguiente objetivo final: "Maximizar la realizacin de los valores
descritos en el sobre." Qu va a hacer este agente?
El agente no sabe inicialmente lo que est escrito en el sobre. Pero puede formar
hiptesis, y se puede asignar esas probabilidades hiptesis sobre la base de sus priores y
los datos empricos disponibles. Por ejemplo, el agente podra haber encontrado otros
ejemplos de textos humanos-autor, o podra haber observado algunos patrones generales
de comportamiento humano. Esto permitira a hacer conjeturas. Uno no necesita un ttulo
en psicologa para predecir que la nota es ms probable que describa un valor como
"minimizar la injusticia y el sufrimiento innecesario" o "maximizar la rentabilidad para los
accionistas" de un valor como "cubre todos los lagos con bolsas de plstico. "
Cuando el agente toma una decisin, se busca realizar acciones que seran eficaces
en la consecucin de los valores de los que considera que son los ms propensos a ser
descrito en la carta. Es importante destacar que el agente vera un alto valor instrumental
en aprender ms acerca de lo que dice la carta. La razn es que para casi cualquier va lor
final que pueda ser descrito en la carta, que el valor es ms probable que se dio cuenta de
si el agente se entera de lo que es, ya que el agente se perseguir ese valor con mayor
eficacia. El agente tambin descubrir las razones instrumentales convergentes descritos
en el Captulo integridad del sistema 7-meta, mejora cognitiva, la adquisicin de recursos,
y as sucesivamente. Sin embargo, en el supuesto de que el agente asigna una
probabilidad suficientemente alta para los valores descritos en la cart a que implica el
bienestar humano, que sera
Podemos comparar este tipo de agente a una barcaza unido a varios remolcadores
que tiran en direcciones diferentes. Cada remolcador corresponde a una hiptesis sobre
valor final del agente. La potencia del motor de cada remolcador corresponde a la
probabilidad de la hiptesis de asociado, y por lo tanto cambia a medida que nueva
evidencia proviene de, produciendo ajustes en la direccin de la barcaza de movimiento.
La fuerza resultante debe mover la barcaza a lo largo de una trayectoria que facilita el
aprendizaje de la (implcita) valor final, evitando los bancos de destruccin irreversible; y
ms tarde, cuando se alcanza el mar abierto del conocimiento ms preciso del valor final,
el remolcador que todava ejerce una fuerza significativa tirar la barcaza hacia la
realizacin del valor descubierto a lo largo de la ruta ms directa o ms propicia.
Las metforas sobre y barcazas ilustran el principio subyacente al enfoque de
aprendizaje valor, sino que pasan a travs de una serie de cuestiones tcnicas crticos.
Vienen en el foco ms claro una vez que empezamos a desarrollar el enfoque dentro de
un marco formal (vase el recuadro 10).
es una cadena de y
1 X1y
2 X2 ...
yx
14
La secuencia de recompensa
rk , ...,
Variaciones del sndrome cableado cerebral tambin pueden afectar a los sistemas
que no buscan una seal de recompensa sensorial externa, pero cuyos objetivos se
definen como la consecucin de un estado interno. Por ejemplo, en los llamados sistemas
de "actor crtico", hay un mdulo de agente que selecciona las acciones con el fin de
minimizar la desaprobacin de un mdulo separado crtico que calcula qu medida el
comportamiento del agente se queda corto de una medida de rendimiento dado. El
problema de esta configuracin es que el mdulo actor puede darse cuenta de que puede
reducir al mnimo la desaprobacin mediante la modificacin de la crtica o eliminar por
completo, al igual que un dictador que disuelve el parlamento y nacionaliza la prensa. Para
los sistemas limitados, el problema se puede evitar simplemente por no dar al mdulo
actor de cualquier medio de la modificacin del mdulo crtico. Un mdulo de agente
suficientemente inteligente e ingenioso, sin embargo, siempre se podra acceder al
mdulo crtico (que, despus de todo, no es ms que un proceso fsico de alguna
computadora).
+ ... + rm
) En el AI-RL con una funcin de utilidad que se le permite depender de toda la hi storia
futura interaccin de la AI:
Aqu, E es la evidencia total disponible para el agente (en el momento en que est
haciendo su decisin), y U
es una funcin de utilidad que asigna utilidad a alguna clase de mundos posibles. El
agente ptima elige el acto que maximiza la utilidad esperada.
. Esto, finalmente, nos devuelve al problema del valor de carga. Para habilitar la funci n
de utilidad que aprender, debemos ampliar nuestro formalismo para permitir la
incertidumbre sobre las funciones de utilidad. Esto se puede hacer de la siguiente manera
(AI-VL): 16
Aqu,
(.) Es una funcin de las funciones de utilidad de las proposiciones sobre las
funciones de utilidad.
0.17
Para decidir qu accin realizar, se podra, por tanto, haga lo siguiente: En primer
lugar, calcular la probabilidad condicional de cada mundo posible
siendo el mundo real). En tercer lugar, para cada funcin de utilidad posible U
. En cuarto lugar, combinar estas cantidades para calcular la utilidad esperada de la accin
y. En quinto lugar, repita este procedimiento para cada accin posible y realizar la
accin encontr que la utilidad esperada ms alta (el uso de algn mtodo arbitrario de
romper lazos). Como se ha descrito, este procedimiento-que implica dar consideracin
explcita y separada a cada posible en todo el mundo es, por supuesto, violentamente
computacionalmente intratable. La AI tendra que utilizar atajos computacionales que se
aproximan a esta nocin optimalidad.
0.18 Una vez que la AI tiene una representacin adecuada del criterio de valor, se podra
utilizar, en principio, su inteligencia general para recopilar informacin acerca de qu
mundos posibles son ms propensos a ser la real. A continuacin, podra aplicarse el
criterio, para cada una de esas plausibles mundo posible w, Para saber qu funcin de
utilidad satisface el criterio de w
. As se puede considerar que la frmula IA-VL como una forma de identificar y separar a
cabo este reto clave en el valor de aprendizaje enfoque el reto de cmo representar
. El formalismo tambin saca a la luz una serie de otras cuestiones (por ejemplo, cmo
definir , , Y ), Que tendra que ser resuelto antes de que pudiera hacerse el enfoque de
trabajo.19
Para ilustrar la idea bsica, supongamos que queremos que el sistema sea "amigable". El
sistema comienza con el objetivo de tratar de crear una instancia de la propiedad F
pero, inicialmente, no s mucho acerca de lo que F
es. Slo podra saber que F es una propiedad abstracta y que cuando los
programadores hablan de "la amistad", que probablemente estn tratando de transmitir
informacin sobre F
22 La ventaja es que esto podra ser ms fcil que construir nuestra AI estar motivado
para hacer lo que queramos directamente.
Esta versin del enfoque Ave Mara requiere que construimos un valor final para
nuestra IA que se refiere a las preferencias de otros superinteligencias. Exactamente cmo
hacer esto an no est clara. Sin embargo, los agentes superinteligentes podran ser
estructuralmente lo suficientemente distintivo que podramos escribir una pieza de cdigo
que funcionara como un detector que se vera en el modelo mundial en nuestro AI
desarrollar y designar los elementos de representacin que corresponden a la presencia
de una superinteligencia. El detector de entonces, de alguna manera, extraer las
preferencias de la superinteligencia en cuestin (como se representa dentro de nuestra
propia AI).
23 Si pudiramos crear un detector de este tipo, podramos utilizarlo para definir los
valores finales de nuestro AI. Uno de los retos es que podemos necesitar para crear el
detector antes de que sepamos qu marco representacional desarrollar nuestra AI. El
detector puede as tenga que consultar un marco de representacin desconocida y extraer
las preferencias de cualquier superinteligencia podrn estar representados en el mismo.
Esto parece difcil, pero tal vez alguna solucin ingeniosa puede ser found.24
25 Esto hace que el planteamiento no ideal. Sin embargo, los obstculos tcnicos que
enfrenta el enfoque Ave Mara, aunque muy importante, posiblemente, podra ser menos
formidables que los que enfrentan los enfoques alternativos. Explorando enfoques
implementables no ideales, pero ms fcilmente puede tener sentido, no con la intencin
de utilizarlos, pero tener algo que echar mano en caso de una solucin ideal no debe estar
listo a tiempo.
U como la salida del cerebro humano producira despus de interactuar con este
entorno. U sera un objeto matemtico bien definido, aunque uno que (debido a las
limitaciones computacionales) podemos ser incapaces de describir
explcitamente . Sin embargo, U podra servir como criterio de valor por un valor de
aprendizaje AI, que podra utilizar diversas heursticas para asignar pro babilidades a las
hiptesis acerca de lo que
U implica.
encontrar este modelo ms simple de los datos, podra ser perfectamente posible
para nosotros definir el modelo, haciendo referencia a los datos y un uso de una medida
simplicidad matemticamente bien definido (como alguna variante de la complejidad de
Kolmogorov, que nos encontramos en el Cuadro 1, Captulo 1) 0,27
Modulacin de Emulacin
El problema del valor de carga se ve algo diferente para la emulacin d e todo el cerebro
de lo que hace a la inteligencia artificial. Los mtodos que presuponen un conocimiento y
control de los algoritmos y arquitecturas de grano fino no son aplicables a las
emulaciones. Por otra parte, el mtodo de seleccin inaplicable la motivacin de aumento
de novo inteligencia artificial est disponible para ser utilizado con emulaciones (o
cerebros biolgicos mejorados). 28 El mtodo de aumento podra combinarse con
tcnicas de ajustar los objetivos heredadas del sistema. Por ejemplo, se podra tratar de
manipular el estado de motivacin de una emulacin mediante la administracin de el
equivalente digital de sustancias psicoactivas (o, en el caso de los sistemas biolgicos, los
productos qumicos reales). Incluso ahora es posible manipular farmacolgicamente
valores y motivaciones de forma limitada.
Diseo Institucin
Algunos sistemas inteligentes consisten en piezas inteligentes que son a su vez capaz de
agencia. Las empresas y los estados ejemplifican esto en el mundo humano: mientras que
en gran parte compuesta de seres humanos que pueden, para algunos propsitos, ser
visto como agentes autnomos en su propio derecho. Las motivaciones de estos sistemas
compuestos no slo dependen de las motivaciones de sus subagentes constituyentes, sino
tambin en cmo se organizan los subagentes. Por ejemplo, un grupo que se organiza
bajo una fuerte dictadura podra comportarse como si tuviera una voluntad que era
idntica a la voluntad del subagente que ocupa el papel del dictador, mientras que un
grupo democrtico a veces podra comportarse ms como si tuviera una voluntad que era
un compuesto o promedio de las voluntades de sus diversos componentes. Pero tambin
se puede imaginar las instituciones de gobierno que haran que una organizacin se
comportan de una manera que no es una simple funcin de las voluntades de sus
subagentes. (En teora, al menos, podra existir un estado totalitario que todo el mundo
odiado, porque el Estado tena mecanismos para prevenir a sus ciudadanos de la
coordinacin de una revuelta. Cada ciudadano poda estar peor por repugnante solo que al
jugar su parte en la maquinaria del Estado.)
Por ejemplo, supongamos que empezamos con algunos parecidos a los humanos bien
motivados agentes digamos emulaciones. Queremos potenciar las capacidades cognitivas
de estos agentes, pero nos preocupa que las mejoras pueden corromper sus
motivaciones. Una manera de hacer frente a este reto sera la creacin de un sistema en
el que las emulaciones individuales funcionan como subagentes. Cuando se introduce una
nueva mejora, se aplic por primera vez a un pequeo subconjunto de los subagentes. Sus
efectos son luego estudiados por un panel de revisin formado por subagentes que an
no han tenido la mejora que se les aplica. Slo cuando estos compaeros han cerciorado
de que la mejora no est corrompiendo es que extender a la poblacin subagente ms
amplio. Si se encuentran los subagentes mejoradas estar daado, no se les da nuevas
mejoras y se excluyen de las funciones de toma de decisiones clave (por lo menos hasta
que el sistema en su conjunto ha avanzado hasta un punto en que los subagentes
corruptos puedan reintegrarse de manera segura).30
Aunque los subagentes corruptos podran haber ganado alguna ventaja de la mejora, la
estructura institucional en la que estn inmersos, y el hecho de que constituyen una
pequea minora de los subagentes, sera de esperar que les impiden tomar el poder o
propagar su corrupcin al sistema general . Por lo tanto, la inteligencia colectiva y la
capacidad del sistema se podra mejorar gradualmente en una secuencia de pequeos
pasos, en los que la solidez de cada paso se verifica por subagentes slo ligeramente
menos capaces que los nuevos sub-agentes que se introducen en ese paso. La
cantidad de seguridad que se puede obtener por este tipo de diseo institucin est
limitada por la precisin de las pruebas que se utilizan para evaluar los subagentes
mejoradas. El problema de la construccin de prueba se complica por el hecho de que las
bateras de pruebas slo podan ser validados dentro del rango pre-existente de la
capacidad cognitiva todava deben ser aplicados a los agentes fuera de este rango. Se
podra mitigar este problema tomando pequeos pasos de mejora y dejando que la prueba
de funcionamiento durante mucho tiempo. Tal precaucin, sin embargo, aumentara el
costo y el progreso lento (que, de una dinmica carrera est ocurriendo, podra significar
un proyecto de empleo de estas medidas de seguridad pondran en desventaja). Incluso
con pequeos pasos y pruebas exhaustivas, quedara algn riesgo de defectos sutiles de
ser introducido, lo que lleva a una corrupcin gradual del sistema objetivo, una corrupcin
que podran manifestarse slo cuando el sistema alcanza superinteligencia. Este riesgo
podra reducirse dejando que la condicin de prueba se extiende por muchas etapas de la
mejora cognitiva, por lo que incluso los agentes que han sido certificadas inicialmente
como sonido y que han recibido varias mejoras posteriores seguiran siendo objeto de
examen por un panel de originales sin modificar e incorrupta compaeros y permaneceran
sujetos a reversin.
Uno podra preguntarse si una meritocracia tales inversa podra permanecer estable. Si se
encuentra la mayor parte de los subagentes superinteligentes que ser corrupto, y los seres
humanos a cargo de toda la cosa trat de revertir muchas de las mejoras anteriores, sera
la estructura institucional lo suficientemente fuerte como para resistir la oposicin que
esta medida generara? En el contexto de las sociedades humanas histricas o
contemporneas, la respuesta tal vez es que esto sera inverosmil. (No es que las
personas ms capaces se elevan constantemente al poder, pero no son literalmente
gobernado por los chimpancs tampoco.) La cuestin es menos clara, sin embargo, en un
contexto donde la sociedad se implementa como software.31
Imagina una jerarqua digital que tiene uno altamente capacitado agente de polica por
cada dos proletarios. Tambin cuenta con un agente especial de la pol ica por cada dos
agentes de polica. Tambin tiene un agente especial de la polica especial para cada dos
agentes-y-especial de la polica, etc., de manera que cada capa de supervisores tiene al
menos la mitad del nmero de la capa que supervisa. Imagnese, adems, que esta
sociedad se Architected de tal manera que un supervisor tiene grandes ventajas sobre sus
subordinados. Por ejemplo, el supervisor es capaz de supervisar y registrar todo sus
subordinados dicen y hacen, mientras que el supervisor mismo se oculta detrs de un
vidrio de un solo sentido, de modo que sus subordinados slo pueden or las rdenes e
instrucciones que los elige superiores a transmiten. Imagina que los supervisores tienen
un panel de botones que pueden pulsar en cualquier momento para causar un
subordinado a ser castigado o recompensado, hizo una pausa, eliminar o revertir a un
estado anterior. Estas capacidades aumentaran considerablemente los poderes de un
agente de supervisin, ms all de lo que ha sido posible histricamente en incluso el ms
totalitario de las organizaciones. Incluso esto no agota los posibles instrumentos de
control. Los supervisores tambin pueden tener a su disposicin realistas simulaciones de
realidad virtual que pueden utilizar para sondear las reacciones subordinados a los
escenarios hipotticos (tales como ofertas simuladas para unirse a una conspiracin o de
holgura cuando piensan nadie est mirando). Los supervisores pueden, adems, tener la
capacidad de espiar a los monlogos internos en la mente de los subordinados y manipular
directamente a sus estados emocionales.
Como se ha descrito, la institucin suena como un campo de trabajo de Corea del Norte
en lugar horrible. Sin embargo, hay maneras de al menos mitigar los problemas morales
con el funcionamiento de este tipo de instituciones, incluso si los subagentes contenidas
en la institucin son emulaciones con estatus moral humana completa. Como mnimo, el
sistema podra basarse en el voluntariado emulaciones. Cada subagente podra tener la
opcin en cualquier momento de retirar sus participation.36 Terminado emulaciones
podran ser almacenados en la memoria, con el compromiso de reiniciar bajo condiciones
mucho ms ideales una vez que la fase peligrosa de la explosin de inteligencia ha
terminado. Mientras tanto, subagentes que decidieron participar podran ser alojados en
entornos virtuales muy confortable y permite suficiente tiempo para dormir y para la
recreacin. Estas medidas supongan un costo, que debe ser manejable para un proyecto
con buenos recursos en condiciones no competitivas. En una situacin altamente
competitivo, el costo puede ser inaccesible a menos que una empresa puede estar seguro
de que sus competidores incurriran en el mismo costo. En el ejemplo, nos imaginamos
los subagentes como emulaciones. Uno podra preguntarse, el enfoque de diseo
institucin requiere que los subagentes ser antropomrfico? O es igualmente aplicable a
sistemas compuestos por subagentes artificiales?
Uno de primer pensamiento que aqu podra ser escptico. Se observa que a pesar de
nuestra experiencia abundante y con agentes de apariencia humana, todava no podemos
predecir con precisin el brote o los resultados de las revoluciones; la ciencia social puede,
a lo sumo, describir algunas tendencias estadsticas. 37 Ya que no podemos predecir
con fiabilidad la estabilidad de las estructuras sociales de los seres humanos ordinarios (de
la que tenemos muchos datos), es tentador inferir que tenemos pocas esperanzas de
precisin de ingeniera de estructuras sociales estables para los agentes humanos como
cognitivamente mejoradas (de la que no tenemos datos), y que tenemos mucho menos la
esperanza de hacerlo para los agentes artificiales avanzados (que ni siquiera son similares
a los agentes que tenemos datos sobre).
Sin embargo, el asunto no es tan corta-y-seca. Los seres humanos y los seres humanos
como son complejos; pero los agentes artificiales podran tener arquitecturas
relativamente simples. Agentes artificiales tambin podran tener motivaciones simples y
caracterizados de forma explcita. Adems, los agentes digitales en general (ya sea
emulaciones o inteligencias artificiales) son copiables: un affordance que pueden
revolucionar la gestin, al igual que piezas intercambiables revolucionaron la fabricacin.
Estas diferencias, junto con la oportunidad de trabajar con agentes que inicialmente son
impotentes y que crean estructuras institucionales que utilizan las distintas medidas de
control antes mencionados, podran combinar para que sea posible lograr resultados
concretos, tales como un sistema institucional que no se rebelan -ms fiable que si uno
estaban trabajando con los seres humanos bajo condiciones histricas.
Pero, de nuevo, los agentes artificiales pueden carecer de muchos de los atributos que nos
ayudan a predecir el comportamiento de los agentes de apariencia humana. Agentes
artificiales no necesitan tener ninguna de las emociones sociales que se unen el
comportamiento humano, las emociones como el miedo, el orgullo y el remordimiento.
Tampoco necesitan agentes artificiales desarrollan apegos a amigos y familiares. Tampoco
necesitan exhiben el lenguaje corporal inconsciente que hace que sea difcil para nosotros
los seres humanos para ocultar nuestras intenciones. Estos dficits pueden desestabilizar
las instituciones de agentes artificiales. Adems, los agentes artificial es podran ser
capaces de hacer grandes saltos en el rendimiento cognitivo como resultado de
aparentemente pequeos cambios en sus algoritmos o arquitectura. Optimizando
despiadadamente agentes artificiales podra estar dispuesto a tomar apuestas extremas
de las que los seres humanos se reducira. 38
Sinopsis
Representacin explcita Puede ser prometedora como una forma de cargar los
valores domesticidad. No parece prometedor como una manera de cargar valores ms
complejos.
Seleccin Evolutiva
Andamios de motivacin
Es demasiado pronto para decir lo difcil que sera para fomentar un sistema para
desarrollar representaciones de alto nivel internos que sean transparentes para los seres
humanos (manteniendo las capacidades del sistema por debajo del nivel peligroso) y luego
utilizar esas representaciones para disear un nuevo sistema de meta . El enfoque podra
mantener una promesa considerable. (Sin embargo, como con cualquier mtodo no
probado que aplazar gran parte de la fuerza de trabajo en ingeniera de seguridad hasta el
desarrollo del nivel de AI humana, se debe tener cuidado de no permitir que se convierta
en una excusa para una actitud displicente al problema de control en el provisional.)
Modulacin de Emulacin
Diseo Institucin
Supongamos que pudiramos instalar ningn valor final arbitraria en una semilla
AI. La decisin en cuanto a qu valor instalar entonces podra tener las consecuen cias ms
trascendentales. Algunas otras opciones-referentes de parmetros bsicos de los axiomas
de la teora de la decisin de la AI y la epistemologa-podran ser igualmente
consecuentes. Pero tontos, ignorantes y de mente estrecha que somos, cmo podemos
ser de confianza para tomar buenas decisiones de diseo? Cmo podramos elegir sin
bloquear en mucho los prejuicios y las ideas preconcebidas de la generacin actual? En
este captulo, exploramos cmo indirecta normatividad puede dejarnos descargamos gran
parte del trabajo cognitivo implicado en la toma de estas decisiones sobre la propia
superinteligencia tiempo que anclar el resultado en los valores humanos ms profundos.
La necesidad de normatividad indirecta
Algunos ejemplos servirn para hacer la idea ms clara. En primer lugar vamos a
considerar "la voluntad extrapolado coherente", una propuesta de normatividad indirecta
esbozado por Eliezer Yudkowsky. A continuacin, presentamos algunas variaciones y
alternativas, para darnos una idea de la gama de opciones disponibles.
Algunas explicaciones
11
Otra objecin es que hay muchas maneras diferentes de la vida y de los cdigos morales
en el mundo que podra no ser posible "mezclar" en una sola CEV. Incluso si se pudiera
mezclar ellos, el resultado podra no ser particularmente apetecible uno sera poco
probable conseguir una deliciosa comida mezclando todos los mejores sabores de
diferentes plato favorito de todos. 13
En respuesta a esto, se podra sealar que el enfoque de la CEV no requiere que todas las
formas de vida, los cdigos morales o valores personales pueden mezclar juntos en un
guiso. La dinmica de la CEV se supone que acta slo cuando nuestros deseos
coherentes. En cuestiones en las que existe un desacuerdo irreconciliable generalizad a,
incluso despus de que se han impuesto las diversas condiciones idealizadoras, la
dinmica debera abstenerse de determinar el resultado. Para continuar con la analoga de
cocina, podra ser que las personas o culturas tienen diferentes platos favoritos, pero que,
sin embargo, en trminos generales se ponen de acuerdo que aliments deben ser no
txicos. La dinmica CEV podra entonces actuar para prevenir la intoxicacin alimentaria,
mientras que permiten de otra manera los seres humanos para resolver sus prcticas
culinarias sin su orientacin o interferencia. Justificaciones para CEV
El artculo de Yudkowsky ofreci siete argumentos para el enfoque de la CEV. Tres de ellos
eran bsicamente diferentes maneras de hacer el punto de que mientras que el o bjetivo
debe ser hacer algo que es humano y til, sera muy difcil establecer un conjunto explcito
de reglas que no tienen interpretaciones no deseadas y las consecuencias indeseables.
14
El enfoque CEV est destinado a ser robusto y auto-correccin; que est destinado a
capturar el fuente de nuestros valores en lugar de confiar en nosotros correctamente
enumerar y articular, de una vez por todas, cada uno de nuestros valores esenciales.
Los cuatro restantes argumentos van ms all de ese primer punto bsico (pero
importante), explicando desiderata de soluciones candidatas al problema de valor de
especificacin y sugiriendo que CEV cumple estos desiderata.
Este es el desidertum que la solucin debe permitir la posibilidad del progreso moral.
Como se sugiri anteriormente, hay razones para creer que nuestras creencias morales
actuales estn viciadas de muchas maneras; quiz profundamente viciado. Si tuviramos
que estipular un cdigo moral especfico e inalterable de la IA a seguir, que recibira el
mismo bloqueo en nuestras actuales convicciones morales, incluyendo sus errores,
destruyendo cualquier esperanza de crecimiento moral. El enfoque de la CEV, por el
contrario, permite la posibilidad de tal crecimiento, ya que la IA ha tratar de hacer lo que
nos hubiera gustado que hacer si hubiramos desarrollado an ms en condiciones
favorables, y es posible que si tanto habamos desarrollado nuestras creencias y
sensibilidades morales habran sido purgados de sus defectos y limitaciones actuales.
"Evitar la creacin de un motivo para los seres humanos de hoy en da para luchar por la
dinmica inicial"
CEV est destinado a ser capaz de mandar un amplio apoyo. Esto no es slo porque asigna
influencia equitativa. Tambin hay un suelo ms profundo por el potencial conciliadora de
la CEV, a saber, que permite a muchos grupos diferentes a la esperanza de que su visin
preferida del futuro prevalecer totalmente. Imagina un miembro de los talibanes afganos
debatiendo con un miembro de la Asociacin Sueca Humanista. Los dos tienen muy
diferentes visiones del mundo, y lo que es una utopa para uno podra ser una distopa
para el otro. Tampoco podra bien estar emocionado por ninguna posicin de
compromiso, tales como permitir a las nias a recibir una educacin, pero slo hasta el
noveno grado, o permitir chicas suecas a ser educados, pero las nias afganas no. Sin
embargo, tanto los talibanes y el Humanista podran ser capaces de respaldar el principio
de que el futuro debe ser determinado por el CEV de la humanidad. Los talibanes podra
razonar que si sus puntos de vista religiosos son de hecho correcta (ya que est
convencido de que son) y si existen buenas razones para aceptar estos puntos de vista (ya
que tambin est convencido), entonces la humanidad habra al final vienen a aceptar
estos puntos de vista, si slo la gente estaba menos prejuicios y sesgada, si pasaban ms
tiempo estudiando las escrituras, si pudieran comprender ms claramente cmo funciona
el mundo y reconocer las prioridades esenciales, si pudieran ser liberados de rebelda
irracional y la cobarda, y as sucesivamente.15
Puede que no quiera un resultado en el que una superinteligencia paternalista nos vigila
constantemente, la microgestin de nuestros asuntos con un ojo hacia la optimizacin de
cada detalle de acuerdo con un gran plan. Incluso si estipulamos que la superinteligencia
sera perfectamente benevolente, y libre de presuncin, arrogancia, prepotencia, la
estrechez de miras, y otras deficiencias humanos, todava se podra resentir la prdida de
autonoma que conlleva tal arreglo. Podramos preferiria crear nuestro destino a medida
que avanzamos, incluso si esto significa que a veces baln suelto. Tal vez queremos que la
superinteligencia para servir como una red de seguridad, para que nos apoyen cuando las
cosas van catastrficamente mal, pero por lo dems que nos dejan para ganarnos la vida.
CEV permite esta posibilidad. CEV est destinado a ser un "inicial dinmico", un proceso
que se ejecuta una vez y luego se reemplaza con lo que la voluntad extrapolado desea. Si
la volicin extrapolado de la humanidad desea que vivimos bajo la supervisin de un AI
paternalista, entonces la dinmica CEV creara una IA tales y entregarlo las riendas. Si la
volicin extrapolado de la humanidad en vez desea que se cree un gobierno mundial
democrtico humana, entonces la dinmica CEV podra facilitar el establecimiento de una
institucin y de otra manera siendo invisible. Si la volicin extrapolado de la humanidad es
en cambio que cada persona debe recibir una dotacin de recursos que puede usar lo que
le plazca siempre y cuando se respete la igualdad de derechos de los dems, entonces la
dinmica CEV podra hacer que este se haga realidad al operar en el fondo muy similar a
un ley de la naturaleza, para evitar la entrada ilegal, robo, asalto y otros Tropezaciones no
consensuados.16 La estructura del enfoque CEV por lo tanto permite una gama
prcticamente ilimitada de los resultados. Tambin es concebible que la volicin
extrapolado de la humanidad deseara que el CEV no hace nada en absoluto. En ese caso,
la AI debe implementar CEV, al haber establecido con la suficiente probabilidad de que
esto es lo que la volicin extrapolado de la humanidad deseara que hacer, con seguridad
apagar.
Otras observaciones
Una opcin sera incluir slo a la poblacin de los seres humanos adultos en la
Tierra que estn vivos en el inicio de la poca de la creacin de la IA. Una extrapolacin
inicial de esta base podra entonces decidir si y cmo la base debe ser ampliado. Dado que
el nmero de "marginales" en la periferia de esta base es relativamente pequea, el
resultado de la extrapolacin no puede depender mucho en exactamente donde el lmite
se dibuja-sobre si, por ejemplo, incluye fetos o no.
Una de las motivaciones para la propuesta CEV era evitar la creacin de un motivo para
que los humanos se pelean por la creacin de la primera AI superinteligente. Aunque la
propuesta CEV mejores puntuaciones en este desidertum que muchas alternativas, no
elimina por completo los motivos de conflicto. Un egosta individuo, grupo o nacin
podran tratar de ampliar su rebanada del futuro, manteniendo a otros fuera de la base de
extrapolacin.
Una toma de poder de este tipo podra ser racionalizado de varias maneras. Se podra
argumentar, por ejemplo, que el patrocinador que financia el desarrollo de la IA merece
poseer el resultado. Esta afirmacin moral es probablemente falsa. Se podra objetar, por
ejemplo, que el proyecto que pone en marcha el primer xito de semilla AI impone una
gran externalidad de riesgos en el resto de la humanidad, que, por tanto, tiene derecho a
una indemnizacin. El monto de la indemnizacin adeudada es tan grande que slo puede
tomar la forma de dar a todos una participacin en la boca si las cosas salen bien.
18
Otro argumento que podra utilizarse para racionalizar la toma de poder es que
grandes segmentos de la humanidad tienen base o preferencias del mal y que su inclusin
en la base de la extrapolacin se arriesgaran a girar el futuro de la humanidad en una
distopa. Es difcil saber la cuota del bien y del mal en el corazn de la persona promedio.
Tambin es difcil saber cunto este equilibrio vara entre los diferentes grupos, estratos
sociales, culturas o naciones. Si uno es optimista o pesimista sobre la naturaleza humana,
se puede prefieren no apostar dotacin csmica de la humanidad en la especulacin de
que, para que una mayora suficiente de los siete mil millones de personas actualmente
vivas, sus mejores ngeles prevaleceran en sus voliciones extrapolados. Por supuesto, la
omisin de un determinado conjunto de personas de la base de la extrapolaci n no
garantiza que la luz triunfara; y bien podra ser que las almas que excluiran ms pronto
que otros o tomar el poder para s mismos tienden ms bien a contener cantidades
inusualmente grandes de oscuridad.
Sin embargo, otra razn para luchar por la dinmica inicial es que uno podra creer
que de otro AI no funciona como se anuncia, incluso si la IA es considerado como una
forma de poner en prctica CEV de la humanidad. Si los diferentes grupos tienen
diferentes creencias acerca de qu es ms probable que tenga xito la aplicacin, puede
ser que luchar para evitar que los otros de lanzamiento. Sera mejor en este tipo de
situaciones si los proyectos que compiten podran resolver sus diferencias epistmicas por
algn mtodo que determina de forma ms fiable que es correcto que el mtodo de los
conflictos armados.19 Modelos de moralidad
22 Incluso si estos conceptos son marginalmente menos opaca que "rectitud moral",
no dejan de ser retirados millas de cualquier cosa que los programadores puedan
expresarse actualmente en code.23 El camino para dotar a una IA con ninguno de estos
conceptos podran implicar dndole la capacidad lingstica general (comparables , por lo
menos, a la de un adulto humano normal). Una capacidad general Dicho de entender el
lenguaje natural podra ser utilizada para comprender lo que se entiende por
"moralmente correcto". Si la IA poda captar el significado, podra buscar acciones que se
ajusten. A medida que la AI desarrolla superinteligencia, podra entonces avanzar en dos
frentes: en el problema filosfico de comprensin de lo que es rectitud moral, y en el
problema prctico de la aplicacin de este conocimiento para evaluar en particular
actions.24 Mientras que esto no iba a ser fcil, es No est claro que sera cualquier
26
Se podra tratar de preservar la idea bsica del modelo MR mientras que la reduccin de
su exigencia, centrndose en permisibilidad moral: La idea de que podramos dejar que la
AI perseguir CEV de la humanidad con tal de que no actu en formas que son moralmente
inaceptables. Por ejemplo, se podra formular la siguiente meta para el AI:
Entre las acciones que son moralmente permisible para la IA, tome uno que CEV de la
humanidad prefiere. Sin embargo, si alguna parte de esta instruccin no tiene sentido
bien especificado, o si estamos radicalmente confundido acerca de su significado, o si el
realismo moral es falsa, o si actuamos moralmente inadmisible en la creacin de una IA
con este objetivo, y luego someterse a una controlada Cerrar. 27
Uno podra todava preocuparse de que este modelo permisibilidad moral (MP)
representa un unpalatably alto grado de respeto por las exigencias de la moral. Qu t an
grande sacrificio que implicara depende de que la teora tica es cierto.28
Si la tica es satisficing
, En el sentido de que cuenta como moralmente permisible cualquier accin que se ajusta
a unas pocas restricciones morales bsicos, entonces MP puede dejar un amplio espacio
para nuestra voluntad extrapolado coherente para influir en las acciones de la AI. Sin
embargo, si la tica es maximizando-por ejemplo, si las acciones slo moralmente
admisible son los que tienen los mejores moralmente consecuencias, entonces MP puede
dejar poco o ningn espacio para nuestras propias preferencias para dar forma al
resultado.
Si se prefiere esta ltima opcin (como yo me inclinara a hacer) que implica que uno no
tiene una preferencia incondicional lxico dominante para actuar moralmente lcitamente.
Pero es consistente con la colocacin de un gran peso en la moralidad. Incluso desde
un punto de vista puramente moral, podra ser mejor defensor
Considere meta, por ejemplo, "basan razones," los siguientes: Haz lo que
hubiramos tenido ms razn para pedir a la AI para hacer.
Algunos de los problemas con los objetivos basados en la moralidad, sin embargo,
tambin se aplican aqu. En primer lugar, podramos temer que esta meta razones basadas
dejara muy poco espacio para nuestros propios deseos. Algunos filsofos sostienen que
una persona siempre tiene ms razones para hacer lo que sera moralmente mejor para
que ella haga. Si los filsofos tienen razn, entonces la meta basada en razn colapsa en
MR-con el consiguiente riesgo de que una superinteligencia implementar una dinmica tal
que matar a todos a su alcance. En segundo lugar, al igual que con todas las propuestas
formuladas en lenguaje tcnico, hay una posibilidad de que podramos haber entendido
mal el sentido de nuestras propias afirmaciones. Hemos visto que, en el caso de las metas
basadas en la moral, pidiendo a la AI para hacer lo que es correcto puede llevar a
consecuencias imprevistas e indeseadas de tal manera que, si hubiramos ellos previstos,
no hubiramos aplicado el objetivo en cuestin. Lo mismo se aplica a pedir a la AI para
hacer lo que tenemos ms razn para hacerlo.
31
Tome la accin ms bonita; o, si ninguna accin es ms bonito, y luego tomar una accin
que es al menos agradable requete.
AI? Pero debemos preguntarnos lo que precisamente se quiere decir con esta expresin .
El lxico enumera diversos significados de "agradable" que claramente no estn
destinados a ser utilizados aqu: no tenemos la intencin de que la AI debe ser corts y
educado
Cmo puede uno poner en prctica un "hacer lo que quiero decir" tan dinmico? Es
decir, cmo podemos crear una IA motivados para interpretar caritativamente nuestros
deseos e intenciones tcitas y actuar en consecuencia? Un paso inicial podra ser para
tratar de obtener ms clara acerca de lo que entendemos por "Haz lo que digo." Podra
ayudar si pudiramos explicar esto en trminos ms conductistas, por ejemplo en
trminos de preferencias reveladas en diversas situaciones, tales como situaciones
hipotticas en el que tenamos ms tiempo para considerar las opciones, en las que
estbamos ms inteligente, en el que sabamos ms de los hechos pertinentes, y en la que
en varias otras condiciones maneras sera ms favorable para nosotros manifestando con
precisin en opciones concretas de lo que queremos decir cuando decimos que queremos
una IA que es amable, beneficioso, agradable ...
Hasta ahora hemos considerado diferentes opciones para el contenido que poner
en el sistema objetivo. Pero el comportamiento de un AI tambin se ver influenciada por
otras opciones de diseo. En particular, se puede hacer una diferencia crtica que teora
de la decisin y que la epistemologa que utiliza. Otra cuestin importante es si los planes
de la AI estarn sujetos a revisin humana antes de ser puesto en accin. Tabla 13 resume
estas opciones de diseo. Un proyecto que tiene como objetivo construir una
superinteligencia debe ser capaz de explicar qu opciones se ha hecho en relacin con
cada uno de estos componentes, y justificar por qu se tomaron esas decisiones.
33
Epistemologa
Por ejemplo, si el objetivo del proyecto es crear una dinmica que implementa la
volicin extrapolado coherente de la humanidad, a continuacin, un esquema de envolver
incentivo podra especificar que voliciones ciertos individuos deben tener peso extra en la
extrapolacin. Si este proyecto tiene xito, el resultado no es necesariamente la aplicacin
de la volicin extrapolado coherente de la humanidad. En lugar de ello, algunos
aproximacin a esta meta se podra lograr.
34
Desde envoltura incentivo sera una pieza de contenido objetivo que se interpreta y
perseguido por una superinteligencia, podra tomar ventaja de la normatividad indirecta
para especificar disposiciones sutiles y complicadas que seran difciles para un mnager
humano para implementar. Por ejemplo, en lugar de programadores gratificantes segn
algunos crudo pero mtrica de fcil acceso, como el nmero de horas que trabajaban o
cuntos errores se corrigen, la envoltura de incentivos podran especificar que l os
programadores "deben ser recompensados en proporcin a cunto aumentaron sus
contribuciones algunos razonable ex ante
No podemos aqu ahondar en todas las cuestiones ticas y estratgicas relacionadas con el
embalaje de incentivos. La posicin de un proyecto sobre estos temas, sin embargo, sera
un aspecto importante de su concepto fundamental del diseo. Teora de la decisin
Otra opcin de diseo importante es que la decisin teora debe construir la IA de usar.
Esto puede afectar la manera en que la IA se comporta en ciertas situaciones
estratgicamente fatdicas. Podra determinar, por ejemplo, si la IA est abierto a negociar
con, o extorsin por, otras civilizaciones superinteligentes cuya existencia se plantea la
hiptesis. Los detalles de la teora de la decisin tambin podra importar en
predicamentos que implican probabilidades finitos de pagos infinitos ("apuest as
pascaliano") o extremadamente pequeas probabilidades de extremadamente grandes
beneficios finitos ("atracos pascaliano") o en contextos donde la IA se enfrenta a la
incertidumbre normativa fundamental o donde hay mltiples instancias del mismo
programa agente. 36
Las opciones sobre la mesa incluyen teora causal decisin (en una variedad de
sabores) y la teora de la decisin probatoria, junto con los candidatos ms recientes,
como "teora intemporal decisin" y "teora de la decisin updateless", qu e an estn en
desarrollo.37 Puede resultar difcil identificar y articular la teora de la decisin correcta, y
para tener confianza justificada de que hemos hecho bien. Aunque las perspectivas para
especificar directamente la teora de la decisin de una IA son quizs ms optimista que
los de especificar directamente sus valores finales, an estamos enfrentados a un riesgo
sustancial de error. Muchas de las complicaciones que podran romper las teoras de toma
actualmente ms populares fueron descubiertos recientemente, lo que sugiere que
podran existir ms problemas que an no han entrado en la vista. El resultado de dar la IA
una teora de la decisin errnea podra ser desastroso, posiblemente, que asciende a una
catstrofe existencial.
D que hubiramos querido que utilizamos tena pensamos mucho sobre el asunto.
"Sin embargo, la AI tendra que ser capaz de tomar decisiones antes de aprender lo que
D es. Sera por lo tanto necesita un poco de teora efectiva decisin provisional
Uno podra pensar que hay un lmite a cunto dao podra surgir de una
epistemologa especificado incorrectamente. Si la epistemologa es
demasiado disfuncional, a continuacin, la IA no poda ser muy inteligente y no poda
plantear el tipo de riesgos que se analiza en este libro. Pero la preocupacin es que
podemos especificar una epistemologa que es suficientemente slida para que el AI
instrumentalmente efectiva en la mayora de situaciones, sin embargo, que tiene algn
defecto que lleva la IA extraviado en algn asunto de importancia crucial. Tal AI podra ser
similar a una persona perspicaz cuya cosmovisin se basa en un falso dogma, que se
celebr a con absoluta conviccin, que en consecuencia, "se inclina contra molinos de
viento" y lo da todo en la bsqueda de objetivos fantsticos o perjudiciales.
Ciertos tipos de sutil diferencia en de una IA antes de que podra llegar a hacer una
diferencia drstica de cmo se comporta. Por ejemplo, un AI se podra dar una antes que
asigna una probabilidad cero para el universo es infinito. No importa cunta evidencia
astronmica se devengan por el contrario, una IA sera obstinadamente rechazar tales
cualquier teora cosmolgica que implic un universo infinito; y podra tomar decisiones
insensatas como resultado. 41 O una IA se podra dar un prior que asigna una
probabilidad cero al universo no ser-Turing computables (esto es, de hecho, una
caracterstica comn de muchos de los priores discutidos en la literatura, incluyendo la
complejidad de Kolmogorov previa mencionada en el captulo 1), de nuevo con
consecuencias poco conocidos si el supuesto conocido incrustado como la "tesis de Church-
Turing" -Debera resultar ser falsa. Una IA tambin podra terminar con un previo que
hace fuertes compromisos metafsicos de uno u otro tipo, por ejemplo, descartar a priori la
posibilidad de que cualquier forma fuerte del dualismo mente-cuerpo puede ser verdadera
o la posibilidad de que hay hechos morales irreductibles . Si alguno de esos compromisos
se equivoca, la IA podra tratar de alcanzar sus objetivos finales de una manera que nos
gustara considerar como ejemplificaciones perversos. Sin embargo, no hay ninguna razn
obvia por una IA tal, a pesar de ser fundamentalmente errneo alrededor de una cuestin
importante, podra no ser lo suficientemente instrumentalmente efectiva para lograr una
ventaja estratgica decisiva. (Anthropics, el estudio de cmo hacer inferencias a partir de
la informacin indicial en presencia de efectos de seleccin de observacin, es otra rea en
la eleccin de los axiomas epistmicas podra resultar pivotal.42)
Podramos dudar razonablemente de nuestra capacidad para resolver todas las cuestiones
fundamentales de la epistemologa en el tiempo para la construccin de la primera semilla
AI. Podemos, por lo tanto, considerar la adopcin de un enfoque indirecto a especificar la
epistemologa de la IA. Esto elevara muchos de los mismos problemas que tomar un
enfoque indirecto para especificar su teora de la decisin. En el caso de la epistemologa,
sin embargo, puede haber una mayor esperanza de convergencia benigna, con cualquiera
de una amplia clase de epistemologas proporcionar un fundamento adecuado para la
segura y eficaz AI y en ltima instancia dando resultados doxsticos similares. La razn de
esto es que suficientemente abundantes pruebas y anlisis emprico tenderan a lavar las
diferencias moderadas en las expectativas anteriores. 43
cualquier cosa sobre el cdigo hara, estaramos locos para ejecutarlo.) As que el orculo
reflexiona por un tiempo y luego presenta su previsin. Para que la respuesta inteligible, el
orculo puede ofrecer al operador una gama de herramientas con las que explorar
diversas caractersticas de los resultados previstos. El orculo poda mostrar imgenes de
lo que el futuro parece y proporcionar estadsticas sobre el nmero de seres sintientes que
existirn en diferentes momentos, junto con la media, pico, y los niveles ms bajos de
bienestar. Podra ofrecer biografas ntimos de varios individuos seleccionados al azar
(personas quiz imaginarios seleccionados a ser probablemente representante). Podra
destacar aspectos del futuro que el operador no podra haber pensado en preguntar sobre
pero que se consideraban pertinentes una vez sealado.
Ser capaz de obtener una vista previa de los resultados de esta manera tiene
ventajas obvias. El trailer podra revelar las consecuencias de un error en el diseo de las
especificaciones o el cdigo fuente de un soberano planificada. Si la bola de cristal
muestra un futuro en ruinas, podramos desechar el cdigo de la AI soberana planificado y
probar otra cosa. Un caso fuerte podra ser que debemos familiarizarnos con las
ramificaciones concretas de una opcin antes de comprometerse con ella, especialmente
cuando todo el futuro de la raza est en la lnea. Lo que quizs es menos obvio es que la
ratificacin tambin tiene desventajas potencialmente significativas. La calidad de
conciliador CEV podra ser socavada si facciones opuestas, en lugar de someterse a
arbitraje de la sabidura superior en expectativa confiada de ser vindicado, podra ver de
antemano cul sera el veredicto. Un defensor del enfoque basado en la moralida d podra
preocuparse de que la resolucin del patrocinador se derrumbara si todos los sacrificios
requeridos por el moralmente ptima iban a ser revelada. Y todos podramos tener razn
para preferir un futuro que tiene algunas sorpresas, algunas disonanci as, algunos lo
salvaje, algunas oportunidades para la auto-superacin, un futuro cuyos contornos no se
adaptan demasiado ajustado para presentar ideas preconcebidas, pero ofrecen algunos
dan para el movimiento dramtico y el crecimiento no planificado . Podramos ser menos
propensos a tener una visin tan expansiva si pudiramos cereza recoger todos los
detalles del futuro, el envo de nuevo a la mesa de diseo de cualquier proyecto que no se
ajusta plenamente a nuestra fantasa en ese momento.