Künstliche Intelligenz: "Wir sind wie Kinder spielen mit einer Bombe"

Fühlende Maschinen sind eine größere Bedrohung für die Menschheit als Klimaänderung, nach Oxford Philosoph Nick Bostrom

Future of Humanity Institute, einer mittelalterlichen Gasse finden Sie im Zentrum von Oxford. Es ist neben St Ebbe Kirche, die auf dieser Website steht seit 1005 und über eine reine Gym, das im April eröffnet. Das Institut, ein Forschung-Fakultät der Universität Oxford, wurde vor zehn Jahren gegründet, die größten Fragen unsererseits. Vor allem: was genau sind die "existentielle Risiken", die die Zukunft unserer Spezies; bedrohen Wie messen wir ihnen; und was können wir tun, um sie zu verhindern? Oder um es anders: in einer Welt von mehreren Ängste, was genau wir sollten am meisten Angst?

Als ich ankomme, der Direktor des Instituts, Professor Nick Bostrom treffen wird ein Bett im zweiten Stock Büro geliefert. Existentielles Risiko ist eine rund um die Uhr Betrieb; Es schläft unruhig, wenn überhaupt.

Boström, eine 43 Jahre alte schwedische geborener Philosoph erworben hat in letzter Zeit etwas über den Status des Propheten des Untergangs unter denen momentan die meisten unserer Zivilisation zu gestalten: die Tech-Milliardäre des Silicon Valley. Seinen Ruf beruht vor allem auf sein Buch Superintelligenz: Pfade, Gefahren, Strategien, das war eine Überraschung New York Times Bestsellerliste letztes Jahr und kommt jetzt in Form eines Taschenbuchs, nachgestellte must-read Empfehlungen von Bill Gates und Teslas Elon Musk. (Die beste Art der literarischen Beitrag gab Moschus auch Bostrom Institut £1m, seine Untersuchungen fortzusetzen.)

Das Buch ist eine lebendige, spekulative Untersuchung der singulären Bedrohung, die Bostrom – nach Jahren der Berechnung und Argument – glaubt sich am ehesten um uns auszulöschen. Diese Bedrohung ist nicht Klimawandel noch Pandemie oder nuklearen Winter; Es ist die möglicherweise bevorstehende Schaffung einer allgemeinen Maschine Intelligenz größer als unsere eigenen.

Das Cover des Buches von Bostrom dominiert ein mad-eyed, Federzeichnung Bild einer Eule. Die Eule ist das Thema des Buches Eröffnung Gleichnis. Eine Gruppe von Spatzen bauen ihre Nester. "Wir sind alle so klein und schwach," tweets, schwach. "Stell dir vor, wie einfach Leben würde sein, hätten wir eine Eule, die uns helfen könnten unsere Nester bauen!" Es gibt allgemeine Vereinbarung unter Spatzen überall zwitschern; eine Eule konnte die Spatzen verteidigen! Es könnte ihre alten und ihre Jungen kümmern! Es könnte ein Freizeit- und Wohlstand leben können! Mit diesen Phantasien im Kopf können die Spatzen kaum ihre Aufregung und fliegen auf der Suche nach der unter der Leitung von Schwenk Retter, der ihre Existenz verwandeln wird.

Es gibt nur eine Stimme des Widerspruchs: "Scronkfinkle, ein einäugiger Spatz mit einem verdrießlich Temperament war nicht überzeugt von der Weisheit der Endeavour. Sprach er: "Dies wird sicherlich sein, unseren Untergang. Sollten wir nicht darüber nachdenken, die Kunst der Eule-Domestizierung und Eule-Zähmung erste, bevor wir bringen so ein Wesen in unserer Mitte? "" Seine Warnungen fallen zwangsläufig auf Ohren taub Spatz. Eule-Zähmung wäre kompliziert; Warum nicht zuerst bekommen die Eule und die feinen Details später erarbeiten? Bostrom Buch, das einen schrillen Alarmanruf über die dunkleren Folgen der künstlichen Intelligenz ist, widmet sich Scronkfinkle.

Bostrom artikuliert seine eigenen Warnungen in gewissem Sinne angemessen verdrießlich. Er hat ein Renommee für Besessenheit und Arbeitssucht; Er ist schlank, blass und semi-nachtaktiv, oft bleiben im Amt bis in die frühen Morgenstunden. Nicht überraschend, vielleicht für einen Mann dessen Tage sind geprägt von Whiteboards gefüllt mit Formeln die relativen Vorzüge der 57 Sorten der Apokalypse zum Ausdruck zu bringen, erscheint er so wenig wie möglich dem Zufall überlassen. Anstelle von Mahlzeiten begünstigt er eine grüne-Smoothie-Elixier mit Gemüse, Obst, Hafer-Milch und Molke-Pulver. Anderen Interviewer haben auf seine Vermeidung von Händeschütteln zum Schutz gegen Infektion bemerkt. Er eine Hand Anerbieten, für mich, aber ich habe das Gefühl, dass er nachträglich zu isolieren ist es zu desinfizieren, wenn ich gegangen bin. Vielleicht gibt es dadurch eine leichte Ungeduld über ihn, die er hart versucht zu widerstehen.

In seinem Buch spricht er über die "Intelligenzexplosion", die tritt auf, wenn Maschinen viel schlauer als wir anfangen zu entwerfen ihre eigenen Maschinen. "Vor der Aussicht auf eine Intelligenzexplosion, wir Menschen sind wie kleine Kinder spielen mit einer Bombe," schreibt er. "Wir haben wenig Ahnung wann die Detonation kommen wird, aber wenn wir das Gerät an unser Ohr halten wir ein leises ticken hören können." Im Gespräch mit Bostrom, haben Sie ein Gefühl, das für ihn das leise Ticken nie ganz weggeht.

Wir sprechen zuerst über den Erfolg seines Buches, die Art und Weise es direkt einen Nerv getroffen hat. Es fiel mit dem offenen Brief unterzeichnet von mehr als 1.000 namhafte Wissenschaftler – darunter Stephen Hawking, Apple-Mitbegründer Steve Wozniak und Moschus – und präsentierte auf der letztjährigen International Joint Conference on Artificial Intelligence, fordert ein Verbot der Nutzung und Entwicklung der völlig autonom Waffen (die "killer Roboter" von Science Fiction, die sehr nah an der Realität). Boström, der seine eigenen Fähigkeiten bewusst und bescheiden über seinen Einfluss ist, legt nahe, es war ein glücklicher Zufall des Timings.

"Maschine und tiefen Lernens [die bahnbrechende"neuronale"Computer-Algorithmen, die am ehesten die Funktion des menschlichen Gehirns nachahmen] in den letzten Jahren viel schneller als Menschen erwartet verschoben haben," sagt er. "Das ist sicherlich einer der Gründe, warum dies gerade jetzt ein großes Thema geworden. Menschen sehen Dinge voran im technischen Bereich, und sie werden was kommt als nächstes besorgt."

"Viel schrieb ich über human Enhancement Ethik in der Mitte der 90er Jahre, als es weitgehend von Wissenschaftlern abgelehnt wurde," sagt er. "sie waren immer so,"Warum in aller Welt jemand möchte Alterung zu heilen?" Sie würden über Überbevölkerung und die Langeweile des Lebens mehr reden. Es gab keine Anerkennung, die deshalb medizinische Forschung zu tun: um die Lebensdauer zu verlängern. Ähnlich ist es mit cognitive Enhancement – wenn man sieht, was ich dann schrieb, es sieht eher optimistisch – aber die ganze Zeit ich ging es um existenzielle Risiken zu."

Es scheint ein bleibendes Unbehagen, die solche Erweiterungen – Pillen, die Sie klüger oder Alterung verlangsamen könnte – gegen die natürliche Ordnung der Dinge gehen. Hat er ein Gefühl davon haben?

"Ich bin nicht sicher, dass ich jemals natürlichen mit guten gleichsetzen würde", sagt er. "Krebs ist natürlich, Krieg ist natürlich, Parasiten essen Ihre Innenseiten sind selbstverständlich. Was natürlich ist, ist daher nie ein sehr nützliches Konzept, herauszufinden, was wir tun sollten. Ja, es gibt ethische Erwägungen aber musst du sie auf einer Schachtel-durchschachtel Grundlage zu beurteilen. Sie dürfen nicht vergessen, ich bin ein Transhumanist. Ich möchte nun mein Leben Erweiterung Pille. Und gäbe es eine Pille, die meine Wahrnehmung um 10 % verbessert werden könnte, ich wäre bereit, viel dafür zu bezahlen."

Hat er versucht, diejenigen, die behaupten, die Konzentration zu verbessern?

"Ich habe, aber nicht sehr viel. Ich trinke Kaffee, Nikotin-Kaugummi habe, aber das war es. Aber der einzige Grund, den ich nicht mehr tun, dass ich nicht überzeugt bin, dass alles funktioniert."

Er hat keine Angst vor versuchen. Bei der Arbeit sitzt er gewöhnlich in der Ecke seines Amtes, umgeben von einem Dutzend Lampen, offenbar in Thrall die Idee der Beleuchtung.

Bostrom wuchs als Einzelkind in der Küstenstadt schwedischen Stadt Helsingborg. Wie viele begabte Kinder verabscheute er Schule. Sein Vater arbeitete bei einer Investmentbank, seine Mutter für einen schwedischen Konzern. Er erinnert sich nicht an jede Diskussion der Philosophie – oder Kunst oder Bücher – rund um den Esstisch. Fragen, wie er sich selbst gefunden, besessen von dieser großen Fragen, ich Fragen, ob er einem ängstlichen Kind war: habe er immer ein herrliches Gefühl von Sterblichkeit?

"Ich glaube, ich hatte es früh,", sagt er. "Nicht, weil ich am Rande des Todes oder so etwas war. "Aber als Kind ich erinnere mich sehr, dass meine Eltern können jetzt gesund sein, aber sie wollen nicht immer stärker oder größer als ich."

Das hielt Gedanken ihn wach in der Nacht?

"Ich habe es als Angst, mehr als ein melancholisches Gefühl vergessen."

Und war dieser laufenden Wunsch, für immer Leben verwurzelt es auch?

"Nicht unbedingt. Ich glaube nicht, dass es keine besonders unterschiedlichen Lust, die ich in dieser Hinsicht an Dritte weitergegeben. Ich will nicht mit Darmkrebs – herunter zu kommen, der tut? Wenn ich seit 500 Jahren, wer weiß lebte, wie ich mich fühlen würde? Es ist nicht so sehr fixiert auf Unsterblichkeit, nur, dass der vorzeitige Tod scheint prima facie schlecht."

Viel seines Buches stellt Fragen wie wir Superintelligenz – machen könnte, ob es in 50 Jahren oder 500 Jahre – "schön", deckungsgleich mit unserer Menschlichkeit geht. Bostrom sieht dies als eine technische Herausforderung eher als eine politische oder philosophische. Es scheint mir aber, dass ein Großteil unserer eigenen ethischen Rahmen, unser Gefühl der Güte, basiert auf einer Erfahrung und Verständnis des Leidens unseres Körpers. Wie könnte eine nicht-zelluläre Intelligenz immer "begreifen"?

"Es gibt eine Menge Dinge, die Maschinen derzeit verstehen können, weil sie nicht so schlau sind," sagt er, "aber sobald sie so sind, ich glaube nicht, gäbe es besonderen Schwierigkeiten zu verstehen, menschliches Leid und Tod." Das Verständnis eine Möglichkeit sein könnte, was sie gelehrt werden könnte, um menschliche Wert zu achten, sagt er. "Aber es hängt davon ab, was Ihre ethische Theorie ist." "Es könnte mehr über die Achtung anderer Autonomie oder schöne Dinge gemeinsam zu erreichen bestrebt sein." Irgendwie, und er hat keine Ahnung, wie wirklich, er denkt, diese Dinge müssen fest verdrahteten von Anfang an auf die Katastrophe zu vermeiden. Es ist nicht so gut bekommen Ihre Eule zuerst Fragen, wie es zu trainieren. Und mit künstlichen Systemen die beste menschliche Intelligenz in vielen diskreten Bereichen bereits überlegen, eine Gespräch über wie dies bewerkstelligt werden kann ist schon überfällig.

Das Gefühl der geistigen Dringlichkeit über diese Fragen ergibt sich teilweise aus was Bostrom eine "Heilige drei Könige-Erfahrung", die auftrat nennt, als er in seiner Jugend war. Er fand sich im Jahr 1989 in einer Bibliothek und nahm nach dem Zufallsprinzip eine Anthologie der deutschen Philosophie des 19. Jahrhunderts, mit Werken von Nietzsche und Schopenhauer. Neugierig geworden, er las das Buch in einem nahe gelegenen Wald, auf einer Lichtung, die er verwendet, um allein zu sein und schreiben Poesie zu besuchen. Fast unmittelbar erlebte er einen dramatischen Sinn für die Möglichkeiten des Lernens. War es wie eine Umwandlung Erfahrung?

"Mehr ein Erwachen," sagt er. "Es fühlte sich wie ich durch mein Leben bis dahin Schlafwandler hatte und jetzt war ich bewusst etwas breiteren Welt, die ich hatte nicht gedacht."

Nach ersten Stellen führt und Notizen in der Philosophie-Buch Bostrom über Erziehung selbst im Schnelldurchlauf. Er las fieberhaft, und in Freizeit, die er malte und schrieb Gedichte, Studium der Philosophie und mathematische Logik an der Universität Göteborg, schließlich zu nehmen, bevor eine Promotion an der London School of Economics und lehrte an der Yale University.

Setzte er fort zu malen und zu schreiben?

"Es schien mir irgendwann, dass mathematische Verfolgung wichtiger war," sagt er. "Ich fühlte mich die Welt enthielt bereits eine Menge Bilder und ich war nicht davon überzeugt, dass es ein paar mehr benötigt. Dasselbe könnte für Poesie gesagt werden. "Aber vielleicht brauchte es ein paar mehr Ideen, wie die Zukunft navigieren."

Eines der Gebiete, in denen AI Fortschritte macht, ist in seiner Fähigkeit zu komponieren Musik und Kunst zu schaffen und auch zu schreiben. Vorstellen er sich, dass Kugel zu schnell von einer Superintelligenz besiedelt werden wird, oder es eine letzte Redoute des Menschen wird?

"Ich kaufe nicht die Behauptung, dass die künstliche Komponisten derzeit mit den großen Komponisten konkurrieren können. Vielleicht für kurze Bursts aber nicht über eine ganze Symphonie. Und mit der Kunst, obwohl sie repliziert werden, kann die Aktivität selbst hat Wert. Sie würde noch aus Gründen der Gemälde zu malen."

Authentizität, die vom Menschen geschaffenen, gewinnt zunehmend an Bedeutung?

"Ja, und nicht nur mit Kunst. Wenn Maschinen alles besser tun können als wir es tun können, würden wir fortfahren, Dinge zu tun, weil wir sie gern. Wenn Menschen Golf ist es nicht, weil sie den Ball in aufeinanderfolgenden Löcher effizient aufzuhalten brauchen spielen, denn sie genießen es zu tun. Je mehr Maschinen kann alles, was wir, desto mehr Aufmerksamkeit geben wir zu diesen Dingen tun können, dass wir um ihrer selbst Willen schätzen."

Früh in seiner geistigen Reise hat Bostrom ein paar Stationen als philosophische standup Comic um seine kommunikativen Fähigkeiten zu verbessern. Mit ihm zu reden, und sein Werk zu lesen, eine Kante des Wissens Absurdität an das schiere Ausmaß der Probleme ist nie völlig abwesend aus seiner Argumente. Die Achsen der abschreckend wirkende Grafiken in seinen Papieren werden bei näherer Betrachtung in Bezug auf "erträglich", "vernichtende" und "höllische" kalibriert werden. In seiner Einleitung zum Superintelligenz, die Beobachtung "Viele Punkte in diesem Buch sind wahrscheinlich falsch" in der Regel führt zu einer Fußnote, die lautet: "Ich weiß nicht, welche." Fühlt er sich manchmal, dass er ist morphing in Douglas Adams?

"Manchmal die Arbeit seltsam scheint,", sagt er. "Dann von einem anderen Punkt scheint es seltsam, dass ein Großteil der Welt ist völlig blind für die wichtigsten Dinge, die geschehen im 21. Jahrhundert." Sogar Leute, die reden über die globale Erwärmung erwähnen nie jede Bedrohung durch AI."

Weil es ihre Botschaft verwässern würde?

"Vielleicht. Zu jeder Zeit in der Geschichte scheint es mir, dass es nur einen offiziellen globales Anliegen. Jetzt ist es der Klimawandel, oder manchmal Terrorismus. Als ich aufwuchs, war es nuklearen Armageddon. Dann war es Überbevölkerung. Einige sind sinnvoller als andere, aber es ist wirklich ganz zufällig."

Bostrom Leidenschaft ist zu versuchen, einige Mathematik für diese Zufälligkeit zu gelten. Denkt er, dass Bedenken über AI von der globalen Erwärmung als mehr drohenden absehbarer Zeit übernehmen werden?

"Ich bezweifle es,", sagt er. "Es wird allmählich und nahtlos ohne uns wirklich Adressierung es kommen."

Wenn wir sind überall für seine Entstehung, Google, Aussehen scheint ist die werfen eines Großteil seiner beispiellosen Ressourcen bei tiefen Lerntechnologie (nicht zuletzt mit dem Kauf im Jahr 2014 der britischen Pionier DeepMind) einen angemessenen Platz zu starten. Google hat offenbar eine AI-Ethik-Gremium zu diesen Fragen zu konfrontieren, aber niemand weiß, wer darauf sitzt. Hat Bostrom glauben in seine "Nicht böse sein" Mantra?

"Es ist sicherlich eine Kultur unter Tech-Menschen, die sie fühlen, dass sie etwas tun wollen, die nicht nur um Geld zu verdienen, sondern dass Sie vielmehr einen positiven sozialen Zweck. Es ist dieser Idealismus."

Helfen er kann, die Richtung von Idealismus zu gestalten?

"Es ist nicht so sehr, dass seinen eigenen Einfluss wichtig ist", sagt er. "Wer eine Rolle hat bei der Hervorhebung dieser Argumente wird wertvoll sein. Wenn das Menschsein wirklich in unserem Jahrhundert grundlegend verändern, befinden wir uns an einem wichtigen Wendepunkt in der Geschichte." Und wenn Bostrom mehr nihilistischen Vorhersagen korrekt sind, haben wir nur einen gehen in die Natur der neuen Intelligenz die richtige.

Letztes Jahr Bostrom Vater geworden. (In der Regel seine Ehe erfolgt weitgehend durch Skype – seine Frau, eine Ärztin, lebt in Vancouver) Ich frage mich, bevor ich gehe, wenn ein Vater zu seinen Sinn für die Realität dieser futuristischen Themen geändert hat?

"Nur in dem Sinne, dass es dieser doppelten Perspektive, die positiven und negativen Szenarien betont. Diese Art von intellectualising, dass unsere Welt grundlegend umgestaltet werden könnte, auf diese Weise scheint immer viel schwieriger zu Krediten auf einer persönlichen Ebene. Ich denke, ich lasse beide dieser Perspektiven so viel Raum wie kann ich in meinem Kopf. "

Zur gleichen Zeit wie er diesen Gedanken Experimente unterhält, schlage ich vor, weiterhin die Hälfte die Welt besorgt wo ihre nächste Mahlzeit herkommt. Besteht die Gefahr von Superintelligenz durchaus eine elitäre Angst? Denken die meisten von uns nicht an die langfristigste Zukunft, da gibt es mehr als genug, um in der Gegenwart zu kümmern?

"Wenn es kam zu dem Punkt wo die Welt verbrachte Hunderte von Milliarden von Dollar auf dieses Zeug und nichts auf die regelmäßigen Dinge, dann könnte man anfangen zu es in Frage zu stellen," sagt er. "Schaut man sich all die Dinge, die die Welt auf Geld auszugeben ist, was wir tun, weniger als einen Hungerlohn ist." Sie gehen, um einige zufällige Stadt und fahren Sie vom Flughafen zu Ihrem Hotel. Entlang der Autobahn sehen Sie diese riesige Gebäude für Unternehmen, mit denen Sie noch nie gehört haben. Vielleicht entwerfen sie eine neue Werbekampagne für eine Rasierklinge. Sie fahren vorbei an Hunderten von diesen Gebäuden. Eine dieser hat mehr Ressourcen als die Summe, die Menschheit ist auf diesem Gebiet zu verbringen. Wir haben die halbe Etage eines Gebäudes in Oxford, und es gibt zwei oder drei anderen Gruppen was wir tun. Also ich, es denke ist OK."

Und wie, Frage ich, könnten wir als einzelne und als Bürger denken und umrahmen diese Risiken für die Existenz unserer Spezies? Bostrom zuckt ein wenig. "Wenn wir daran, diesen sehr langen Zeitraum hinaus denken, dann ist es klar, dass sehr kleine Dinge, die wir jetzt einen signifikanten Unterschied in dieser Zukunft machen können."

Eine neuere Arbeit von Bostrom, die ich später zu Hause lesen, enthält eine kleine Faustregel Bedenken. Bostrom nennt es "Maxipok". Es basiert auf der Idee, dass "das Ziel einer Reduzierung existentielle Risiken eine dominante Rolle sein sollte wenn wir aus einer unpersönlichen Sorge für die Menschheit als Ganzes handeln." Was Maxipok? Versuchen, "Maximierung der Wahrscheinlichkeit eines"OK Ergebnisses", wo ein OK Ergebnis jedes Ergebnis ist das existentielle Katastrophe verhindert."

Es klingt sicher einen Versuch wert.

• Superintelligenz: Pfade, Gefahren, Strategien wird herausgegeben von der Oxford University Press, £9,99. Klicke hier um es für £7,99 kaufen

• Die in diesem Artikel am 13. Juni 2016 geändert. Eine frühere Version gesagt: ein offener Brief von herausragenden Wissenschaftlern unterzeichnet war eine direkte Folge der Bostrom Buch, sondern als ein Zufall.