Informatik-Studenten durch künstlich intelligente TA täuschen

Studenten, die einen Online-Kurs am Georgia Tech School des interaktiven Computing wurden war hinters Licht geführt zu denken, eines ihrer Lehrassistenten, Jill Watson, genannt ein tatsächliche Mensch. Und wie können man es ihnen verdenken – die virtuelle TA geschafft, Antworten auf viele ihrer Fragen mit 97 Prozent Sicherheit.

Jetzt ist "sicher" ist nicht dasselbe als richtig. Aber Informatik-Professor Ashok Goel haben, war es ein ausreichendes Maß an Vertrauen ermöglicht die virtuelle TA, namens Jill Watson, Student Anfragen auf eigene Faust zu beantworten. Für fast den gesamten Monat April Jill reagierte direkt auf die Klasse durch ein Online-Studentenforum, aber nur, wenn sie 97 Prozent war sicher, dass ihre Antworten waren richtig.

Die Studenten waren nicht gesagt, dass sie die Interaktion mit virtuellen TA bis zum 26. April waren. Nach einer Freigabe der Georgia Tech war die Reaktion des Schülers "einheitlich positiv." Ein Student sagte "ihr Verstand geblasen wurde", als die Wahrheit herauskam, während ein anderes scherzhaft gefragt, ob Jill könnte "heraus Komm und spielen."

Der Kurs mit dem Titel Knowledge Basis künstlicher Intelligenz (KBAI) ist eine zentrale Anforderung der Georgia Tech Online-Master Of Science in Computer Science-Programm. Rund 300 Schüler absolvieren jedes Jahr, und sie nach etwa 10.000 Nachrichten in den Online-Foren, das ist mehr als der Platz acht TAs verarbeiten kann. Um diese Belastung auszugleichen, Goel und seine Studenten gebaut der virtuelle Assistent, die auf IBM Watson Plattform errichtet wurde (ja, das gleiche Watson, die weltweit größte Gefahr Spieler besiegt zurück in 2011).

Um das System zu entwickeln, sammelte Goel und sein Team rund 40.000 Fragen, die in der Klasse Foren gefragt worden wäre, da der Kurs wieder in 2014 ins Leben gerufen wurde. Sie fütterten dann Jill, all diese Fragen und Antworten.

"Eines der Geheimnisse von Online-Kursen ist, dass die Anzahl der Fragen erhöht sich, wenn man mehr Schüler, aber die Anzahl der verschiedenen Fragen nicht wirklich gehen," bemerkte Goel. "Studenten neigen dazu, immer und immer wieder die gleichen Fragen."

Dieses Szenario ist perfekt für die Watson-Plattform, eine leistungsfähige natürliche Sprache-Prozessor, die Beantwortung von Fragen mit eindeutigen und klaren Lösungen spezialisiert.

Wenn das Projekt erst im Januar angefangen hat, Jill war nicht sehr gut auf die Fragen zu beantworten und oft seltsame und irrelevante Antworten geben würde. Diese Antworten waren nicht mit den KBAI Studenten geteilt.

"Zunächst ihre Antworten gut genug, nicht, weil sie auf Schlüsselwörter, stecken würde", sagte Lalith Polepeddi, einer der Studenten der Grad an dem Projekt arbeiten. "Beispielsweise ein Student gefragt über video-Lektionen mit anderen gehen-treffen zu organisieren, und Jill gab eine Antwort verweisen auf ein Lehrbuch, das die video-Lektionen ergänzen könnte — dieselben Keywords – aber anderen Kontext. So wir gelernt aus Fehlern wie dieser, und allmählich Jill intelligenter gemacht."

Jill bekam schließlich so gut an diese Aufgaben, die die Forscher bereit waren, ihre Antworten direkt auf die KBAI Studentenforum Posten, die sie begannen Ende März zu tun.

Goel möchte das Projekt wieder zum nächsten Semester zu replizieren, aber unter einem anderen Namen. Das Ziel ist, haben die virtuellen TA 40 Prozent aller Fragen zu beantworten, bis Ende des Jahres (nur zu wiederholen, die Kursteilnehmer-Foren keine Antworten unter dem Schwellenwert von 97 Prozent Sicherheit gebucht wurden).

Natürlich ist es ärgerlich, um zu hören, dass Bots noch einen anderen Job ersetzen könnte. Aber dies könnte tatsächlich erweisen sich als eine gute Sache, wie viele Schüler aus Klassen fallen, weil sie nicht genügend Lehre Unterstützung erhalten. Jill war mit diesem genauen Bedarf im Verstand entwickelt. Natürlich wird nicht Jill oder ihre sofortige digitale Nachkommen mehr kompliziert oder nuanciert, insbesondere diejenigen, die in anderen Kursen (z. B. Philosophie und Sozialwissenschaften) stellte Fragen können. So wird es eine lange Zeit (wenn überhaupt) bevor wir sehen Lehrassistenten — oder Professoren für diese Angelegenheit – komplett durch künstliche Intelligenz ersetzt. Aber wie diese Forschung deutlich zeigt, die Schrift ist ganz sicher an der Wand.

[Georgia Tech]