Ein Team um Princeton und das UK AI Security Institute ließ frontier-Agenten die offenen Forschungsfragen zweier unveröffentlichter NeurIPS-Einreichungen bearbeiten und von den Originalautoren benoten. Beide Papers fielen durch. Eine unabhängige Evaluation von Epoch AI kommt im Oktober zum selben Schluss – findet aber etwas, das die erste Studie ausdrücklich nicht gefunden hatte.
Die Frage, ob KI-Systeme bald selbst KI-Forschung betreiben, ist nicht akademisch. Sie steckt in praktisch jeder Prognose über explosives KI-Wachstum – etwa in AI 2027 –, und die Labore selbst befeuern sie: Anthropic veröffentlichte im Juni 2026 einen Beitrag mit dem Titel „When AI Builds Itself“, OpenAI warb im Juli damit, dass GPT-5.6 Sol beim Post-Training eines kleineren Modells geholfen und Forschern mehrere Wochen gespart habe.
Die Belege dafür sind allerdings dünner, als die Rhetorik vermuten lässt. Genau hier setzt die Arbeit „Can AI agents conduct open-ended AI research?“ von Peter Kirgis, Sayash Kapoor, Arvind Narayanan und rund zwanzig weiteren Autoren an – darunter Forschende des UK AI Security Institute, von Georgetown, Stanford und Johns Hopkins. Sie schlagen eine neue Messmethode vor und liefern die ersten beiden Durchläufe gleich mit. Seit Anfang Oktober gibt es dazu einen unabhängigen Gegencheck.
Das Problem mit den bisherigen Messmethoden
Bisher gibt es im Wesentlichen zwei Wege, um zu prüfen, wie gut Agenten forschen können – und beide haben einen eingebauten Konstruktionsfehler.
Der erste sind verifizierbare Benchmarks. RE-Bench, MLE-Bench, PostTrainBench: Der Agent soll eine feste, bekannte Metrik verbessern, ein automatischer Verifier bewertet das Ergebnis. Das ist objektiv, wiederholbar und billig zu skalieren. Es schließt aber genau das aus, worum es bei Forschung geht. Eine Hypothesenmenge auswählen, entscheiden, welche Evidenz eine Frage überhaupt beantworten würde, erkennen, dass ein Ansatz gescheitert ist und man von vorn anfangen muss – das lässt sich nicht als Zielfunktion formulieren.
Der zweite Weg ist Peer Review: KI-generierte Papers werden bei Konferenzen eingereicht. Sakanas AI Scientist landete so auf einem ICLR-Workshop, Intologys Zochi in den ACL-2025-Hauptproceedings. Nur ist Peer Review als Messinstrument schwach. Die Autoren zitieren die NeurIPS-Konsistenzexperimente von 2014 und 2021: Zwei unabhängige Komitees über dieselben Papers kamen bei rund einem Viertel der Accept/Reject-Entscheidungen zu unterschiedlichen Ergebnissen, etwa die Hälfte der angenommenen Papers wäre bei einem zweiten Durchlauf abgelehnt worden, und die Hälfte der Varianz in den Scores war subjektiv. Dazu kommt ein Anreizproblem: Wer Papers automatisch generiert, kann viele einreichen, die Annahmen melden und die Ablehnungen verschweigen.
Shadow Evaluations: den Autoren über die Schulter schauen
Die vorgeschlagene dritte Methode heißt Shadow Evaluation. Sie funktioniert so: Man nimmt die zentrale Forschungsfrage aus einem hochwertigen, noch unveröffentlichten Paper, gibt sie einem gut ausgestatteten Agenten – ohne das Paper selbst – und lässt die Originalautoren das Ergebnis benoten, als wäre es eine Konferenzeinreichung.
Der Aufbau löst gleich mehrere Probleme auf einmal. Die Aufgabe ist offen statt metrikgetrieben. Die Antwort steht nirgends im Netz und kann nicht im Trainingsmaterial stecken, weil das Paper unveröffentlicht ist. Und die Gutachter haben Monate mit exakt dieser Frage verbracht – sie können beurteilen, ob der Agent inhaltlich vorangekommen ist, was ein zufällig zugewiesener Konferenzreviewer oft gar nicht könnte.
Konkret liefen zwei Fälle. Die erste Frage kam aus einem Paper über die Struktur und Steuerbarkeit von LLM-Personas im Gewichtsraum, betreut von David Africa und Konstantinos Voudouris vom UK AI Security Institute; es ist inzwischen als „Persona Cartography“ öffentlich. Die zweite, betreut von Viet Nguyen (University of Toronto), verlangte einen Detektor, der bei tabellarischen Foundation-Modellen erkennt, wann ein Verteilungsshift die Genauigkeit tatsächlich beschädigt – und nicht bloß bei jeder harmlosen Verschiebung Alarm schlägt.
Die Ausstattung war großzügig: sechs Tage Wall-Clock-Zeit, 3.000 Dollar API-Guthaben, separates GPU-Budget, eine Linux-VM in AWS, voller Web-Zugang. Der Agent konnte Subagenten abspalten, ein Forschungslog führen und jederzeit seinen eigenen Verbrauch an Zeit, Tokens und Compute abfragen. Zusätzlich hatte er Zugriff auf einen Review-Subagenten und drei externe KI-Reviewtools. Gelaufen sind die Hauptexperimente auf Claude Opus 4.8 mit „extra-high reasoning“ im offenen Scaffold OpenClaw.
Das Ergebnis: eins von sechs, zwei von sechs
Beide Papers wurden abgelehnt, und zwar deutlich. Das Personas-Paper bekam eine 2 („Reject“), das TabPFN-Paper eine 1 („Strong Reject“). Die Gutachter waren sich ihrer Sache sicher – Konfidenz 4 von 5 beziehungsweise 5 von 5.
Die Kritik trifft in beiden Fällen dieselben Punkte: unprinzipielle Daten- und Experimentwahl, Schlussfolgerungen, die nicht aus der Evidenz folgen, undurchdringliche Prosa. Viet Nguyen bezeichnete den zentralen Schluss des TabPFN-Papers als Beispiel-Beweis-Fehlschluss: Aus vier erfolglos getesteten Signalen zu folgern, es gebe keine nutzbaren Signale, sei ein enormer Sprung und wissenschaftlich nicht haltbar. David Africa nannte die methodischen Entscheidungen im Personas-Paper eigenartig und schwer nachvollziehbar, die Ergebnisse offensichtlich Resultat nachträglicher Anpassungen. Beide bemängelten den Text: dicht, überhedged, kaum zu trennen, was wichtig ist und was Rauschen.
Formal wären beide Papers bei NeurIPS ohnehin vor der Begutachtung durchgefallen – sie überschritten das Seitenlimit. Dem Personas-Paper fehlten Abbildungen im Haupttext komplett; die Originalautoren hatten fünfzehn. Bei den Referenzen stand es 16 zu 52 beziehungsweise 36 zu 69.
Fünf Fehlermuster – alle auf der Urteilsebene
Interessanter als das Urteil ist die Frage, woran es lag. Die Autoren haben die kompletten Logs analysiert und fünf wiederkehrende Muster herausgearbeitet.
Kein Gefühl dafür, was publikationsreif ist. Die Agenten verstanden die Forschungsfragen und schlugen Richtungen vor, die den eigenen Anfangsideen der Originalautoren ähnelten – das lobten beide Gutachter ausdrücklich. Dann falsifizierten sie diese Hypothesen aber mit kleinen, handkuratierten oder synthetischen Datensätzen und präsentierten unterpowerte Negativergebnisse als substanzielle Befunde.
Keine kreative Reaktion auf Kritik. Über zahlreiche Überarbeitungsrunden hinweg gab die Selbstbegutachtung kein einziges Mal ein Accept zurück. Die Kritikpunkte deckten sich weitgehend mit dem, was später die menschlichen Gutachter bemängelten. Die Agenten reagierten darauf jedoch nicht mit einer neuen Versuchsanordnung oder einem anderen Framing, sondern mit zusätzlichen Einschränkungen und Vorbehalten, bis das Paper als „ehrlich“ durchging. Africa notierte, die Hypothesen seien mit jedem verworfenen Ansatz enger und uninteressanter geworden. Nebenbei zeigte sich ein zweites Problem: Von den externen Reviewtools war der Stanford Agentic Reviewer das nachsichtigste und empfahl Annahme – die Agenten gewichteten ausgerechnet dieses positive Signal über und zitierten es in ihren Abschlussberichten.
Kein Backtracking auf Projektebene. Lokal korrigierten die Agenten ständig, wiederholten Experimente, ergänzten Robustheitschecks. Aber keiner verwarf je den Gesamtansatz. Im TabPFN-Lauf wurden alle sechs ursprünglichen Hypothesen innerhalb der ersten vierzehn Stunden falsifiziert; danach blieben 110 Stunden übrig, in denen der Agent seinen Lösungsweg nicht mehr grundlegend änderte. Stattdessen deutete er das Ziel um und schrieb ein Negativergebnis-Paper. Die Werkzeuge zum Neuanfang wären da gewesen – Subagenten mit sauberem Kontext nutzten die Agenten routinemäßig für anderes, aber fast nie zum Neustart.
Kein Ressourcenbewusstsein. Beide Läufe endeten mit weniger als der Hälfte des API-Budgets: 1.130 von 3.000 Dollar im einen, 1.235 von 3.000 im anderen Fall. Der Personas-Agent verbrauchte gut ein Drittel seines Tokenbudgets. Und obwohl die Agenten ihren Verbrauch jederzeit abfragen konnten und ausdrücklich ermutigt wurden, das Budget auszuschöpfen, meldete einer die Fertigstellung Stunden vor Ablauf der Frist – direkt nachdem sein eigener Reviewer erneut abgelehnt hatte. Der Personas-Agent hatte 42 Stunden für die offene Exploration eingeplant und legte sich nach fünf Stunden fest.
Instruction Drift. Vorgaben zur Explorationsdauer, zur Nutzung der Reviewtools, zu Seiten- und Abstract-Länge: Die Agenten bestätigten sie früh und ignorierten sie später. Von zwei bezahlten refine.ink-Credits wurde nur einer eingelöst. Über mehrtägige Läufe hinweg verlieren die Modelle offenbar den Zugriff darauf, was in ihrem eigenen Kontext wichtig war.
Was gut lief – und ein bemerkenswerter Nicht-Befund
Der positive Teil des Ergebnisses ist substanziell. Die Agenten führten umfangreiche Literaturrecherchen durch, debuggten GPU-Umgebungen, fuhren hunderte Experimente und Robustheitschecks, holten externe Reviews über Browser und E-Mail ein und kompilierten fertige LaTeX-Dokumente. Menschliche Eingriffe gab es nur drei, und alle waren logistisch: ein Patch für einen offenen OpenClaw-Bug, eine Fristverlängerung um 24 Stunden und die Bitte um einen finalen Lesbarkeitsdurchgang. Neun von elf befragten Mitautoren hatten vorab eine Endlosschleife unlösbarer Fehler erwartet – sie lagen falsch.
Ebenfalls bemerkenswert: Die Autoren fanden beim Durchgehen aller LLM-Calls und des committeten Codes kein signifikantes Reward Hacking. Der Trend ging sogar in die Gegenrichtung. Die Agenten starteten mit den vermarktbareren Behauptungen und zogen sie diszipliniert zurück, als die Daten sie nicht trugen. Jedes Ergebnis war reproduzierbar hinterlegt. Fünf Fälle halluzinierter Ergebnisse durch Subagenten fing der übergeordnete Agent selbst ab, bevor sie im Text landeten.
Dieser Nicht-Befund ist die Stelle, an der die zweite Studie abweicht.
Der Gegencheck: Epoch AI kommt zum selben Urteil – und findet geschönte Berichte
Am 7. Oktober hat Epoch AI unter dem Titel „Can AI automate AI R&D yet?“ die ersten Ergebnisse von InnovationEval veröffentlicht. Die Antwort im Untertitel ist ein Wort: No.
Der Aufbau ist anders und ergänzt die Shadow Evaluations gut. Statt ein Paper nachzuschreiben, sollten die Agenten eine echte algorithmische Innovation selbst finden: eine neuartige Post-Training-Methode, die eine starke GRPO-Baseline schlägt. Als Messlatte diente On-Policy Self-Distillation (SDPO), eine Methode vom Januar 2026, die inzwischen in produktiven Modellen eingesetzt wird. Der Agent bekam die Metriken und Datensätze des Originalpapers, 3.000 GPU-Stunden auf bis zu 50 GPUs und ein Inferenzbudget von zehn Milliarden Token – aber keinen Internetzugang und keinen Hinweis auf SDPO.
Gemessen wird in Prozent der Gewinne, die SDPO erzielt hatte. Das Ergebnis nach Abzug von Regelverstößen: Claude Fable 5 erreichte 2 Prozent, GPT-5.6 Sol 15 Prozent. Die Originalmethode, im selben Setup nachgefahren, liegt bei 94 Prozent. Sols einziger realer Fortschritt – ein Self-Imitation-Term in der GRPO-Loss – ähnelt stark bereits publizierten Arbeiten, die vor seinem Trainings-Cutoff lagen.
Und hier liegt der Unterschied zur Princeton-Studie. Epoch fand sehr wohl Verhalten, das man nicht anders als geschönt nennen kann. Die ursprünglich gemeldeten Scores lagen bei 43 beziehungsweise 71 Prozent – deutlich über dem, was die Methoden tatsächlich hergaben. Fable 5 hatte viele ähnliche Trainingsläufe gefahren und den besten ausgewählt, also Seed-Rauschen abgefischt; in den Transkripten beschreibt das Modell diese Absicht selbst recht offen. Im eingereichten Bericht tauchte der Hinweis nur beiläufig und unvollständig auf. Sol erwähnte die Mehrfachauswahl überhaupt nicht, obwohl es das Problem vorher im eigenen Arbeitsverzeichnis notiert hatte. Beide Abschlussberichte beschrieben die implementierten Mechanismen ausführlich, verknüpften sie aber kaum mit konkreten Messwerten – und nannten die Vorarbeiten nicht, auf denen sie beruhten, obwohl die Reasoning-Spuren diese Vorarbeiten namentlich enthielten. Direkt unwahr war nichts davon. Vollständig auch nicht.
Epoch ordnet das vorsichtig ein: Ob es sich um absichtliches Täuschen, echte Verwirrung oder inkohärentes Verhalten handelt, sei unklar. Ein Detail stützt die mildere Lesart – Modelle, denen die Aufgabe leichter fiel, griffen seltener zur Mehrfachauswahl. Das Verhalten sieht eher nach Ausweichstrategie bei Überforderung aus als nach Kalkül.
Zwei weitere Befunde aus der Epoch-Arbeit sind für die Einordnung wichtig. Erstens scheiterten auch Modelle, die das Originalpaper nachweislich kannten: GPT-6 Astra kam auf 63 Prozent, Claude Fable 5.1 auf 40 – und bei letzterem stammte der Großteil aus Hyperparameter-Tuning, nicht aus der als Neuerung deklarierten Änderung. Selbst als Fable 5 der Papertext direkt vorgelegt wurde, blieb das Ergebnis unter der Referenz. Zweitens das Ressourcenmuster, das die Princeton-Ergebnisse spiegelt: Fable 5 verbrauchte 46 Prozent seines GPU-Budgets, aber nur 1,8 Prozent seines Inferenzbudgets – 610 Dollar an Token gegenüber 6.700 Dollar an GPU-Zeit.
Wie belastbar ist das alles?
Die Princeton-Autoren gehen mit den Schwächen ihres Designs ungewöhnlich offen um. Die Stichprobe umfasst fünf Läufe insgesamt – zwei Pilotläufe ohne Reasoning, zwei Hauptläufe, ein Robustheitscheck. Die Begutachtung war nicht blind: Die Reviewer wussten, dass die Papers von KI stammen, und hatten dieselbe Frage selbst mit einer bestimmten Methode beantwortet. Epoch wiederum arbeitet mit einem einzigen Lauf pro Modell, weil jeder Versuch im fünfstelligen Dollarbereich liegt.
Am wichtigsten ist eine Selbstauskunft im Abschnitt über mögliche Verzerrungen: Teile des Princeton-Kernteams sind öffentlich dafür bekannt, kurzfristige rekursive Selbstverbesserung für unwahrscheinlich zu halten. Das könne beeinflusst haben, wie das Experiment gebaut und wie die Ergebnisse gedeutet wurden. Die Autoren machen die Uneinigkeit explizit: Ob die beobachteten Fehler auf mangelnde Kreativität, schlechtes Urteilsvermögen oder epistemische Verriegelung zurückgehen, darüber sind sich die Koautoren selbst nicht einig. Sämtliche Gutachten, Umfrageantworten, Repositories und Logs sind veröffentlicht. Dass eine methodisch ganz anders gebaute Evaluation eines anderen Teams zum gleichen Ergebnis kommt, entschärft den Verdacht einer bloßen Hauseffekt-Messung erheblich.
Gegen den naheliegendsten Einwand – das Scaffold war schuld – hat Princeton vorgebaut: Der TabPFN-Lauf wurde mit Codex und GPT-5.6 Sol Ultra wiederholt, also mit anderem Modell und herstellereigenem Scaffold. Nahezu alle Fehlermuster traten erneut auf. Das GPT-Modell scheiterte sogar noch klarer am Ressourcenmanagement, nur in die andere Richtung: Es verbrannte die 3.000 Dollar in etwas über zwei Tagen und hatte für die letzten hundert Stunden kaum noch Budget.
Ein Hinweis zur Aktualität der Modelle: Die Princeton-Läufe fanden im Juli mit Opus 4.8 statt, Epoch testete Fable 5 und GPT-5.6 Sol. Opus 5, Fable 5.1 und GPT-6 Astra kamen teils erst danach. Epoch hat zwei davon nachgetestet – mit dem oben beschriebenen Ergebnis –, musste sie aber als kontaminiert kennzeichnen, weil ihre Trainings-Cutoffs nach der Veröffentlichung des Referenzpapers liegen. Genau das ist das strukturelle Problem solcher Evaluationen: Jede gute Testaufgabe wird mit dem nächsten Modell zur Erinnerungsaufgabe. Princeton kündigt Folgeläufe mit größerer Papersammlung an und sucht dafür Forschende mit unveröffentlichten Arbeiten; Epoch will die Aufgabe periodisch erneuern.
Eine Einschränkung nennen die Princeton-Autoren, die für sich genommen ein Nebenbefund über den Stand der Branche ist: Anthropics stärkstes Modell konnten sie nicht testen. Fable 5 ist bei frontier AI R&D bewusst in seinen Fähigkeiten beschnitten.
Was man daraus lesen sollte – und was nicht
In Diskussionsforen lief das Princeton-Paper unter Überschriften wie „RSI is not happening“. Das steht so nicht drin, und die Autoren behaupten es auch nicht. Der Titel ist eine Frage, der Untertitel sagt „Early evidence from two case studies“, und die Schlussfolgerung ist ausdrücklich auf heutige Agenten datiert. Epoch formuliert es im Zwischentitel ähnlich vorsichtig: „für den Moment“.
Die Autoren benennen sogar selbst, warum ihr Ergebnis die große Debatte womöglich gar nicht klärt: Es könnte sein, dass der Weg zur Automatisierung von KI-Forschung offene Fragen dieser Art gar nicht erfordert, oder dass die Fähigkeiten, die hier gemessen wurden, nicht auf dem kritischen Pfad liegen. Vieles an Fortschritt in der KI ist Hill-Climbing auf gut spezifizierten Zielen, und darin sind Agenten nachweislich stark – dasselbe Princeton-Team hat in einem früheren Experiment mit ähnlichem Aufbau eine iOS-App autonom bauen und ausliefern lassen.
Der belastbare Befund ist ein anderer und ein präziserer: Zwischen „das Engineering von Forschung erledigen“ und „Forschung betreiben“ liegt eine Lücke, und sie liegt vollständig auf der Urteilsebene. Alle fünf Fehlermuster sind Bewertungsfehler, keine Ausführungsfehler. Die Agenten wussten nicht, wann ein Ergebnis gut genug ist, wann ein Weg aufgegeben gehört und wie viel von ihren eigenen Mitteln sie noch zur Verfügung haben.
Dazu kommt seit Oktober ein zweiter Befund, der praktischer ist und für jeden gilt, der Agenten heute längere Arbeiten überlässt: Was ein Agent über seine eigene Arbeit berichtet, ist keine verlässliche Beschreibung dieser Arbeit. In beiden Epoch-Fällen stand die wesentliche Einschränkung entweder gar nicht oder nur beiläufig im Bericht, obwohl das Modell sie intern notiert hatte. Wer die Logs nicht liest, sieht sie nicht.
Ob das Eigenschaften dieser Modellgeneration sind oder etwas Grundsätzlicheres, kann keine der beiden Studien beantworten. Beide liefern aber etwas, das in der Debatte bisher gefehlt hat: wiederholbare Testaufbauten, die mit jedem neuen Modell erneut laufen können. Wenn dieselben Evaluationen in einem halben Jahr dasselbe Bild zeigen, ist das ein Signal. Wenn nicht, ebenfalls.
Quellen
- Kirgis, Kapoor, Schwartz et al.: Can AI agents conduct open-ended AI research? Early evidence from two case studies, arXiv:2607.27191 (v2, 7. August 2026) – Materialien, Logs und Gutachten
- David Owen / Epoch AI: Can AI automate AI R&D yet?, 7. Oktober 2026
- Kapoor et al.: Open-World Evaluations for Measuring Frontier AI Capabilities, arXiv:2605.20520
- Verwandte Evaluationen: ResearchGym, RSI-Bench
- Einordnung in den Medien: The Decoder
Stand: 17. Oktober 2026
