KI kürt die besten Studien der Welt – und spaltet die Wissenschaft

Was geschehen ist: Die Automatisierung der wissenschaftlichen Qualitätsprüfung

Das israelische Startup QED Science hat mit einem neuartigen Verfahren zur Bewertung wissenschaftlicher Publikationen für Aufsehen in der internationalen Forschungsgemeinschaft gesorgt. Das Unternehmen, ansässig in Tel Aviv, hat eine sogenannte „Science Validity Engine“ entwickelt, die darauf ausgelegt ist, wissenschaftliche Arbeiten automatisiert auf ihre Originalität und inhaltliche Korrektheit zu prüfen. Um die Leistungsfähigkeit dieses Systems zu demonstrieren, veröffentlichte das Startup kürzlich eine Liste der aus ihrer Sicht besten wissenschaftlichen Arbeiten im Bereich der Bio- und Lebenswissenschaften aus dem Zeitraum der vergangenen zwölf Monate. Diese Auswahl wurde unter dem Titel „The 1 Percent“ bekannt gemacht, in Anlehnung an den Begriff der „One Percenter“, der üblicherweise die wohlhabendste Bevölkerungsschicht beschreibt. Nun dürfen sich auch bestimmte Forschungsprojekte mit diesem exklusiven Prädikat schmücken. Die Veröffentlichung dieser Liste hat jedoch eine intensive Debatte innerhalb der Wissenschaftslandschaft ausgelöst. Während das Startup die Effizienz und Objektivität seines KI-gestützten Ansatzes betont, äußern zahlreiche Wissenschaftlerinnen und Wissenschaftler erhebliche Bedenken hinsichtlich der methodischen Transparenz, der Gefahr von algorithmischen Verzerrungen und der generellen Reduzierung komplexer wissenschaftlicher Leistungen auf einen simplen numerischen Score. Die Kontroverse verdeutlicht den wachsenden Druck auf das traditionelle Peer-Review-System und die Unsicherheit darüber, welche Rolle künstliche Intelligenz bei der Validierung von Wissen in Zukunft spielen sollte.

Die Einzelheiten: Methodik und der „QED Score“

Der Prozess, den QED Science für seine Analysen nutzt, ist hochkomplex und basiert auf einer Multi-Agenten-Architektur. Um eine Studie zu bewerten, wird das Dokument zunächst vollständig anonymisiert, um den Einfluss von Namen oder Institutionen auf das Ergebnis zu minimieren. Anschließend wird der Text in seine Bestandteile zerlegt und von verschiedenen, spezialisierten KI-Agenten untersucht. Ein Agent konzentriert sich beispielsweise auf die Konsistenz der Abbildungen, ein weiterer prüft die Übereinstimmung mit bestehender Fachliteratur, während ein dritter die statistischen Berechnungen auf ihre Plausibilität hin analysiert. Die Ergebnisse dieser spezialisierten Agenten werden in einem finalen Schritt von einer übergeordneten KI zusammengeführt und verifiziert. Daraus resultiert eine Rohpunktzahl, die sich aus den Dimensionen Originalität – also der Innovationskraft der Methodik – und Validität – der Genauigkeit der Berechnungen – zusammensetzt. Nach einer Gewichtung wird der „QED Score“ als Perzentilrang ausgegeben. Ein Wert von 80 bedeutet beispielsweise, dass die Arbeit besser bewertet wurde als 80 Prozent der Vergleichsstudien. Für die aktuelle Auswertung „The 1 Percent“ analysierte das Startup insgesamt 57.455 Preprint-Studien der Plattform bioRxiv, die zwischen Mai 2025 und April 2026 publiziert wurden. Davon schafften es 574 Arbeiten in das oberste Perzentil. Das Unternehmen verglich diese KI-Ergebnisse zudem mit menschlichen Gutachten, um die Validität des eigenen Systems zu untermauern.

Hintergrund: Die Krise des Peer-Review-Systems

Die Entwicklung von QED Science fällt in eine Zeit, in der das traditionelle Peer-Review-Verfahren unter erheblichem Druck steht. In der Wissenschaft ist es üblich, dass Fachaufsätze vor ihrer Veröffentlichung in renommierten Journalen wie „Nature“ von unabhängigen Experten geprüft werden. Dieser Prozess soll sicherstellen, dass die Forschungsmethoden fundiert sind und die Ergebnisse den wissenschaftlichen Standards entsprechen. Doch das System stößt an seine Kapazitätsgrenzen. Das Volumen an wissenschaftlichen Publikationen wächst rasant, während die Zahl der verfügbaren Gutachterinnen und Gutachter nicht im gleichen Maße steigt. Da diese Tätigkeit in der Regel ehrenamtlich erfolgt, ist die Bereitschaft zur Übernahme komplexer Prüfaufgaben begrenzt. Dies führt zu langwierigen Verzögerungen, die teilweise Jahre in Anspruch nehmen können. Wenn eine Studie nach einer so langen Zeit endlich veröffentlicht wird, sind die Ergebnisse im schnelllebigen Forschungsbetrieb oft bereits veraltet. Zudem ist das menschliche Urteil, wie jede Form der menschlichen Interaktion, anfällig für Bias, Interessenskonflikte und persönliche Missgunst. Genau hier setzt die Vision von QED Science an: Die KI soll als Werkzeug dienen, um den Prozess zu beschleunigen, die Last von den Schultern der Experten zu nehmen und eine vermeintlich objektivere Bewertungsgrundlage zu schaffen, die frei von menschlichen Vorurteilen agiert.

Die Beteiligten: Akteure und ihre Positionen

Die Debatte wird von verschiedenen Seiten geführt. Auf der einen Seite steht das Startup QED Science mit seinem Mitgründer Niv Mastboim. Er betont im Gespräch mit „Nature“, dass das Ziel des Unternehmens darin bestehe, wissenschaftliche Arbeiten rein nach ihrem Inhalt zu beurteilen, unabhängig von der Reputation der Autoren oder dem Prestige der Fachzeitschrift, in der sie erscheinen. Auf der anderen Seite stehen kritische Stimmen aus der akademischen Welt. Der Medizinprofessor Ran Blekhman von der Universität Chicago hat sich in einem Blogbeitrag kritisch zur mangelnden Transparenz der Implementierung geäußert. Ebenso meldete sich der Biowissenschaftler Sina Booeshaghi von der Universität Kalifornien zu Wort, der die methodische Vorgehensweise des Startups und die Qualität der Vergleichsstudien infrage stellt. Betroffen sind letztlich alle Forschenden, die ihre Arbeiten auf Plattformen wie bioRxiv veröffentlichen. Auch Universitäten und Unternehmen, die das QED-Tool für interne Prüfungen vor der Veröffentlichung einsetzen könnten, sind zentrale Akteure in diesem Szenario. Die Auseinandersetzung zeigt einen tiefen Riss zwischen den Befürwortern einer technokratischen Effizienzsteigerung und den Verfechtern einer wissenschaftlichen Praxis, die auf menschlicher Expertise und nachvollziehbaren, transparenten Prozessen basiert.

Einordnung: Bewertung des KI-Einsatzes

Einzuordnen ist das Vorgehen von QED Science als ein Versuch, die algorithmische Vorherrschaft in der Wissenschaft zu etablieren. Den Berichten zufolge steht die Fachwelt vor einer Zäsur: Wenn eine KI entscheidet, welche Forschung als „die beste“ gilt, verschiebt sich die Machtdynamik in der akademischen Welt. Kritiker führen an, dass die Reduzierung von Forschung auf einen numerischen Score die Gefahr birgt, dass Wissenschaftlerinnen und Wissenschaftler ihre Arbeit künftig primär auf die Optimierung für diesen Algorithmus ausrichten – ein Phänomen, das bereits bei der Jagd nach Zitationsraten bekannt ist. Ein weiterer Punkt ist die Kritik an der vermeintlichen Objektivität. Obwohl QED Science die Anonymisierung hervorhebt, weisen Beobachter darauf hin, dass die KI dennoch strukturelle Verzerrungen aufweist. So zeige eine Analyse der „The 1 Percent“-Liste, dass es auch hier regionale Ungleichgewichte gibt, was die Behauptung einer rein objektiven Bewertung infrage stellt. Einzuordnen ist dies als ein klassisches Problem bei der Nutzung großer Sprachmodelle: Die Blackbox-Natur der Algorithmen verhindert eine echte wissenschaftliche Überprüfung der Bewertungsgrundlage selbst, was im krassen Widerspruch zum wissenschaftlichen Ideal der Transparenz und Reproduzierbarkeit steht.

Offene Fragen: Was bleibt ungeklärt?

Der Quelltext lässt eine Reihe von zentralen Fragen offen, die für die wissenschaftliche Gemeinschaft von entscheidender Bedeutung sind. Zunächst bleibt unklar, wie genau die „Science Validity Engine“ gewichtet wird. Die Details zu den Prompts, den genauen Gewichtungsfaktoren und der Architektur der KI-Agenten sind nicht öffentlich zugänglich. Dies verhindert eine unabhängige Überprüfung der Ergebnisse, was in der Wissenschaft eigentlich eine Grundvoraussetzung für die Anerkennung von Erkenntnissen ist. Zudem beantwortet der Quelltext nicht die Frage, wie QED Science mit dem Problem des „KI-Halluzinierens“ umgeht, bei dem Sprachmodelle falsche Informationen als Fakten präsentieren. Auch die Frage nach der Haftung bei Fehlbewertungen bleibt unbeantwortet: Wer trägt die Verantwortung, wenn eine KI eine bahnbrechende Studie fälschlicherweise als minderwertig einstuft oder eine fehlerhafte Arbeit fälschlicherweise in das oberste Perzentil hebt? Ebenso wenig wird geklärt, wie das Startup sicherstellt, dass die KI-Agenten nicht durch die ständige Zunahme von KI-generierten Inhalten im Internet selbst mit verzerrten oder fehlerhaften Daten trainiert werden, was den Bias weiter verstärken könnte. Die Transparenz des Algorithmus bleibt somit der größte offene Punkt, der eine breite Akzeptanz in der Forschung bisher verhindert.

Wie es weitergeht: Die Zukunft der wissenschaftlichen Begutachtung

Die Diskussion um den Einsatz von KI im Wissenschaftsbetrieb steht erst am Anfang. Trotz der massiven Kritik gibt es unter Forschenden einen breiten Konsens darüber, dass KI-gestützte Ansätze einen Ausweg aus der Peer-Review-Krise bieten könnten, sofern sie richtig eingesetzt werden. Die Mehrheit der Experten plädiert dafür, dass KI-Systeme wie die von QED Science lediglich als unterstützende Werkzeuge dienen sollten, um zeitaufwendige, repetitive Aufgaben zu übernehmen. Die finale Verantwortung und die qualitative Bewertung müssen jedoch weiterhin in menschlicher Hand verbleiben. Für die Zukunft ist zu erwarten, dass die Forderungen nach einer Offenlegung der Algorithmen lauter werden. Sollte QED Science oder andere Anbieter in diesem Bereich weiterhin auf eine „Blackbox“-Strategie setzen, dürfte der Widerstand aus der akademischen Gemeinschaft wachsen. Es bleibt abzuwarten, ob sich Standards für die KI-gestützte Begutachtung etablieren werden, die eine Transparenz gewährleisten, die den wissenschaftlichen Ansprüchen genügt. Die kommenden Monate werden zeigen, ob sich das Modell der automatisierten Qualitätsprüfung als ein wertvoller Beitrag zur Wissenschaftslandschaft durchsetzen kann oder ob es als gescheitertes Experiment in die Geschichte der akademischen Publikationskultur eingehen wird.