KI-Startup bewertet wissenschaftliche Studien: Das Ranking löst eine Debatte aus

Was geschehen ist – die Kernmeldung

Das israelische Startup QED Science hat mit einem neuartigen Verfahren zur Bewertung wissenschaftlicher Arbeiten für erhebliches Aufsehen in der Forschungsgemeinschaft gesorgt. Das Unternehmen aus Tel Aviv setzt auf eine spezialisierte Künstliche Intelligenz, um die Qualität, Originalität und methodische Korrektheit von Fachpublikationen automatisiert zu prüfen. Kürzlich veröffentlichte das Startup ein medienwirksames Ranking unter dem Titel „The 1 Percent“, in dem die nach Einschätzung der KI besten wissenschaftlichen Arbeiten aus dem Bereich der Bio- und Lebenswissenschaften der vergangenen zwölf Monate gekürt wurden. Dieser Vorstoß hat eine bereits existierende Debatte über die Qualitätssicherung in der Wissenschaft, das sogenannte Peer-Review-Verfahren, neu entfacht. Während das Startup die Effizienz und Objektivität seines Systems betont, äußern zahlreiche Wissenschaftlerinnen und Wissenschaftler massive Bedenken hinsichtlich der Transparenz, der potenziellen Voreingenommenheit der Algorithmen und der Gefahr einer zu starken Reduzierung komplexer Forschungsleistungen auf eine einzelne Kennzahl. Das Thema berührt damit den Kern der wissenschaftlichen Integrität und die Frage, inwieweit KI-Systeme die menschliche Expertise in diesem sensiblen Bereich ersetzen oder ergänzen können.

Die Einzelheiten des Verfahrens

Der Prozess bei QED Science basiert auf einer sogenannten „Science Validity Engine“. Dabei werden wissenschaftliche Arbeiten vor der Analyse zunächst vollständig anonymisiert, um eine objektive Bewertung ohne Ansehen der Person oder Institution zu gewährleisten. Das System unterteilt das eingereichte Paper in seine einzelnen Bestandteile. Anschließend kommen mehrere spezialisierte KI-Agenten zum Einsatz, die jeweils auf unterschiedliche Aspekte trainiert wurden. Ein Agent konzentriert sich beispielsweise auf die Überprüfung der Abbildungen auf Unstimmigkeiten, ein weiterer sucht nach Widersprüchen zur bereits existierenden Fachliteratur, während ein dritter die statistischen Ergebnisse auf ihre Plausibilität hin untersucht. Die Ergebnisse dieser verschiedenen Agenten werden in einem letzten Schritt von einer übergeordneten KI zusammengeführt und verifiziert. Daraus resultiert eine Rohpunktzahl für zwei Hauptkategorien: Originalität, also die Neuartigkeit der Methodik und Anwendung, sowie Validität, welche die Genauigkeit der Berechnungen und Verfahren beschreibt. Abschließend wird ein gewichteter „QED Score“ berechnet, der als Perzentilrang im Vergleich zu einem Referenzkorpus ausgegeben wird. Ein Score von 80 bedeutet demnach, dass die Arbeit besser abschneidet als 80 Prozent der anderen untersuchten Studien. Für das aktuelle Ranking „The 1 Percent“ wurden insgesamt 57.455 Preprint-Arbeiten der Plattform bioRxiv aus dem Zeitraum von Mai 2025 bis April 2026 ausgewertet, wobei 574 Arbeiten das 99. Perzentil erreichten.

Hintergrund und bisheriger Verlauf

Das Peer-Review-Verfahren gilt traditionell als eine der wichtigsten Säulen des Wissenschaftsbetriebs. Bevor eine Studie in einer renommierten Fachzeitschrift wie „Nature“ erscheinen kann, muss sie von unabhängigen Expertinnen und Experten geprüft werden. Dieser Prozess soll sicherstellen, dass die Forschung fundiert ist und den wissenschaftlichen Standards entspricht. Allerdings stößt dieses System zunehmend an seine Grenzen. Das Publikationsvolumen wächst weltweit rasant, während die Zahl der verfügbaren, qualifizierten Prüferinnen und Prüfer, die diese Arbeit meist unentgeltlich leisten, nicht im gleichen Maße steigt. Dies führt zu langwierigen Prozessen, die teilweise Jahre in Anspruch nehmen können, wodurch Forschungsergebnisse bei ihrer Veröffentlichung bereits veraltet sein könnten. Zudem ist das menschliche Urteil, wie jedes andere System auch, anfällig für Interessenkonflikte, Missgunst und unbewusste Voreingenommenheit, den sogenannten Bias. Vor diesem Hintergrund haben sich seit dem Aufstieg großer Sprachmodelle Überlegungen verstärkt, Teile des Peer-Review-Verfahrens durch KI zu automatisieren. QED Science hat diese Entwicklung aufgegriffen und ein Werkzeug geschaffen, das Universitäten und Unternehmen bereits vor einer offiziellen Einreichung bei Fachzeitschriften nutzen können, um die Qualität ihrer Studien zu prüfen.

Die Beteiligten und ihre Positionen

Zu den zentralen Akteuren gehört das Startup QED Science aus Tel Aviv, vertreten durch den Mitgründer Niv Mastboim. Mastboim argumentiert, dass das Ziel des Systems darin bestehe, wissenschaftliche Arbeiten rein inhaltlich zu beurteilen, unabhängig von der Reputation der Autoren oder der Bekanntheit der Fachzeitschrift. Auf der anderen Seite steht eine Gruppe kritischer Wissenschaftler. Dazu zählt etwa der Medizinprofessor Ran Blekhman von der Universität Chicago, der die mangelnde Transparenz der KI-Architektur bemängelt. Auch der Biowissenschaftler Sina Booeshaghi von der Universität Kalifornien äußert scharfe Kritik an der Methodik und den internen Vergleichsstudien des Startups. Die Debatte findet auf verschiedenen Ebenen statt, wobei auch die Fachwelt, etwa in Beiträgen bei „Nature“, die Auswirkungen auf die Wissenschaftskultur diskutiert. Während das Startup versucht, sein System als objektiven Standard zu etablieren, fordern Forscher eine kritische Auseinandersetzung mit der Black-Box-Natur der verwendeten Algorithmen. Die Diskussion zeigt einen tiefen Graben zwischen dem technologischen Optimismus der Entwickler und dem methodischen Skeptizismus der akademischen Gemeinschaft, die um die Integrität ihrer bewährten Prozesse fürchtet.

Einordnung der Kritikpunkte

Einzuordnen ist die Debatte als ein Konflikt zwischen Effizienzstreben und wissenschaftlicher Sorgfaltspflicht. Kritiker führen an, dass die Reduzierung einer komplexen Forschungsleistung auf einen einzigen numerischen Score kontraproduktiv sei. Es bestehe die Gefahr, dass der QED Score den Eindruck erwecke, Arbeiten mit niedrigeren Werten seien minderwertig, was den bereits existierenden, problematischen Fokus auf Prestige und Metriken im Wissenschaftsbetrieb weiter verschärfen könnte. Zudem wird die mangelnde Nachvollziehbarkeit der „Multi-Agent-KI-Architektur“ als kritisch bewertet. Da die tatsächliche Implementierung, die spezifischen Prompts und die Gewichtungsmechanismen nicht öffentlich einsehbar sind, können Dritte die Ergebnisse nicht unabhängig verifizieren. Ein weiterer Punkt ist der Vorwurf, dass das Versprechen der Objektivität nicht gehalten wird. Trotz der Anonymisierung der Studien weisen Kritiker wie Sina Booeshaghi darauf hin, dass auch das KI-Ranking strukturelle Verzerrungen aufweise, etwa bei der regionalen Verteilung der als „top“ eingestuften Arbeiten. Die Behauptung, das System sei frei von menschlichem Bias, wird somit von der akademischen Seite stark in Zweifel gezogen.

Offene Fragen und methodische Lücken

Der Quelltext lässt einige wesentliche Fragen offen, die für eine abschließende Bewertung der Technologie entscheidend wären. So bleibt unklar, wie genau die Gewichtung der einzelnen KI-Agenten innerhalb der „Science Validity Engine“ vorgenommen wird. Welche Kriterien führen dazu, dass ein Paper in der Kategorie „Originalität“ höher oder niedriger bewertet wird? Zudem bleibt die Frage nach der tatsächlichen Fehlerrate der KI unbeantwortet. Obwohl das Unternehmen eigene Vergleichsstudien durchgeführt hat, fehlen unabhängige, externe Validierungen, die den QED Score mit einem breiteren Spektrum menschlicher Expertenmeinungen abgleichen. Auch die Frage, wie das System mit interdisziplinärer Forschung umgeht, die sich nicht eindeutig in die für das Training genutzten Kategorien einordnen lässt, wird nicht geklärt. Ebenso bleibt offen, inwieweit das System bei sehr nischigen oder hochspezialisierten Forschungsfeldern, in denen die Datenbasis für die KI möglicherweise dünn ist, zu Fehlurteilen neigt. Die Transparenz hinsichtlich der Trainingsdaten und der genauen Architektur bleibt der zentrale blinde Fleck, der eine breite wissenschaftliche Akzeptanz derzeit noch verhindert.

Wie es weitergeht

Die Debatte um den Einsatz von KI im Peer-Review-Prozess dürfte sich in den kommenden Monaten weiter intensivieren. Viele Forscherinnen und Forscher sehen in der Technologie zwar einen potenziellen Ausweg aus der aktuellen Krise des Wissenschaftsbetriebs, betonen jedoch, dass KI lediglich als unterstützendes Werkzeug fungieren dürfe. Die Forderung nach einer Ergänzung, statt eines vollständigen Ersatzes menschlicher Gutachter, steht dabei im Mittelpunkt. Es ist zu erwarten, dass weitere wissenschaftliche Institutionen und Fachzeitschriften prüfen werden, ob und wie sie solche KI-gestützten Analysen in ihre Abläufe integrieren können. Gleichzeitig wird der Druck auf Unternehmen wie QED Science wachsen, mehr Transparenz hinsichtlich ihrer Algorithmen zu zeigen, um den Vorwurf der „Black Box“ zu entkräften. Die weitere Entwicklung wird davon abhängen, ob es gelingt, ein Vertrauensverhältnis zwischen den KI-Entwicklern und der akademischen Gemeinschaft aufzubauen, in dem die Verantwortung für die finale Bewertung weiterhin fest in menschlicher Hand verbleibt. Ob das Ranking „The 1 Percent“ als dauerhafte Referenz etabliert wird oder als einmaliges Experiment in die Geschichte eingeht, bleibt abzuwarten.