Perfekter Datensplit für starke KI-Modelle

FAU-Bioinformatiker entwickeln neues Tool zur objektiven Bewertung von Künstlicher Intelligenz

Bioinformatiker der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) und des Helmholtz-Instituts für Pharmazeutische Forschung Saarland (HIPS) haben ein neues Werkzeug entwickelt, das die Leistungsfähigkeit von KI-Modellen realitätsnäher bewertet.

Das Tool mit dem Namen „DataSAIL“ sorgt dafür, dass Trainings- und Testdaten systematisch so ausgewählt werden, dass sie sich möglichst stark voneinander unterscheiden. Auf diese Weise lässt sich präziser überprüfen, ob ein KI-Modell auch unter veränderten Bedingungen zuverlässig arbeitet – ein entscheidender Faktor für den Einsatz in der medizinischen Forschung und anderen sensiblen Bereichen.

Veröffentlicht wurde die Methode in der Fachzeitschrift Nature Communications, einem der führenden Journale im Bereich der Naturwissenschaften.

Modelle des Maschinellen Lernens werden mit riesigen Datenmengen trainiert und müssen vor dem Praxiseinsatz getestet werden. Dafür werden die Daten zunächst in einen größeren Trainingssatz und einen kleineren Testsatz aufgeteilt – mit ersterem lernt das Modell, mit zweiterem wird anschließend seine Zuverlässigkeit geprüft. „Nur wenn die Daten so aufgeteilt werden, dass sich die Testdaten von den Trainigsdaten stark unterscheiden, lässt sich herausfinden, ob das Modell später in der Praxis auch mit neuartigen Daten – so genannten Out-of-Distribution-Daten – umgehen kann“, erklärt Prof. Dr. David Blumenthal, Bioinformatiker am Department Artificial Intelligence in Biomedical Engineering (AIBE) der FAU.

KI-Modelle werden häufig überschätzt

Herkömmliche Algorithmen sind zu diesem optimierten Datensplitting meist nicht fähig, weshalb die Performance von KI-Modellen oft überschätzt wird. Gemeinsam mit Forschenden des HIPS hat David Blumenthal deshalb ein Werkzeug entwickelt, das solche Fehleinschätzungen verhindert und damit neue Standards in einem wichtigen Bereich des Maschinellen Lernens setzt. Das Tool namens DataSAIL teilt Datensätze automatisch so auf, dass Trainings- und Testdaten so verschieden wie möglich sind. „DataSAIL ist ein kostenloses Tool und kann für alle Arten von Daten genutzt werden, nicht nur für biologische“, sagt Blumenthal. „Die Anwender müssen nur wenige Parameter für ihre Datensätze definieren, den Rest erledigt DataSAIL automatisch und zuverlässig.“

Tool verarbeitet auch Interaktionsdaten

DataSAIL ist zugleich das erste Tool, das auch zum automatisierten Splitting von Interaktionsdaten verwendet werden kann. Diese mehrdimensionalen Daten spielen beispielsweise eine Rolle in der Wirkstoffforschung. Blumenthal: „Stellen Sie sich vor, Sie wollen KI-Modelle entwickeln, die Interaktion zwischen Medikamenten und Zielproteinen vorhersagen. Dann müssen Sie beim Testen dieser Modelle evaluieren, wie gut diese einerseits für veränderte Wirkstoffmoleküle und andererseits für verschiedene Proteine funktionieren.“ Darüber hinaus ist das Werkzeug in der Lage, Klassenmerkmale zu berücksichtigen – etwa eine gleichmäßige Verteilung männlicher und weiblicher Probanden auf Trainings- und Testdaten. Damit wird verhindert, dass das Testen eines Modells für ein Geschlecht unrealistischere Ergebnisse liefert als für das andere.

Geplant ist, das Tool in den kommenden Jahren weiterzuentwickeln, um die Laufzeit der Algorithmen zu verringern und Daten noch genauer für verschiedene Praxisszenarien aufbereiten zu können.

* https://doi.org/10.1038/s41467-025-58606-8

---

Bild/Quelle: https://depositphotos.com/de/home.html