Mit dem Aufkommen generativer KI hat sich die Art, wie Menschen Informationen im Internet finden, grundlegend verändert. Google präsentiert Nutzenden inzwischen nicht mehr nur eine Liste von Links, sondern zusätzlich einen von KI generierten, zusammenhängenden Antworttext. Doch wie stark unterscheiden sich KI-Antworten von herkömmlichen Suchergebnissen? Um das herauszufinden, ließen die Forschenden die klassische Google Suchmaschine gegen vier KI-Suchmaschinen, Googles KI-Übersicht, Gemini 2.5 Flash, GPT 4o Search und GPT 4o mit Such-Tool, gegeneinander antreten.

Dabei wurde insbesondere untersucht, wie divers die Auswahl der genutzten Quellen ist, wie stark sich die generative KI auf ihr internes Wissen verlässt oder das Web für Informationen durchsucht und ob generative KI vielfältigere Ergebnisse erzielt.

Dafür wurden die Suchmaschinen mit 4606 Anfragen aus verschiedenen Datensets gefüttert, die ein breites Themenspektrum von Allgemeinwissen, über Politik und Wissenschaft bis hin zu Produktbewertungen abdecken. Auch ein Datenset mit gegenwartsbezogenen Anfragen wurde genutzt, um zu prüfen, wie gut die Systeme aktuelle Themen erfassen. Zwei Monate später führten die Forschenden alle Tests erneut durch, um die Stabilität der Ergebnisse zu bewerten.

Generative KI greift auf vielfältigere und weniger populäre Quellen zu

Obwohl allen Suchmaschinen identische Fragen gestellt wurden, unterscheiden sich die Ergebnisse erheblich. Es zeigt sich, das generative KI vielfältigere und weniger beliebte Quellen nutzt und für ihre Antworten auch Inhalte heranzieht, die nicht in den Top-10-Ergebnissen der klassischen Suchmaschine erscheinen und die so in der Regel nicht von Suchenden beachtet werden.

Auch die Anzahl der zitierten Quellen variiert zwischen den Suchmaschinen. Während Google traditionell rund zehn Treffer inklusive Teasertext präsentiert, verwiesen Gemini und Googles KI-Übersicht im Schnitt auf mehr als acht Quellen. GPT-Search und GPT-4o nutzten mit durchschnittlich 4,1 bzw. 0,4 Quellen deutlich weniger. Dabei ist zu beobachten, dass mehr Websites als Quellen zitiert wurden, je länger die Antwort ist.

Schwächen bei aktuellen Themen

Deutliche Unterschiede sind auch bei gegenwartsbezogenen Anfragen oder ereignisgesteuerten Themen zu erkennen. Hier wird die KI-Übersicht selten ausgelöst und Modelle, die sich hauptsächlich auf internes Wissen stützen, wie beispielsweise GPT 4o, versäumen es, aktuelle Quellen einzubeziehen und so korrekte Antworten zu liefern. Modelle mit erweiterter Retrieval-Funktion, wie Gemini oder GPT mit Such-Tool, können aktuelle Informationen besser berücksichtigen und präziser auf Anfragen reagieren.

Die klassische Websuche lieferte zudem die konsistentesten Ergebnisse: 45 % der Quellen blieben über die Wiederholungen hinweg identisch, mehr als bei Gemini mit 40 % und deutlich mehr als bei der KI-Übersicht, die lediglich 18 % Konsistenz erreichte.

Ein abschließendes Urteil darüber, welches Suchverfahren insgesamt „besser“ ist, ziehen die Forschenden nicht. Stattdessen betonen sie, dass generative Suchsysteme neue Bewertungsmethoden benötigen. Besonders heben sie hervor, wie wichtig es ist, Zeitbewusstsein und dynamische Retrieval-Funktionen in zukünftige Bewertungsrahmen zu integrieren, um die Qualität KI-generierter Antworten angemessen beurteilen zu können.