Hero ohne Bild

Hier die fettere Headline

“ChatGPT ist äußerst vielseitig und nützlich in vielen Anwendungsbereichen. Es beherrscht nicht nur natürliche Konversationen, sondern bietet auch Flexibilität in der Textgenerierung. Von kreativen Schreibprojekten bis hin zur Beantwortung von Fragen ist es ein leistungsfähiges Tool. Die Zugänglichkeit über Textschnittstellen und die schnelle Reaktionszeit machen es bequem und effizient. Darüber hinaus kann es durch Anweisungen und Rückmeldungen verbessert werden und eignet sich gut für den Kundenservice, indem es automatisierte Antworten auf häufig gestellte Fragen ermöglicht.”

“Obwohl ChatGPT beeindruckende Fähigkeiten aufweist, gibt es einige Schwächen, die es zu beachten gilt. Es kann gelegentlich ungenaue oder nonsensische Antworten liefern, da es auf Textmuster angewiesen ist. Die Formulierung der Eingabe ist entscheidend, da kleine Änderungen zu unterschiedlichen Antworten führen können. Das Modell kann auch zu ausführlich und wortreich sein, wenn kürzere Antworten angemessen wären. Trotz Bemühungen zur Filterung von unangemessenen Inhalten kann es gelegentlich immer noch unangemessene oder beleidigende Antworten generieren. ChatGPT hat auch Schwierigkeiten, mit mehrdeutigen Fragen umzugehen und fragt nicht immer nach Klarstellungen. Es besitzt eine begrenzte Wissensbasis und kennt nur Informationen bis zu seinem letzten Trainingsschnitt im Oktober 2023. Darüber hinaus kann es Bias und Stereotypen in seinen Antworten aufgrund der Daten, auf denen es trainiert wurde, widerspiegeln. Trotz dieser Schwächen hat ChatGPT das Potenzial, viele Anwendungen zu verbessern und menschenähnliche Interaktionen in verschiedenen Bereichen zu ermöglichen.”

Während ChatGPT diese Punkte ganz offen und ehrlich zugibt, so gibt es eine nicht unwesentliche Schwäche des Chatbots, die er sich selbst und anderen nicht aus freien Stücken eingesteht. Wir unterbrechen dafür übergangsweise unser Interview mit ChatGPT und recherchieren auf eigene Faust.

Den eingangs kurz erwähnten ungenauen oder keinen Sinn ergebenden Antworten liegt vor allem die Tatsache zugrunde, dass ChatGPT zu sogenannten “Halluzinationen” neigt. Hiermit ist nicht etwa – wie die Halluzination beim Menschen – eine falsche Wahrnehmung gemeint oder, dass die KI sich spannende, kreative Fabelwesen, Märchen oder Fantasien ausdenkt.

Vielmehr geht es um falsche Angaben: ChatGPT ist dazu in der Lage, Dinge zu erfinden, ohne dabei anzugeben, dass es sich um inkorrekte, unechte oder unvollständige Informationen handelt.

Ein Beispiel für eine solche Halluzination ist ein Fall aus den USA, in dem ein Mann eine Fluggesellschaft verklagte, nachdem er auf seinem Flug von einem Servierwagen angefahren wurde. Der Rechtsanwalt des Mannes hatte in Kontakt mit der Rechtsabteilung der Fluggesellschaft einige Präzedenzfälle vorgelegt, die ihm – wie später bekannt wurde –  ChatGPT zur Verfügung gestellt hatte. Nach eingehender Prüfung der Akten stellte sich heraus, dass die Fälle von der künstlichen Intelligenz frei erfunden wurden und somit auch nicht als unterstützendes Mittel in dem Prozess verwendet werden konnten.

Der Fall verdeutlicht, dass die Antworten von ChatGPT mit Vorsicht zu genießen sind und immer auf ihren Wahrheitsgehalt überprüft werden sollten.

Mehr Infos und Tipps zu KI-Halluzinationen gibt’s in unserem neuen Artikel: “Falsche Antworten durch KI? So entstehen KI-Halluzinationen”.

Mit einem neuen Test namens SimpleQA will OpenAI jetzt aber den Halluzinationen und falschen Ausgaben den Kampf ansagen. Der Test wurde entwickelt, um die Genauigkeit und Zuverlässigkeit von KI-Modellen zu überprüfen. Das Tool kann Fragen an verschiedene KI-Modelle stellen und bewertet anschließend die folgenden zwei Dinge:

1. Einmal die Richtigkeit ihrer Antworten.
2. Zum Anderen, wie sicher sich die Modelle selbst sind, ob die Antwort korrekt ist.

Was besonders auffällt: Selbst die größten Sprachmodelle, wie GPT-4o oder Claude-3.5-Sonnet sind weit von der 50%-Marke entfernt. Durch diesen Test, den OpenAI übrigens der breiten Öffentlichkeit kostenlos zur Verfügung gestellt hat, können Sprachmodelle also zuverlässiger und vertrauenswürdiger werden. Natürlich gibt es auch Grenzen von SimpleQA, zum Beispiel der Fakt, dass ein KI-Modell (wie GPT) andere bewerten soll, was die Neutralität der Bewertung in Frage stellt. Dennoch bietet dieser Test in der KI-Entwicklung große Vorteile, da Forscher und Entwickler auf der ganzen Welt ihre Modelle testen und verbessern können.

Im Hinblick darauf, dass ChatGPT Nutzer:innen nicht mit spezifischen Informationen versorgen kann und die Wissensbasis aktuell im April 2023 endet, ist der Chatbot nicht für spezifische Anwendungsfälle wie die Kundenkommunikation von Unternehmen geeignet. Wie wir auch in unserem Lexikon-Artikel “ChatGPT im Kundenservice: Bringt die KI echten Mehrwert?” beleuchten, sind insbesondere Unternehmen, die Chatbots primär im Kundenservice oder Marketing & Sales einsetzen, darauf angewiesen, ihren (potenziellen) Kunden spezifische und passgenaue Antworten zu liefern, die sowohl auf das Unternehmen als auch den Bedarf der Kunden zugeschnitten sind. Dies ist mit ChatGPT nicht möglich, sodass Kunden im schlechtesten Falle falsche, veraltete Informationen erhalten oder auf die Frage, welche Produkte empfohlen werden, Produkte vom Mitbewerber vorgeschlagen bekommen.
ChatGPT kann auf viele Fragen antworten, sogar humorvoll und wortgewandt – auf die Frage, wie der aktuelle Lieferstatus eines Paktes lautet, findet der innovative Chatbot jedoch keine Antwort.

Es ist also sehr fraglich, ob ChatGPT im derzeitigen Entwicklungsstand ein Ersatz für Chatbot-Anbieter oder auch Berater:innen, Texter:innen, Entwickler:innen, ist – wie aktuell spekuliert wird. Es ist jedoch ein Fakt, dass alle diese Bereiche von dem Tool profitieren können, sei es für Inspiration oder Unterstützung. Zudem nutzen 92 % der Fortune 500 Unternehmen OpenAI, was das Wachstum und die Akzeptanz des Tools in verschiedenen Branchen zeigt.

Eine Unterhaltung mit ChatGPT ist bisweilen amüsant, interessant oder auch aufschlussreich. Trotzdem sind die Antworten der KI mit Vorsicht zu genießen und sollten – insbesondere, wenn es um Informationen und Fakten geht – immer geprüft werden. Dies zeigen nicht zuletzt die bereits eingangs erläuterten Halluzinationen, d.h. erfundene oder falsche Angaben, die bei der Nutzung von ChatGPT auftreten können.

Konkrete Beispiele gibt es in unserem Artikel: “Die 6 größten Chatbot-Fails und Tipps, wie man sie vermeidet”.

ChatGPT selbst macht kein Geheimnis daraus, dass es zu Fehlern und nicht korrekten Inhalten kommen kann. Dies wird sowohl als Warnhinweis auf der Startseite als auch im Gespräch mit dem Chatbot bestätigt:

‍„Ich bin ein Computerprogramm und basiere meine Antworten auf den Informationen, die mir zur Verfügung stehen. Ich tue mein Bestes, um korrekte und zutreffende Informationen zu liefern, aber es ist möglich, dass Fehler oder Unvollständigkeiten vorhanden sind. Bitte überprüfen Sie immer die von mir gelieferten Informationen auf ihre Richtigkeit, bevor Sie sie verwenden.“