26. September 2025: unsere arbeit, coi, standards, ai, bfa, acute, methoden

Auf und ab (und wieder auf?) im KI-Hype-Zyklus

Im Frühjahr 2023 erreichte uns bei ACCORD der Hype um generative KI-Modelle – insbesondere ChatGPT von OpenAI. Wie in vielen anderen beruflichen Umfeldern stellten wir uns die Frage, was dies für uns bedeutet, einschließlich der unangenehmen Frage: „Sind wir jetzt überflüssig?“ ;-) Es folgte eine Phase des Erkundens und Testens: KI für textbasierte Aufgaben wie Zusammenfassen und Paraphrasieren funktionierte gut. Schließlich erhielten die Modelle Zugang zum Internet, sodass sie nicht mehr auf die Informationen aus ihren zwei Jahre alten Trainingsdaten beschränkt waren. Nach und nach konnten die Tools aktuelle Suchergebnisse aus dem Internet einbeziehen und erhielt eine gewisse Unterstützung bei der Suche nach Quellen.

Was wir an all diesen Entwicklungen besonders bedeutsam finden, ist der Kontrast, den wir erleben. Vor einigen Wochen, nach einer Teambesprechung, in der der Einsatz oder das Potenzial von KI-Anwendungen diskutiert wurde, wurde uns bewusst, wie sehr KI – oder zumindest das Thema KI – in den letzten zwei Jahren bereits Teil unseres beruflichen Alltags geworden ist. Während vor zwei Jahren Early Adopters noch versuchten, einige ihrer Kolleg·innen davon zu überzeugen, ChatGPT auszuprobieren, und dabei manchmal auf Zurückhaltung oder sogar Widerstand stießen, fühlen sich dieselben Early Adopters heute manchmal wie große „KI-Skeptiker·innen”, wenn sie mit Menschen sprechen, die starkes Vertrauen in die zukünftigen Fähigkeiten der KI äußern. Zu diesen Fähigkeiten könnte die Beseitigung von Halluzinationen gehören, sodass KI zu einer primären Quelle für das Finden nützlicher Informationen wird. Andere meinen, dass unsere Zielgruppen mehr von KI generierte Zusammenfassungen benötigen, wie dies sich in unseren Erfahrungen mit den Produkten verschiedener großer KI-Unternehmen in den letzten Wochen und Monaten widerspiegelt – insbesondere mit Entwicklungen wie den von Gemini generierten Zusammenfassungen, die nun standardmäßig prominent in den Google-Suchergebnissen erscheinen.

Die Einstellung vieler unserer Kolleg·innen gegenüber KI hat sich in den letzten zwei Jahren deutlich verändert, wahrscheinlich aufgrund des vermehrten Kontakts mit KI-Anwendungen in ihrem Privatleben. Die Haltung hat sich von Zurückhaltung zu Akzeptanz gewandelt. Und doch haben wir trotz aller KI-Entwicklungen rund um „Reasoning”-Modelle usw. festgestellt, dass unsere eigene Vorsicht gegenüber KI eher zugenommen als abgenommen hat. Während wir vor zwei Jahren noch nicht abschätzen konnten (und immer noch nicht abschätzen können!), wohin die Reise mit generativen KI-Sprachmodellen („Large Language Models“, LLMs) führen würde, befinden wir uns nun in einer Ära, in der LLMs für ihre Schlussfolgerungsfähigkeiten gefeiert werden. Wir können nun, so wird uns gesagt, in die „Gedankenkette” des Modells eintauchen, um seinen Denkprozess zu verstehen.

In diesem Blogbeitrag werden wir die Gründe darlegen, warum wir heute vorsichtiger sind als früher, und zeigen, dass eine gründliche Untersuchung der Möglichkeiten und Risiken, die KI für den Bereich COI mit sich bringt, unerlässlich ist.

Argumentation?

Da wir bereits KI-„Reasoning“-Modelle erwähnt haben, beginnen wir damit. Heutzutage bieten alle großen KI-Unternehmen sogenannte „Reasoning”-Modelle an. Forscher·innen haben Techniken wie „Chain-of-Thought” (CoT) und „Tree-of-Thought” (ToT) entwickelt, um die Leistung von LLMs zu verbessern und den Eindruck zu erwecken, dass diese Modelle logisch denken. Im ursprünglichen Sinne beschreibt „Reasoning“ (schlussfolgern) einen komplexen kognitiven Prozess, der kausales Verständnis, mentales Modellieren, Intentionalität und Abstraktion umfasst (White, 2. März 2025). Während sie ihre Ergebnisse generieren, teilen uns diese Modelle mit, dass sie „denken“ oder „ihre Ideen ordnen“, und führen uns durch alle Schritte ihres „Reasonings“. Diese Wahrnehmung ist jedoch irreführend, da diese Modelle lediglich „auf der Grundlage von Mustern, die aus umfangreichen Trainingsdaten mit Beispielen für von Menschen geschriebene logische Prozesse und Problemzerlegungen gelernt wurden, statistische Vorhersagen über Textfortsetzungen treffen“. Wenn wir auf Texte stoßen, die unsere eigenen Denkprozesse widerzuspiegeln scheinen, gehen wir davon aus, dass „ähnliche kognitive Mechanismen“ am Werk sein müssen. „Dies ist jedoch ein grundlegender Attributionsfehler – nämlich menschenähnliche Kognition auf etwas zu übertragen, das im Wesentlichen ein ausgeklügeltes Musterabgleichverfahren ist“ (White, 2. März 2025). Einige wissenschaftliche Publikationen warnen ausdrücklich vor dieser Anthropomorphisierung, wie eine Forschungsarbeit von Kambhampati et al. (2025) mit dem Titel „Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!“ deutlich zeigt.

Kambhampati et al. (2025) und Stechly et al. (2025) warnen beispielsweise ausdrücklich vor den Metaphern „Argumentation“ und „Denken“ und bezeichnen sie als „aktiv schädlich“, da sie ein falsches Vertrauen in die Fähigkeiten dieser Systeme schaffen (Kambhampati et al., 2025, S. 9). Angesichts der Tatsache, dass in wissenschaftlichen Artikeln eine so klare Sprache verwendet wird, ist es nicht abwegig anzunehmen, dass selbst erfahrene COI-Rechercheur·innen, die täglich mit Informationen arbeiten, aber nicht unbedingt die technischen Details verschiedener KI-Technologien verstehen, von den „Denkprozessen” dieser „argumentierenden” Modelle beeindruckt sein könnten. Schließlich ist nicht zu erwarten, dass alle COI-Rechercheur·innen (geschweige denn Neuanfänger·innen) sich mit den technischen Details neuer KI-Technologien vertraut machen müssen, ganz zu schweigen von den verschiedenen Arten von COI-Nutzer·innen.

Eine Wunschvorstellung?

Ebenso bleiben KI-Halluzinationen ein bedeutendes Problem. Wir gehen davon aus, dass die meisten Nutzer·innen heutzutage mit diesen Halluzinationen vertraut sind, die auftreten, wenn ein KI-Modell (vollständig) erfundene Inhalte generiert. Solche Inhalte werden oft in einer ausgefeilten und überzeugenden Weise präsentiert, sodass Unrichtigkeiten schwer zu erkennen sind. Ist Ihnen jedoch bewusst, dass mit den neueren Modellen der großen KI-Firmen das Risiko von Halluzinationen eher gestiegen als gesunken ist? Während sich ihre mathematischen Fähigkeiten deutlich verbessert haben, hat sich ihre Kenntnis von Fakten verschlechtert. Der Grund dafür ist nicht ganz klar (NYT, 6. Mai 2025a). Schließlich können KI-Modelle nicht zwischen Wahrheit und Unwahrheit unterscheiden.

Entgegen der weit verbreiteten Annahme, dass das Problem der Halluzinationen irgendwann gelöst werden wird, argumentieren einige Forscher·innen, dass halluzinierte Ergebnisse ein inhärenter und unvermeidbarer Aspekt der zugrunde liegenden Funktionalität generativer KI-Modelle sind (NYT, 6. Mai 2025a).

„Diese Halluzinationen mögen für viele Menschen kein großes Problem sein, aber für alle, die diese Technologie im Zusammenhang mit Gerichtsdokumenten, medizinischen Informationen oder sensiblen Geschäftsdaten einsetzen, sind sie ein ernstes Problem“, heißt es in einem Artikel der New York Times zu diesem Thema (NYT, 6. Mai 2025a). Im Bereich COI bewegen wir uns wahrscheinlich in einem ähnlich sensiblen Bereich. Darüber hinaus ist es nicht immer einfach, mit den Techniken, die wir normalerweise zur Beurteilung der Wahrhaftigkeit verwenden, zwischen faktischen und fiktiven KI-Ausgaben zu unterscheiden (NYT, 17. Mai 2025).

Die New York Times und andere Medien berichten, dass gefälschte, KI-generierte Dokumente die Gerichte in den USA und Großbritannien überschwemmen (NYT, 6. Mai 2025b; The Conversation, 12. März 2025; The Guardian, 6. Juni 2025) und oft von der gegnerischen Seite unbemerkt bleiben. Nicht jede·r ist sich des Problems der Halluzinationen bewusst, und nicht jede·r ist ausreichend motiviert oder gründlich bei der Überprüfung von KI-generierten Ergebnissen. Einige wissenschaftliche Arbeiten werfen sogar die Frage auf, ob „wir kurz vor dem Eintritt in eine Welt stehen, in der die Wahrheit für niemanden mehr offensichtlich ist, in der wir alle in Unwahrheiten schwimmen. Manche Menschen glauben, dass wir bereits dort angekommen sind“ (NYT, 6. Mai 2025b).

Diese Überlegungen werden noch wichtiger, wenn man bedenkt, dass führende KI-Unternehmen mittlerweile fast den gesamten englischen Text im Internet zum Trainieren ihrer Systeme verwendet haben. Seit Jahren setzen Unternehmen wie OpenAI auf ein einfaches Konzept: Je mehr Internetdaten sie in ihre KI-Systeme einspeisen, desto besser funktionieren diese (NYT, 16. Mai 2025).

Webinhalte

Und wo wir gerade beim Thema englischsprachige Inhalte im Internet sind: Aktuelle Schätzungen gehen davon aus, dass die Menge der KI-generierten Inhalte im Internet deutlich zunimmt (OeAW, 14. Februar 2025). Einige Prognosen gehen davon aus, dass dieser Anteil bis 2026 auf 90 % steigen wird (Ohio University, 11. Dezember 2024). Wenn man bedenkt, dass Schlagworte wie „Fake News” und „Post-Wahrheits-Ära” bereits vor dem großen Hype um generative KI vor fast drei Jahren gang und gäbe waren, könnte man angesichts dieser Prognosen sowohl als Privatperson als auch als COI-Rechercheur·in beunruhigt sein. Und im Mai 2025 hat Google seine neuesten geplanten Entwicklungen vorgestellt und eine radikale KI-gestützte Überarbeitung seiner Suchfunktion angekündigt, die Antworten liefert, ohne dass Nutzer·innen Websites besuchen müssen (Google, 20. Mai 2025; Google, 5. März 2025). Die zugrunde liegenden Informationsquellen rücken damit noch weiter in den Hintergrund. Für die private Nutzung von Google mag dies eine praktische Entwicklung sein: Wenn ich schnell ein Rezept für Kaiserschmarrn finden möchte, ist es mir nicht wirklich wichtig, woher die Gemini-Zusammenfassung ihre Informationen bezieht. Ich freue mich über die schnelle Hilfe. Und bei der Suche nach einem Kaiserschmarrnrezept steht auch nicht viel auf dem Spiel. Ganz anders sieht es jedoch bei der Recherche in unserem Fachgebiet aus.

Ob Qualitätsjournalismus in dieser komplexen Situation die große Rettung sein wird, ist ebenfalls fraglich, zumal KI Berichten zufolge bereits weit verbreitet in Redaktionen eingesetzt wird, die ethische Diskussion darüber jedoch bislang weitgehend ausbleibt. Kanadische Forscher·innen, die sich mit diesem Thema beschäftigen (siehe Misri et al., 2025), kamen zu folgendem vernichtenden Fazit: „Es wurde deutlich, dass viele Nachrichtenorganisationen immer noch in einer ethischen Wildwest-Ära operieren.“ Ein Beispiel für unzureichende KI-Kontrolle ist ein Artikel in der Los Angeles Times, der Berichten zufolge dafür kritisiert wurde, das Image des Ku-Klux-Klans zu beschönigen (The Conversation, 13. Mai 2025).

Was ist zu tun?

Zusammenfassend lässt sich sagen: Wir stehen vor einer Situation, in der generative KI-Modelle zunehmend versuchen, uns von ihren menschenähnlichen Fähigkeiten zu überzeugen, obwohl sie tatsächlich immer fehleranfälliger werden. zu einer Zeit, in der das Internet zunehmend mit potenziell ungenauen, KI-generierten Inhalten überflutet wird, scheinen die für die Verarbeitung bedeutungsvoller Informationen verantwortlichen Branchen von grundlegenden ethischen Fragen überrascht zu sein, und Google möchte uns KI-generierte Zusammenfassungen für alle unsere Suchanfragen ohne Quellenangaben zur Verfügung stellen und verspricht „expert·innen-ähnliche“ Berichte, die von seinem Sprachmodell erstellt werden (Google, 20. Mai 2025), während OpenAI PhD-Niveau verspricht (OpenAI, 7. August 2025).

Angesichts dieser Entwicklungen scheinen sich für die COI-Recherche in den kommenden Jahren neue Herausforderungen abzuzeichnen. Während in der Vergangenheit, insbesondere vor dem Zeitalter des Internets, die größte Schwierigkeit oft darin bestand, Zugang zu bestimmten Informationen zu erhalten, scheint nun das Gegenteil der Fall zu sein. Wir werden mit Informationen überflutet, und angesichts dieser riesigen (KI-generierten) Mengen ist es schwierig, festzustellen, ob sie sachlich richtig sind. Im Laufe der Zeit hat sich die Herausforderung der Informationsbeschaffung somit ins Gegenteil verkehrt. Dies wirft einige unbeantwortete Fragen auf: Was ist die Zukunft der Information und was ist die Zukunft von COI?

Zusammenfassend sind wir der Meinung, dass KI-Modelle uns bei unserer Arbeit zweifellos enorm unterstützen können, und wir nehmen diese Unterstützung in unserem von Zeitdruck geprägten Bereich gerne an. Dies erfordert jedoch eine kritische Prüfung und Berücksichtigung vieler verschiedener Aspekte, die von technischen Fragen bis hin zu rechtlichen und ethischen Aspekten reichen.

Wir arbeiten daran.

Aus genau diesen Gründen freuen wir uns umso mehr, dass wir nun die Möglichkeit haben, diese Herausforderungen im Rahmen eines Projekts anzugehen, das dem Erfahrungsaustausch und der gemeinsamen Untersuchung theoretischer und praktischer Aspekte der Anwendung von KI im Bereich COI gewidmet ist. Die Staatendokumentation, die Herkunftsländerinformationsabteilung des Bundesamtes für Immigration und Asyl, hat ACCORD mit dem Projekt „ACUTE – Künstliche Intelligenz in Herkunftsländerinformationen: Technische und ethische Implikationen verstehen“ beauftragt. ACUTE wird Expert·innen und Vertreter·innen mehrerer COI-Units aus verschiedenen Ländern zusammenbringen und vier Jahre lang laufen. Wir sind davon überzeugt, dass die gemeinsame Beobachtung von Entwicklungen im Bereich KI und deren spezifische Auswirkungen auf den Bereich COI von entscheidender Bedeutung sind. Gemeinsam können wir einen Ansatz entwickeln und Leitlinien für die Bewältigung dieser Herausforderungen formulieren.

Durch die Einholung externer Expertise in den Bereichen Ethik, Recht und Technologie, die Entwicklung gemeinsamer Leitlinien für den Einsatz von KI in der COI-Recherche und die Arbeit an KI-basierten Softwarelösungen, die auf unseren Bereich zugeschnitten sind, kann das ACUTE-Projekt dazu beitragen, dass Personen, die mit COI arbeiten, durch spezifische Schulungen auf dem neuesten Stand bleiben. Dies wird es dem Bereich COI ermöglichen, sich im KI-Dschungel zurechtzufinden und letztlich mit Zuversicht in eine etwas ungewisse Zukunft zu blicken, während wir unser Bestes tun, um die Qualität von COI sicherzustellen.

Relevante methodische Aktualisierungen zur Nutzung und zu den Möglichkeiten von KI in unserem Bereich werden wir in der Methodenserie dieses Blogs veröffentlichen.

Eine Beschreibung des Projekts ACUTE finden Sie hier.

Quellen

Google: Expanding AI Overviews and introducing AI Mode, 5. März 2025
https://blog.google/products/search/ai-mode-search

Google: AI in Search: Going beyond information to intelligence, 20. Mai 2025
https://blog.google/products/search/google-search-ai-mode-update/#deep-search

Kambhampati, S. et al.: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces! [Preprint], 2025
https://www.arxiv.org/pdf/2504.09762

Misri, A. et al.: “There’sa Rule Book in my Head”: Journalism Ethics Meet AI in the Newsroom. In: Digital Journalism, 2025
https://www.tandfonline.com/doi/full/10.1080/21670811.2025.2495693

NYT – New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse, 6. Mai 2025a
https://www.nytimes.com/2025/05/05/technology/ai-hallucinations-chatgpt-google.html

NYT – New York Times: What happens when A.I. hallucinates? [Audio], 6. Mai 2025b
https://www.nytimes.com/2025/05/05/technology/ai-hallucinations-chatgpt-google.html

NYT – New York Times: Why We’re Unlikely to Get Artificial General Intelligence Anytime Soon, 16. Mai 2025
https://www.nytimes.com/2025/05/16/technology/what-is-agi.html

NYT – New York Times: For One Hilarious, Terrifying Day, Elon Musk’s Chatbot Lost Its Mind, 17. Mai 2025
https://www.nytimes.com/2025/05/17/opinion/grok-ai-musk-x-south-africa.html

OeAW – Österreichische Akademie der Wissenschaft: KI-Content: Ein Fluch im Netz?, 14. Februar 2025
https://www.oeaw.ac.at/news/ki-content-ein-fluch-fuer-das-netz

Ohio University: AI content: Ethics, identification and regulation, 11. Dezember 2024
https://www.ohio.edu/news/2024/12/ai-content-ethics-identification-regulation

OpenAI: Introducing GPT-5, 7. August 2025
https://openai.com/index/introducing-gpt-5/

Stechly, K. et al.: Beyond semantics: The unreasonable effectiveness of reasonless intermediate tokens [Preprint], 2025
https://arxiv.org/pdf/2505.13775

The Conversation: AI is creating fake legal cases and making its way into real courtrooms, with disastrous results, 12. März 2025
https://theconversation.com/ai-is-creating-fake-legal-cases-and-making-its-way-into-real-courtrooms-with-disastrous-results-225080

The Conversation: Have journalists skipped the ethics conversation when it comes to using AI?, 13. Mai 2025
https://theconversation.com/have-journalists-skipped-the-ethics-conversation-when-it-comes-to-using-ai-255485

The Guadian: High court tells UK lawyers to stop misuse of AI after fake case-law citations, 6. Juni 2025
https://www.theguardian.com/technology/2025/jun/06/high-court-tells-uk-lawyers-to-urgently-stop-misuse-of-ai-in-legal-work

White, Matt: I Think Therefore I am: No, LLMs Cannot Reason, 2. März 2025
https://matthewdwhite.medium.com/i-think-therefore-i-am-no-llms-cannot-reason-a89e9b00754