Datenintegritäts-Layer für ein LangChain-QnA-System
Ein LangChain-Frage-Antwort-System über einem EU-bezogenen Fake-News-Datensatz, mit einer Integritätsschicht, die die Retrieval-Pipeline gegen Manipulation und Data Poisoning absichert.
Paper in Arbeit
Das Problem
Ähnlichkeitssuche kann nicht sagen, ob ein Dokument noch das Dokument ist, das eingelesen wurde. Eine Quelle kann semantisch zur Frage passen und nach dem Ingest unbemerkt verändert worden sein; eine RAG-Pipeline ruft sie trotzdem ab, stützt eine Antwort darauf und präsentiert sie mit voller Überzeugung. Das ist ein Fehler der Quellenintegrität, nicht des Retrievals, und kein noch so gutes Embedding behebt ihn.
So funktioniert es
- Die Kennzeichen jedes Quelldokuments (Inhalts-Hash, Dateiname, Größe) werden beim Upload festgehalten.
- Diese Fingerprints werden auf Polygon verankert, der zugehörige Inhalt liegt in IPFS/Pinata.
- Zur Inferenzzeit wird der abgerufene Kontext gegen seinen hinterlegten Fingerprint geprüft, bevor er das Modell erreicht.
- Kontext, dessen Fingerprint nicht mehr passt, wird mitten in der Pipeline verworfen. So werden Manipulations- oder Poisoning-Versuche erkannt, statt daraus zu antworten.
Der Forschungsaspekt
Die Arbeit untersucht, ob günstige, überprüfbare Verankerung auf der Blockchain ausreicht, um RAG-Pipelines gegen diese Angriffsklasse zu härten, ohne die Inferenz unbrauchbar langsam zu machen, und was der Prüf-Overhead bei realistischen Korpusgrößen tatsächlich kostet. Gemeinsame Arbeit mit zwei Doktoranden; ein Paper ist in Arbeit.