Absatzgenaue Rechtsauskunft
Eine Frage in natürlicher Sprache, eine Antwort mit nachprüfbarer Fundstelle.
80 Absätze des Arbeitszeitgesetzes, dicht indexiert und von einem Cross-Encoder neu geordnet. Jeder Satz der Antwort zeigt den Absatz, aus dem er stammt.
Beispiele
Neuordnung durch den Cross-Encoder
Links die Reihenfolge des Bi-Encoders nach Kosinus-Ähnlichkeit, rechts die Reihenfolge nach gemeinsamer Bewertung von Frage und Absatz. Gemessene Werte dieser Abfrage.
Fundstellen
Die Absätze, die der Antwort zugrunde liegen — Originaltext, aufklappbar.
Der Index als Fläche
Jeder Punkt ist ein indexierter Absatz.
Gemessene Laufzeit dieser Abfrage
Gemessen auf dieser Maschine, CPU-Inferenz. Reranking und Attribution sind die teuren Schritte, weil der Cross-Encoder jedes Paar einzeln liest.
Architektur
Wie aus einem Gesetzestext eine belegte Antwort wird
Zwei Dinge passieren zu verschiedenen Zeiten. Das Parsen, Einbetten und Indexieren läuft einmal offline. Nur die untere Reihe läuft, wenn Sie eine Frage stellen.
Offline — Parsen und Indexieren
Die amtliche XML-Fassung wird in absatzgenaue, einzeln zitierbare Einheiten zerlegt.
Gemessene Ergebnisse
Retrieval, bewertet auf 91 handmarkierten Fragen mit Soll-Fundstelle, deutsch und
englisch. Die Zahlen stammen aus eval/run_eval.py und
eval/abstention_probe.py.
Was dieses System nicht kann
- Es indexiert ein Gesetz. Fragen außerhalb des Arbeitszeitgesetzes kann es nicht beantworten — und erkennt das nur unvollkommen.
- Der Abstention-Schwellwert ist nicht kalibriert: 22 Negativbeispiele zeigen, dass eine Trennung existiert, nicht wo sie liegen sollte.
- Szenariofragen scheitern oft schon im Retrieval. Ein Reranker kann nur umsortieren, was der erste Schritt gefunden hat.
- Keine Rechtsberatung.