Warum Reranking die Qualität verbessert
Die erste Suche in der Vektordatenbank ist schnell, aber nicht immer perfekt in der Reihenfolge. Ein Reranking-Modell betrachtet jedes Ergebnis im direkten Kontext der Anfrage und bewertet die tatsächliche Relevanz genauer. Dadurch werden Treffer, die bei der Vektorsuche zufällig weit oben landen, korrigiert.
Wie Reranking funktioniert
Technisch handelt es sich bei Reranking-Modellen meist um Cross-Encoder: Anfrage und Dokumentenabschnitt werden gemeinsam in das Modell gegeben und zusammen bewertet. Cross-Encoder sind präziser als die initiale Vektorsuche, die mit Bi-Encodern arbeitet — dort werden Anfrage und Dokument getrennt codiert, was schneller, aber grober ist.
Praxiseffekt
In der Praxis werden typischerweise 20 bis 100 Treffer aus der initialen Vektorsuche rerankt, um die Top 5 bis 10 für das Sprachmodell zu bestimmen. Der zusätzliche Rechenaufwand ist gering im Vergleich zum Qualitätsgewinn, besonders bei mehrdeutigen Anfragen oder großen Dokumentenbeständen.