SemEval 2026: Modeling Narrative Story Similarity

Narrative Ähnlichkeit ist überraschend schwer zu fassen. Zwei Geschichten können dieselben Wörter, Namen und Schauplätze teilen und trotzdem völlig unterschiedlich erzählen — und umgekehrt. Die SemEval-2026-Task definiert Ähnlichkeit deshalb ausschließlich über drei Dimensionen: das abstrakte Thema, den Handlungsverlauf und den Ausgang. Schreibstil, Wortüberschneidungen und Eigennamen sollen ausdrücklich keine Rolle spielen.

Die Aufgabe besteht aus zwei komplementären Tracks. In Track A entscheidet ein System, welche von zwei Kandidatengeschichten einer Ankergeschichte narrativ näher steht. In Track B werden Vektorrepräsentationen erzeugt, deren Kosinus-Ähnlichkeit die narrative Ähnlichkeit widerspiegeln soll. Als Datengrundlage dienten vier Datensätze mit insgesamt 2.139 gelabelten und 400 ungelabelten Story-Triplets.

Mein Beitrag lag auf der Preprocessing-Pipeline und dem Fine-Tuning in Track B. Die Pipeline baut auf spaCy auf und stellt drei Varianten bereit — von minimaler Bereinigung bis zur Ersetzung konkreter Eigennamen durch abstrakte Platzhalter per Named Entity Recognition. Genau diese Varianten machten sichtbar, wie stark die Modelle in Wahrheit auf Oberflächenmerkmale zurückgreifen.

In Track A zeigte sich ein klares Muster: Der kurze Baseline-Prompt schlug auf Rohtext alle aufwendig strukturierten Varianten. Erst auf vorverarbeiteten Daten drehte sich das Bild, weil den komplexen Prompts die ablenkenden Eigennamen fehlten. In Track B verbesserten der Wechsel auf MPNet, Chunking und Tail-Embeddings die Baseline schrittweise — das anschließende Fine-Tuning mit Triplet Loss verschlechterte das Ergebnis jedoch bis auf Zufallsniveau. Die Analyse dieses Effekts wurde zu einem der interessantesten Ergebnisse der Arbeit: Die synthetische Triplet-Supervision passt nicht zum eigentlichen Ähnlichkeitsziel und verzerrt die Embedding-Geometrie, statt sie zu schärfen. Für die finale Abgabe blieb deshalb bewusst die vortrainierte Baseline im Einsatz.