topic: Building medical KG for knowledge injection in LLMs
title: Multi-Task-Learning mit Transformer Modellen für die Ad-Hoc Suche mittels Information-Retrieval Axiomen
title:
contact: adrien.klose@student.uni-halle.de
## Abstract
Die Effektivität von Learning-to-Rank Ansätzen ergibt sich aus den Wechselwirkungen zwischen den induktiven Bias des Ansatzes und den verwendeten Trainingsdaten.
Der induktive Bias ist eine Menge an getroffenen Hypothesen und bestimmt die Eignung des Ansatzes für eine Aufgabe. Die getroffenen Hypothesen definieren die Grenzen der erlernbaren Zusammenhänge aus den Trainingsdaten.
Mit den wachsenden Anforderungen an Learning-to-Rank Ansätze werden auch stetig qualitativere und quantitativere Trainingsdaten und geeignetere Hypothesen benötigt.
Information-Retrieval Axiome formalisieren als Hypothesen die erwarteten Eigenschaften von einem qualitativ hochwertigen Ranking und wurden bereits erfolgreich als Teil des induktiven Bias für die Regularisierung von Verlustfunktionen und die Konstruktion von Trainingsdaten eingesetzt.
Wir kombinieren die Konstruktion von Trainingsdaten mit dem Einsatz von Information-Retrieval Axiomen als weitere getroffene Annahmen, indem wir mittels Multi-Task-Learning einem vortrainierten Transformer Modell das Ranken von Dokumenten mit der Bestimmung von Axiom-Präferenzen als Hilfsaufgabe antrainieren.
Die Axiome fungieren als induktiver Bias in unserem Ansatz sowohl bei der Konstruktion der Trainingsdaten für die IR Axiom Aufgabe sowie gegen das Overfitting auf eine spezifische Aufgabe durch das gleichzeitige Trainieren des Transformer Modells auf die IR Axiom und Ranking Aufgabe.
Durch das gleichzeitige Trainieren des Transformer Modells auf die IR Axiome und Ranking Aufgabe muss das Transformer Modell Repräsentationen für Anfragen und Dokumente bestimmen können, aus denen sowohl der Rank als auch das IR Axiom berechnet werden kann.
Unsere Experimente auf verschiedenen Axiom-Kombinationen zum Multi-Task-Learning mit einer Ranking Aufgabe zeigen, dass das Multi-Task-Learning der Ranking Aufgabe mit den IR Axiomen REG und ANTI-REG als Hilfsaufgaben die Effektivität der Ranking Ergebnisse auf dem Test-Datensatz des TREC Deep Learning Track aus dem Jahr 2020 gegenüber einem alleinigen lernen der Ranking Aufgabe um im Mittel 5\% erhöht.
## Abstract Idee alternativer Story Ansatz:
- Deep-Learning-Modelle erzeugen unter Verwendung von großen Mengen von Trainingsdaten "State of the Art" Retrievalmodelle (gerne auch einen besseren Einstieg in den Context, aber ich hätte "deep learning" hier als context gesehen, und die Axiome verwenden wir, um diese Deep-Learning dinger den induktiven Bias der für die vorleigende Aufgabe hoffentlich hilfreich ist, zu geben)
- Deep Learning-Modelle können "viel" lernen, deswegen ist es hilfreich, den eingesetzten Modellen einen induktiven Bias zu geben der das Modell besser geeignet für den Task macht (z.b. die Architektur des Netzes, etc.), um damit das Modell besser für den aktuellen Task geeignet zu machen (der teil überzeugt mich noch nicht richtig, aber vielleicht bekommt man es irgendwie hin zu erzählen, dass induktiver Bias nützlich sein kann, um die Performance von Systemen zu verbessern, und dazu wollen wir die axiome verwenden)
- Existing solutions: Microsoft-Paper + evtl. die Diagnosing Paper?
- Outline unseres Approaches: mit multi task learning versuchen wir dem Modell beizubringen, sowohl zu ranken, als auch retrieval axiome zu verstehen. Dadurch geben wir dem Encoder des trainierten Modell's einen induktiven Bias, so dass die vom encoder erstellte Repräsentation der Eingabe in der Lage ist, korrekt zur Berechnung von Retrieval-Axiomen verwendet zu werden.
- Summary dann wieder ähnlich zu oben
### Future Work IR Axiome für negative Relevanzlabels
- Since we want to work on MS-Marco (maybe with ORCAS) in the thesis of Adrien, we could also supplement the relevance labels with pairwise IR-Axioms. I.e., training topics for MS-Marco usually have only one document judged as relevant and no documents judged as irrelevant. Hence, people use some sampling strategies to obtain documents judged as irrelevant. Maybe IR-Axioms yield a new strategy for sampling negative documents? (if A is relevant, and the axiom says it should be ranked above B, we ask how many more are in between A and B ... when many, then B might be negative)
Every model and code that was used for the generation of the experementation results presented in the master thesis can be found here. Every reported experiment result was created with the notebooks and code in experiments.
\ No newline at end of file
Every model and code that was used for the generation of the experementation results presented in the master thesis can be found here. Every reported experiment result was created with the notebooks and code in experiments. Information about specific ressources is in the dedicatet subfolder.
