diff --git a/report/.gitignore b/report/.gitignore new file mode 100644 index 0000000000000000000000000000000000000000..75f7917bc76d1fa6e99d4de21577487b81ba66a5 --- /dev/null +++ b/report/.gitignore @@ -0,0 +1,11 @@ +*.aux +*.bbl +*.bcf +*.blg +*.log +*.nav +*.out +*.run.xml +*.snm +*.toc +*.vrb diff --git a/report/Bericht.tex b/report/Bericht.tex new file mode 100644 index 0000000000000000000000000000000000000000..d14222382bc904653b6fb5910f0e8ea4394da7d5 --- /dev/null +++ b/report/Bericht.tex @@ -0,0 +1,262 @@ +%! TEX program = lualatex +%! BIB program = biber +\documentclass[DIV=13,fontsize=11pt,ngerman]{scrartcl} +% DIV 13 ist meh, siehe Warnung +\KOMAoptions{parskip = half} +\usepackage{polyglossia} +\setdefaultlanguage[babelshorthands = true]{german} +\usepackage[autostyle = true, german = quotes]{csquotes} +\usepackage{amsmath} +\usepackage{amssymb} +% \usepackage{amsthm} +% \theoremstyle{definition} +% \newtheorem{definition}{Definition}[section] +% \newtheorem{notation}[definition]{Notation} +% \newtheorem{example}{Beispiel}[section] +% \theoremstyle{remark} +% \newtheorem*{remark}{Bemerkung} +% \theoremstyle{plain} +% \newtheorem{satz}{Satz}[section] +% \newtheorem{lemma}[satz]{Lemma} +% \newtheorem{proposition}[satz]{Behauptung} +\usepackage{graphicx} +% \usepackage{subfig} +\usepackage{xcolor} +% \usepackage{tikz} +% \usetikzlibrary{arrows.meta,petri,positioning,shapes,shapes.arrows} +\usepackage[ + backend=biber, + bibstyle=ieee, + citestyle=ieee, + date=year +]{biblatex} +\setcounter{biburllcpenalty}{7000} +\addbibresource{chessbibliography.bib} +% \usepackage{rotating} +% \usepackage{array} +% \usepackage{multirow} +\usepackage{booktabs} +% \newcolumntype{R}[1]{>{\begin{turn}{90}\begin{minipage}{#1}}l% +% <{\end{minipage}\end{turn}}% +% } +\usepackage{enumitem} + +\usepackage[ + bookmarksnumbered = true, + colorlinks = true, + citecolor = black, + linkcolor = black, + pdftitle = {DMML Bericht CHESS}, + pdfauthor = {Felix Feist and Stephan Mitte and Erik Jonas Hartnick}, + urlcolor = blue!70!cyan +]{hyperref} + + +\title{Data Mining, Bericht Vorlage Replikation und Reproduktion\footnote{Diese Vorlage ist eine angepasste Version der Vorlage von Jonathan May und Elan Markowitz für den Kurs CS662 Advanced Natural Language Processing an der University of Southern California, die wiederum auf Arbeiten von Noah A. Smith, Jesse Dodge aufbauten (https://elanmarkowitz.github.io/USC-CS662/).}} +%\head{Titel ersetzen und Sub-Titel streichen.} +\author{Alexander Hinneburg\footnote{Diesen Titel und Autor müssen sie für ihren Bericht natürlich ändern.}} +\date{Version 1.0, 15.1.2025} + +\begin{document} +\maketitle +\section{Einleitung} +\minisec{Introduction} + +Beschreiben sie mit ein paar Sätzen den Kontext der replizierten/reproduzierten Arbeit. Es werden höchstens drei bis vier Paragraphen erwartet. Sie sollen hinreichend erklären, was das das Problem ist, das der Artikel bearbeitet, warum es ein wichtiges Problem ist. Fassen sie die Beträge des replizierten/reproduzierten Artikels zusammen. Zitieren sie in diesem Abschnitt relevante wissenschaftliche Arbeiten. Beschreiben, warum wir das Paper Replizieren wollen/ warum es spannend ist, dieses Paper zu replizieren. + +% Was ist der Beitrag des replizierten Artikels? +% Welche Teile der Arbeit wurden für die Replikation ausgewählt? Begründen Sie die Auswahl. Warum wurden andere Teile der Arbeit nicht repliziert? +% Welche neuen Erkenntnisse erwarten Sie durch die geplante Reproduktion? Was steht davon nicht in dem replizierten Artikel? +% Was ist der Beitrag bzw. sind die Beiträge Ihres Artikels über die Reproduktion der ausgewählten Arbeit? + +\section{Umfang der Replikation/Reproduktion} +\minisec{Scope of reproducibility} + +Erklären sie die Behauptungen/Hypothesen/Experimente des Artikels, die sie für ihre Replikation/Reproduktion ausgewählt haben. +Motivieren und begründen sie ihre Auswahl. +Es ist sinnvoll, wenn sie sich auf die Behauptung konzentrieren, die der Hauptbeitrag des Artikels ist. +Um den Hauptbeitrag herauszufinden, versuchen sie den Artikel in ein bis zwei Sätzen zusammenzufassen, z.B. +\begin{quote} + \enquote{This paper introduces a new activation function X that outperforms a similar activation function Y on tasks Z,V,W.} oder + + \enquote{Dieser Artikel führt eine neuartige Aktivierungsfunktion X ein, welche die ähnliche Aktivierungsfunktionen Y für die Aufgaben Z,W,V deutlich verbessert.} +\end{quote} +Stecken sie den Umfang ihrer Replikation/Reproduktion so klar wie möglich ab. +Die Behauptungen ihres Berichts sollten durch die Ergebnisse ihrer Experimente unterstützt oder widerlegt werden. +Schauen sie sich zum Beispiel diese Beschreibung an: +\begin{quote} + \enquote{Contextual embedding models have shown strong performance on a number of tasks across NLP. We will run experiments evaluating two types of contextual embedding models on datasets X, Y, and Z.} oder + + \enquote{Für Contextual-Embedding-Modelle wurde nachgewiesen, dass die bei einer Vielzahl von Aufgaben aus einem breiten Spektrum natürlichen Sprachverarbeitung (NLP) eine hervorragende Leistung erbringen. Wir evaluieren experimentell zwei verschiedene Arten von Contextual-Embedding-Modellen auf den Datensätzen X, Y, Z.} +\end{quote} +Der Umfang ist zu breit angelegt und es fehlt die Erwartung für ein klares Ergebnis. +Schauen sie sich die nächste Beschreibung an: +\begin{quote} +\enquote{Finetuning pretrained BERT on SST-2 will have higher accuracy than an LSTM trained with GloVe embeddings.} oder + +\enquote{Das Anpassen eines vortrainierten BERT-Modells für die SST-2-Aufgabe führt zu einer höheren Klassifikationsrate als ein LSTM-Modell, das für GloVe-Einbettungen trainiert wurde} +\end{quote} +Hier ist klarer was bei der Reproduktion/Replikation herauskommen kann. Diese Aussage könnte durch ihre Ergebnisse tatsächlich bestätigt oder widerlegt werden. + +Führen sie eindeutig die Behauptungen auf, die sie in ihrer Arbeit untersuchen. +\begin{itemize} + \item Behauptung 1 + \item Behauptung 2 + \item Behauptung 3 +\end{itemize} +Beschreiben sie was die Beiträge ihrer Arbeit sind. + +\section{Methoden} +\minisec{Methodology} + +%In this section you explain your approach -- did you use the author's code, did you aim to re-implement the approach from the paper description? Summarize the resources (code, documentation, GPUs) that you used. + +\subsection{Modellbeschreibung} +\minisec{Model descriptions} + +Beischreiben sie die Modelle, die im Originalartikel genutzt werden, einschließlich der Architektur, der Zielfunktion und der Parameter. +%Describe the models used in the original paper, including the architecture, learning objective and the number of parameters. + +\subsection{Datenbeschreibung} +\minisec{Data descriptions} + +Beschreiben sie die Datenmengen, die sie genutzt haben und wie sie sie bekommen haben. +%Describe the datasets you used and how you obtained them. + +\subsection{Hyperparameter} +\minisec{Hyperparameters} + +Beschreiben sie, wie sie Hyperparameter gesetzt haben. Welche Quellen haben sie für die konkreten Werte genutzt (z.B. den Forschungsartikel, Code oder sie hatten eine wohlbegründete Vermutung, educated guess). +%Describe how you set the hyperparameters and what the source was for their value (e.g. paper, code or your guess). + +\subsection{Implementierung} +\minisec{Implementation} + +Beschreiben sie, ob sie vorhandenen Code oder eigenen Code genutzt haben. +Stellen sie Links zum Code bereit und beschreiben sie welche Programmiersprachen und Pakete genutzt wurden. +Ihr Github oder Gitlab-Reposititory sollte öffentlich sein. +Das Reposititory sollte klar dokumentiert werden. +%Describe whether you use the existing code or write your own code, with the link to the code and which programming languages/packages were used. Note that the github repo you link to should be public and have a clear documentation. + +\subsection{Aufbau der Experimente} +\minisec{Experimental setup} + +Erklären sie, wie sie ihre Experimente durchgeführt haben. Was für Ressourcen haben sie verwendet, z.B. GPU/CPU-Ressourcen. +Verlinken sie ihren Code und Notebooks. +%Explain how you ran your experiments, e.g. the CPU/GPU resources and provide the link to your code and notebooks. + +\subsection{Ressourcen für Berechnungen} +\minisec{Computational requirements} + +Beschreiben sie die Anforderungen für die Berechnungen für jedes ihrer Experimente, z.B. die Anzahl der CPU/GPU-Stunden oder die Voraussetzungen für den Hauptspeicher und GPU-Speicher. +Geben sie für Zeit und Speicher eigene Abschätzungen an, bevor die Experimente gelaufen sind und vergleichen sie diese mit den tatsächlich verbrauchten Ressourcen. +Sie müssen vor den Experimenten einplanen, dass diese Informationen auch durch ihren Code gemessen und gespeichert werden. + +% Provide information on computational requirements for each of your experiments. For example, the number of CPU/GPU hours and memory requirements. +% Mention both your estimation made before running the experiments (i.e. in the proposal) and the actual resources you used to reproducing the experiments. +% \textbf{\textit{You'll need to think about this ahead of time, and write your code in a way that captures this information so you can later add it to this section.} } + + +\section{Ergebnisse} +\minisec{Results} + +Starten sie mit einem Überblick über die Ergebnisse. +Bestätigen ihre Ergebnisse die aufgeführten Behauptungen? +Dieser Abschnitt sollte hauptsächlich Fakten nennen und so präzise wie möglich geschrieben werden. +Die Bewertung und Diskussion kann im späteren Kapitel \enquote{Diskussion} folgen. + +% Start with a high-level overview of your results. Does your work support the claims you listed in section 2.1? Keep this section as factual and precise as possible, reserve your judgement and discussion points for the next \enquote{Discussion} section. + +Beschreiben sie dann detailliert jedes einzelne Ergebnis, das sie haben. +Zeigen sie wie es mit einer oder mehreren Behauptungen in Beziehung steht. +Erklären sie konkret was der Kern ihres Ergebnis ist. +Gruppieren sie die Ergebnisse in logische Abschnitte. +Beschreiben sie klar, wo sie über den Originalartikel hinausgegangen sind, wo sie zusätzliche Experimente durchgeführt haben und wie diese mit den ursprünglichen Behauptungen in Beziehung stehen. + +% Go into each individual result you have, say how it relates to one of the claims, and explain what your result is. Logically group related results into sections. Clearly state if you have gone beyond the original paper to run additional experiments and how they relate to the original claims. + +Tipp 1: Drücken sie sich genau aus und verwenden sie eine klare und einfache Sprache, z.B. +\begin{quote} + \enquote{we reproduced the accuracy to within 1\% of reported value, that upholds the paper's conclusion that it performs much better than baselines.} oder + + \enquote{We konnten die Klassifikationsrate bis auf 1\% des angegebenen Werts reproduzieren. Dies unterstützt die Schlussfolgerung der Artikels, dass der Ansatz leistungsfähiger als die Baselines ist.} +\end{quote} +Oft kann man nicht die exakt gleiche numerische Zahl als Ergebnis bekommen. Deshalb müssen sie das Ergebnis bewerten, um zu entscheiden, ob ihr Ergebnis die Behauptung der Originalartikels unterstützt. +% Getting exactly the same number is in most cases infeasible, so you'll need to use your judgement call to decide if your results support the original claim of the paper. + +Tipp 2: Nutzen sie Tabellen und Abbildungen, um ihre Ergebnisse darzustellen. +% You may want to use tables and figures to demonstrate your results. + +% The number of subsections for results should be the same as the number of hypotheses you are trying to verify. + +\subsection{Ergebnis 1} +\minisec{Result 1} + +\subsection{Ergebnis 2} +\minisec{Result 2} + +\subsection{Zusätzliche Ergebnisse, die nicht im Originalartikel enthalten waren} +\minisec{Additional results not present in the original paper} +Beschreiben sie alle zusätzlichen Experimente, die über den Originalartikel hinausgehen. +Dies können Experimente zu weiteren Datenmengen sein oder sie probieren andere Methoden bzw. weitere Vereinfachungen des Modells aus oder passen die Hyperparameter an. +Beschreiben sie für jedes zusätzliche Experiment, was sie genau durchgeführt haben, was die Ergebnisse sind und diskutieren sie was diese Ergebnisse zeigen. + +% Describe any additional experiments beyond the original paper. This could include experimenting with additional datasets, exploring different methods, running more ablations, or tuning the hyperparameters. For each additional experiment, clearly describe which experiment you conducted, its result, and discussions (e.g. what is the indication of the result). + +\section{Diskussion} +\minisec{Discussion} +Beschreiben sie die weiterführenden Implikationen der experimentellen Ergebnisse. +War der Originalartikel replizierbar bzw. reproduzierbar. +Falls nicht, welche Faktoren haben dazu geführt, dass die Experimente nicht reproduziert werden konnten. + +% Describe larger implications of the experimental results, whether the original paper was reproducible, and if it wasn’t, what factors made it irreproducible. + +Bewerten sie, ob sie die Evidenz, die sie durch das Durchführen der Experimente erhalten haben, auch überzeugt, dass die Behauptungen des Originalartikels dadurch gestützt werden. +Diskutieren sie die Stärken und Schwächen ihres Ansatzes, vielleicht haben sie aus Zeitgründen nicht alle Experimente durchführen können, oder vielleicht haben zusätzliche Experimente durchgeführt, die den Originalartikel weiter stärken. + +% Give your judgement on if you feel the evidence you got from running the code supports the claims of the paper. Discuss the strengths and weaknesses of your approach -- perhaps you didn't have time to run all the experiments, or perhaps you did additional experiments that further strengthened the claims in the paper. + + +\subsection{Was war einfach?} +\minisec{What was easy} +Beschreiben sie welche Teile der Replikation/Reproduktion sich leicht umsetzen ließen. +Lief der Code der Autoren problemlos? War es aufgrund der Beschreibung im Originalartikel nicht aufwändig die Methoden zu reimplementieren? +Dieser Abschnitt soll den Lesenden zeigen, welche Teile des Originalartikels sich leicht für eigene Ansätze verwenden lässt. + +% Describe which parts of your reproduction study were easy. E.g. was it easy to run the author's code, or easy to re-implement their method based on the description in the paper. The goal of this section is to summarize to the reader which parts of the original paper they could easily apply to their problem. + +Tipp: Machen sie keine pauschalen Verallgemeinerungen. Was für sie leicht ist, muss für andere nicht leicht sein. Geben sie genügend Kontext und erklären sie warum manche Sachen leicht waren, z.B. der Code hatte eine umfangreiche Dokumentation der Schnittstellen und viele Beispiele aus der Dokumentation passten zu den Experimenten im Artikel. + +% Be careful not to give sweeping generalizations. Something that is easy for you might be difficult to others. Put what was easy in context and explain why it was easy (e.g. code had extensive API documentation and a lot of examples that matched experiments in papers). + +\subsection{Was war schwer?} +\minisec{What was difficult} +Beschreiben sie welche Teile ihrer Replikation/Reproduktion aufwändig oder schwierig waren oder viel mehr Zeit in Anspruch genommen haben, als sie erwarteten. +Vielleicht waren Daten nicht verfügbar, so dass sie einige Experimente nicht verifizieren konnten, oder der Code der Autoren funktionierte nicht und musste erst debugged werden. +Vielleicht dauerten auch einige Experimente zu lange und sie konnten sie deshalb nicht verifizieren. +Dieser Abschnitt soll den Lesenden zeigen, welche Teile des Originalartikels schwer wiederverwendbar sind, bzw. signifikante Zusatzarbeiten und Ressourcen erfordern. + +% Describe which parts of your reproduction study were difficult or took much more time than you expected. Perhaps the data was not available and you couldn't verify some experiments, or the author's code was broken and had to be debugged first. Or, perhaps some experiments just take too much time/resources to run and you couldn't verify them. The purpose of this section is to indicate to the reader which parts of the original paper are either difficult to re-use, or require a significant amount of work and resources to verify. + +Tipp: Setzen sie sorgfältig ihre Diskussion in den richtigen Kontext, z.B. sagen sie nicht \enquote{ die Mathematik war schwer verständlich} sondern sagen sie \enquote{ die Mathematik erfordert fortgeschrittene Kenntnisse in Analysis für das Verständnis}. + +% Be careful to put your discussion in context. For example, don't say \enquote{the math was difficult to follow,} say \enquote{the math requires advanced knowledge of calculus to follow.} + +\subsection{Empfehlungen für die Replizierbarkeit / Reproduzierbarkeit} +\minisec{Recommendations for reproducibility} +Geben sie Empfehlungen, wie die Autoren des Originalartikels oder andere Forschende in diesem Feld die Replizierbarkeit / Reproduzierbarkeit verbessern können. + +% Describe a set of recommendations to the original authors or others who work in this area for improving reproducibility. + +\section{Kommunikation mit den Autoren} +\minisec{Communication with original authors} +Dokumentieren sie das Ausmaß (oder das Fehlen) der Kommunikation mit Autoren. +Stellen sie sicher, dass der Bericht eine faire Beurteilung der Forschungsarbeiten ist. Versuchen sie deshalb mit den Autoren Kontakt aufzunehmen. +Sie können ihnen konkrete Fragen stellen oder falls sie keine Fragen haben, den Bericht zusenden und um Feedback bitten. + +% Document the extent of (or lack of) communication with the original authors. To make sure the reproducibility report is a fair assessment of the original research we recommend getting in touch with the original authors. You can ask authors specific questions, or if you don't have any questions you can send them the full report to get their feedback. + +\nocite{Aho2014} +\printbibliography +\end{document} + diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Black.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Black.ttf new file mode 100644 index 0000000000000000000000000000000000000000..3ff0a7ea51a57970179a16df0a8c254e78304ef9 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Black.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BlackItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BlackItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..bbc0f04bc949ec5bc35fb18279b5820f21eabe5a Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BlackItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Bold.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Bold.ttf new file mode 100644 index 0000000000000000000000000000000000000000..d275b85bd195fa5bce2a5ca598349ad18aff05bc Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Bold.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BoldItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BoldItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..03ea9656f43c327787a91e66ffa8b67d52fb204d Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-BoldItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBold.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBold.ttf new file mode 100644 index 0000000000000000000000000000000000000000..1d2f902741a170045d563203913f86ade1687a5c Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBold.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBoldItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBoldItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..12f4d249e1bed56ca5e341cc65a2b6dfe0f10838 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraBoldItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLight.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLight.ttf new file mode 100644 index 0000000000000000000000000000000000000000..2de522a79c4e7759e6467a76d50ee648c0424cb8 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLight.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLightItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLightItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..b65074d7c0bcfec97a065ff6f54d851afcf3a992 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ExtraLightItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Italic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Italic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..6376ad2bf4a356c80bc6985b2fcee9bde4e44f97 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Italic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Light.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Light.ttf new file mode 100644 index 0000000000000000000000000000000000000000..ceb773776c0c3411901989404e2a3571e0fd035e Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Light.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-LightItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-LightItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..9cfb1fcdd134701e8a5e7fa2fb97df5a64eb4b8b Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-LightItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Medium.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Medium.ttf new file mode 100644 index 0000000000000000000000000000000000000000..13643599bde33e4889aac5c31136cc60d4322e89 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Medium.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-MediumItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-MediumItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..4c5fb43a69dbdaec5f170100871f547caf1c5464 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-MediumItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Regular.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Regular.ttf new file mode 100644 index 0000000000000000000000000000000000000000..eae1d9b40963e90b395a980a2093b9d263004a6c Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Regular.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBold.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBold.ttf new file mode 100644 index 0000000000000000000000000000000000000000..ac2a0a97b7b1a365155f1055849bcbeebed41452 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBold.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBoldItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBoldItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..733973778ef3ed81e7ff6432d71b78a31be02be7 Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-SemiBoldItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Thin.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Thin.ttf new file mode 100644 index 0000000000000000000000000000000000000000..184ca80ddeb692b1b42f6608f608283d4307ef9a Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-Thin.ttf differ diff --git a/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ThinItalic.ttf b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ThinItalic.ttf new file mode 100644 index 0000000000000000000000000000000000000000..2e936952d780021906429e2a0121b3706050539d Binary files /dev/null and b/report/Vortrag/AICStyleData/epilogueFont/Epilogue-ThinItalic.ttf differ diff --git a/report/Vortrag/AICStyleData/logos/LogoShapeDarkRotated.png b/report/Vortrag/AICStyleData/logos/LogoShapeDarkRotated.png new file mode 100644 index 0000000000000000000000000000000000000000..4848d8ff2bcbdbd20c22a918e7431e099fa0a3a5 Binary files /dev/null and b/report/Vortrag/AICStyleData/logos/LogoShapeDarkRotated.png differ diff --git a/report/Vortrag/AICStyleData/logos/LogoShapeLightRotated.png b/report/Vortrag/AICStyleData/logos/LogoShapeLightRotated.png new file mode 100644 index 0000000000000000000000000000000000000000..9e2762cde4f4278647da91d8daae1c448f63bc4c Binary files /dev/null and b/report/Vortrag/AICStyleData/logos/LogoShapeLightRotated.png differ diff --git a/report/Vortrag/beamercolorthemeModernBeamer.sty b/report/Vortrag/beamercolorthemeModernBeamer.sty new file mode 100644 index 0000000000000000000000000000000000000000..d7756b28826eed6ab10894121bc9e03917e43707 --- /dev/null +++ b/report/Vortrag/beamercolorthemeModernBeamer.sty @@ -0,0 +1,34 @@ +% define colors +\definecolor{VeryPaleOrange}{rgb}{1, 0.933, 0.867} +\definecolor{LightGrayishCyan}{rgb}{0.922, 0.98, 0.976} +\definecolor{LightGrayishBlue}{rgb}{0.929, 0.914, 1} +\definecolor{Solitude}{rgb}{0.953, 0.965, 0.976} + +\definecolor{mediumturquoise}{rgb}{0.28, 0.82, 0.8} +\definecolor{NeonCarrot}{rgb}{ 1, 0.49, 0.192} +\definecolor{NeonBlue}{rgb}{0.455, 0.325, 0.984} +\definecolor{Astronaut}{rgb}{0.243, 0.318, 0.416} + + +\definecolor{PrussianBlue}{rgb}{0.0, 0.19, 0.33} + +% set color usage +\usecolortheme[named=PrussianBlue]{structure} +\setbeamercolor{titlelike}{parent=structure} +\setbeamercolor{}{} +\setbeamercolor{block title}{bg=NeonBlue} +\setbeamercolor{block body}{bg=LightGrayishBlue} +\setbeamercolor{block title example}{bg=Astronaut} +\setbeamercolor{block body example}{bg=Solitude} +\setbeamercolor{block title alerted}{bg=NeonCarrot} +\setbeamercolor{block body alerted}{bg=VeryPaleOrange} +\setbeamercolor{footlinecolor}{fg=PrussianBlue} +\setbeamercolor{alerted text}{fg=NeonCarrot} +\setbeamercolor{background canvas}{bg=Solitude} + + +% for title page and final page +\setbeamercolor{title}{fg=Solitude} +\setbeamercolor{subtitle}{fg=Solitude} +\setbeamercolor{author}{fg=Solitude} +\setbeamercolor{institute}{fg=Solitude} diff --git a/report/Vortrag/beamerfontthemeModernBeamer.sty b/report/Vortrag/beamerfontthemeModernBeamer.sty new file mode 100644 index 0000000000000000000000000000000000000000..9781c9734faec7a018cf11832eb9ab71e1f64ee9 --- /dev/null +++ b/report/Vortrag/beamerfontthemeModernBeamer.sty @@ -0,0 +1,27 @@ +\mode<presentation> + +%%%%%%%%%%%% fonts + +\setbeamerfont{structure}{family=\sffamily,series=\mdseries} + +\setbeamerfont{title}{size=\huge,series=\bfseries,parent=structure} +\setbeamerfont{subtitle}{size=\normalsize,parent=title} + +\setbeamerfont{date}{size=\scriptsize,series=\mdseries,parent=structure} +\setbeamerfont{author}{size=\normalsize,parent=title} +\setbeamerfont{institute}{size=\scriptsize,series=\mdseries,parent=structure} + +\setbeamerfont{section in toc}{size=\Large,series=\bfseries,parent=structure} +\setbeamerfont{section in head/foot}{size=\tiny,parent=structure} +\setbeamerfont{subsection in toc}{size=\small,series=\mdseries,parent={section in toc}} + +\setbeamerfont{frametitle}{size=\LARGE,series=\bfseries,parent=structure} +\setbeamerfont{framesubtitle}{parent=frametitle,size=\Large} + +\setbeamerfont{caption}{size=\footnotesize} +\setbeamerfont{item}{parent=structure,series=\mdseries} +\setbeamerfont{block title}{size=\large,series=\mdseries,parent={structure,block body}} + +\mode +<all> + diff --git a/report/Vortrag/beamerinnerthemeModernBeamer.sty b/report/Vortrag/beamerinnerthemeModernBeamer.sty new file mode 100644 index 0000000000000000000000000000000000000000..b3a4c47ddc8960d9323722fc5845abe5bf8fbea5 --- /dev/null +++ b/report/Vortrag/beamerinnerthemeModernBeamer.sty @@ -0,0 +1,204 @@ +\pgfdeclareverticalshading[lower.bg,upper.bg]{bmb@transition}{200cm}{% + color(0pt)=(lower.bg); color(2pt)=(lower.bg); color(4pt)=(lower.bg)} + +\setbeamersize{text margin left=2em,text margin right=2em} + +% table of contents (overview) +\setbeamertemplate{section in toc}[sections numbered] +\setbeamertemplate{subsection in toc}{\leavevmode\leftskip=3.2em\rlap{\hskip-2em\inserttocsectionnumber.\inserttocsubsectionnumber}\inserttocsubsection\par} + +\setbeamertemplate{navigation symbols}{} +\setbeamertemplate{blocks}[default] +\setbeamertemplate{enumerate items}[default] +\setbeamertemplate{date}[default] + +% General frames +\setbeamertemplate{frametitle}{\vspace*{1em}\bfseries\insertframetitle\par\vskip-6pt + %------------------------- + {\usebeamercolor[fg]{titlegraphic}\insertlogo\par} +} + +% Footline +\setbeamertemplate{footline}{% + \begin{beamercolorbox}[ht=3em,sep=0.75em,wd=\paperwidth,leftskip=0.5cm,rightskip=0.5cm]{footlinecolor} + \scriptsize{\insertshortinstitute} + \hspace{1cm} + \hfill + \scriptsize{\insertframenumber/\inserttotalframenumber} + \end{beamercolorbox}% +} + +% Template for headings in multicolumn layout +\setbeamertemplate{column_heading}{ + \begin{beamercolorbox}{NeonBlue} + \end{beamercolorbox} +} + +% Template for the final page of the presentation +\setbeamertemplate{endpage}{\vspace{8em} + + \begingroup + \centering + % ------------------------ + \begin{beamercolorbox}[sep=8pt,left]{title} + \setbeamercolor{normal text}{fg=red} + \vskip2.5em\par + \usebeamerfont{title}\finalpage \par% + \end{beamercolorbox}% + \vskip 2.5em\par + % ------------------------ + \begin{beamercolorbox}[sep=8pt,left]{author} + \usebeamerfont{author}\insertauthor + \end{beamercolorbox} + \vskip-2em + % ------------------------ + \vskip1.5em\par + \begin{beamercolorbox}[sep=8pt,left]{institute} + \usebeamerfont{institute}\insertinstitute + \hspace*{0.45\linewidth} + \usebeamerfont{date}\insertdate + \end{beamercolorbox} + % ------------------------ + {\usebeamercolor[fg]{titlegraphic}\inserttitlegraphic\par} + \endgroup + \vfill + +} + +% Title page +\setbeamertemplate{title page}{ + \vspace{8em} + \begingroup + \centering + % ------------------------ + \begin{beamercolorbox}[sep=8pt,left]{title} + \usebeamerfont{title}\inserttitle\par% + \ifx\insertsubtitle\@empty% + \else% + \vskip0.25em% + {\usebeamerfont{subtitle}\usebeamercolor[fg]{subtitle}\insertsubtitle\par}% + \fi% + \end{beamercolorbox}% + \vskip4em\par + % ------------------------ + \begin{beamercolorbox}[sep=8pt,left]{author} + \usebeamerfont{author}\insertauthor + \end{beamercolorbox} + \vskip-2em + % ------------------------ + \vskip1.5em\par + \begin{beamercolorbox}[sep=8pt,left]{institute} + \usebeamerfont{institute}\insertinstitute + \hspace*{0.45\linewidth} + \usebeamerfont{date}\insertdate + \end{beamercolorbox} + + % Logo on the title page + \titlegraphic{ + \begin{tikzpicture}[overlay,remember picture] + \node[anchor=north west, outer xsep=26pt, outer ysep=20pt] at (current page.north west){ + %\includegraphics[width=12em]{AICStyleData/logos/Logo_AIC_FEECTU_Holo_white.png} + }; + \end{tikzpicture} + } + {\usebeamercolor[fg]{titlegraphic}\inserttitlegraphic\par} + \endgroup + \vfill +} + +% Section divider +\setbeamertemplate{section divider}{ +\logo { + \begin{tikzpicture}[overlay,remember picture] + \node[left=0.2cm] at (current page.24){ + %\includegraphics[width=1.5cm]{AICStyleData/logos/Symbol_AIC_Neon_Blue.png} + }; + \end{tikzpicture} + } + \vspace{14em} + \begin{beamercolorbox}[sep=0pt,left]{frametitle} + \usebeamerfont{frametitle} + \insertsectionhead\par% + \end{beamercolorbox}% + \gradientline\par + \vspace{6em} + \begin{beamercolorbox}[ht=1em,sep=8pt,wd=\paperwidth,leftskip=0.5cm,rightskip=0.5cm]{footlinecolor} + \scriptsize{\insertshortinstitute} + \hspace{1cm} + \hfill + \end{beamercolorbox}% + %------------------------- + {\usebeamercolor[fg]{titlegraphic}\insertlogo\par} + +} + + +%Select the Epilogue font (requires luaLatex or XeLaTex compilers) +\setsansfont{Epilogue}[ + Path=./AICStyleData/epilogueFont/, + Scale=0.9, + Extension = .ttf, + UprightFont=*-Regular, + BoldFont=*-Bold, + ItalicFont=*-Italic, + BoldItalicFont=*-BoldItalic + ] + +%---------------------------------------------------------------------------------------- +% Custom commands +%---------------------------------------------------------------------------------------- +% Section divider +% gradient color line for the section separation +\newcommand{\gradientline}{\noindent% + \begin{tikzpicture} + \node [rectangle, left color=NeonBlue, right color=NeonBlue, middle color=mediumturquoise, anchor=north, minimum width=\linewidth, inner sep=0pt, minimum height=1.5pt] (box) at (current page.north){}; + \end{tikzpicture} +} + +\newcommand \makesection[1]{ +{ +\usebackgroundtemplate{ +\includegraphics[width=\paperwidth]{AICStyleData/logos/LogoShapeLightRotated.png} +} +\begin{frame}[plain, noframenumbering] + \section{#1} + \usebeamertemplate{section divider} +\end{frame} +} +} +% ---------------------------------------------------------- + +% command for building the last slide of the presentation +\newcommand\finalpage{} % Empty by default. +\newcommand\finalpagetext[1]{\renewcommand\finalpage{#1}} + +\newcommand \makefinalpage{ + { + \usebackgroundtemplate{ + \includegraphics[width=\paperwidth]{AICStyleData/logos/LogoShapeDarkRotated.png} + } + \begin{frame}[plain] + \usebeamertemplate{endpage} + \end{frame} + } +} +% ---------------------------------------------------------- + +% command for building the first slide of the presentation +\newcommand \maketitlepage{ + { + \usebackgroundtemplate{ + \includegraphics[width=\paperwidth]{AICStyleData/logos/LogoShapeDarkRotated.png} + } +\begin{frame}[plain] + % Print the title page as the first slide + \titlepage +\end{frame} +} +} +% ---------------------------------------------------------- + +% Formatting for header columns in multi-column page +\newcommand\colheader[1]{\textcolor{NeonBlue}{\textbf{#1}}\par} +% ---------------------------------------------------------- + diff --git a/report/Vortrag/beamerthemeModernBeamer.sty b/report/Vortrag/beamerthemeModernBeamer.sty new file mode 100644 index 0000000000000000000000000000000000000000..db00f61f75c4d90168374ffe877c6deecf559d33 --- /dev/null +++ b/report/Vortrag/beamerthemeModernBeamer.sty @@ -0,0 +1,11 @@ +\mode<presentation> + +% Settings +\usetheme{Madrid} +\useinnertheme{circles} + +\usefonttheme{ModernBeamer} +\usecolortheme{ModernBeamer} +\useinnertheme{ModernBeamer} + +\mode<all> diff --git a/report/Vortrag/main.tex b/report/Vortrag/main.tex new file mode 100644 index 0000000000000000000000000000000000000000..2c7c123ce66c451d92c7d9054c25a093220b5017 --- /dev/null +++ b/report/Vortrag/main.tex @@ -0,0 +1,383 @@ +%------------------------------------------------ +% PACKAGES AND THEMES +%------------------------------------------------ +\documentclass[aspectratio=169,xcolor=dvipsnames, t]{beamer} +\usepackage{fontspec} % Allows using custom font. MUST be before loading the theme! +\usetheme{ModernBeamer} +\usepackage{hyperref} +\usepackage{graphicx} % Allows including images +\usepackage{booktabs} % Allows the use of \toprule, \midrule and \bottomrule in tables +\usepackage{svg} %allows using svg figures +\usepackage{tikz} +\usetikzlibrary{positioning, shapes.misc} +\usepackage{makecell} +\usepackage{wrapfig} +% ADD YOUR PACKAGES BELOW +% ... +\usepackage[ + backend=biber, + bibstyle=ieee, % bibstyle verdeckt von Theme + citestyle=ieee % alphabetic für Autorenkürzel +]{biblatex} +\addbibresource{../chessbibliography.bib} + +%------------------------------------------------ +% TITLE PAGE CONFIGURATION +%------------------------------------------------ + +\title[short title]{Zwischenbericht Replikation - CHESS} +\subtitle{Data Mining und maschinelles Lernen} +\author{Felix Feist, Erik Jonas Hartnick und Stephan Mitte} +\institute[]{Institut für Informatik \newline Naturwissenschaftliche Fakultät III\newline Martin-Luther-Universität Halle-Wittenberg} +\date{29.01.2025} + +%------------------------------------------------ +% PRESENTATION SLIDES +%------------------------------------------------ + +\begin{document} + +\maketitlepage + +\begin{frame}[t]{Agenda} + \tableofcontents +\end{frame} + +%------------------------------------------------ +\makesection{Vorstellen des Artikels} +%------------------------------------------------ +\begin{frame}{Overview} + \begin{itemize} + \item CHESS: Contextual Harnessing for Efficient SQL Synthesis + %\item Shayan Talaei, Mohammadreza Pourreza, Yu-Chen Chang, Azalia Mirhoseini, Amin Saberi + \item Stanford University/USA and University of Alberta/Canada + \item Submitted 27th Mai 2024 + \end{itemize} + \vfill + \textbf{Problem:} + \begin{itemize} + \item Translating natural language questions into SQL queries (Text-To-SQL) + \item Accuracy gap for complex databases with large schemas, catalogs, content + \end{itemize} + \vfill + \textbf{Contribution:} + \begin{itemize} + \item Novel multi-agent framework based on Large Language Models (LLMs) + \item Improved generation of SQL queries in complex database + \end{itemize} +\end{frame} + +\begin{frame}{Challenges} + \begin{itemize} + \item<1-> navigating the ambiguities of natural language questions + \begin{itemize} + \item[\rightarrow]<2> Information Retriever (IR) + \end{itemize} + \vfill + \item<1-> extensive size of database catalogs and values + \begin{itemize} + \item[\rightarrow]<2> Information Retriever (IR) \& Schema Selector (SS) + \end{itemize} + \vfill + \item<1-> reasoning over large database schemas + \begin{itemize} + \item[\rightarrow]<2> Schema Selector (SS) \& Candidate Generator (CG) + \end{itemize} + \vfill + \item<1-> ensuring the functional validity of the generated queries + \begin{itemize} + \item[\rightarrow]<2> Unit Tester (UT) + \end{itemize} + \end{itemize} +\end{frame} + +\begin{frame}[t]{Multi-Agent-Framework} + \begin{minipage}[t]{0.70\textwidth} + \vspace{0pt} + \textbf{Information Retriever (IR)} + \begin{itemize} + \item gather relevant data related to user's input + \item extract keywords using LLM calls + \item searching for syntactic and semantic similarities using + \begin{itemize} + \item locality-sensitive hashing index of values (LSH) + \item vector database to measure semantic similarity + \end{itemize} + \end{itemize} + \end{minipage} + \hfill + \begin{minipage}[t]{0.15\textwidth} + \vspace{0pt} + \begin{tikzpicture}[ + thick, + every node/.style = {draw, minimum width=1cm, minimum height=1cm}, + transform shape, + scale=0.70 + ] + \node[minimum height = 3.8cm, minimum width = 2.8cm] (surround) at (0,-0.2) {}; + \node[draw=none, minimum width=2.2cm, rounded rectangle] (chess) at (0,1) {\textbf{CHESS}}; + \node<1-1>[white, fill=green!45!black] (ir) at (-0.6,0) {\textbf{IR}}; + \node<2-2>[white, fill=green!45!black!30] (ir2) at (-0.6,0) {\textbf{IR}}; + \node<1-1>[white, fill=blue!45!black!30] (ss) at (0.6,0) {\textbf{SS}}; + \node<2-2>[white, fill=blue!45!black] (ss2) at (0.6,0) {\textbf{SS}}; + \node[white, fill=red!45!black!30] (cg) at (-0.6,-1.2) {\textbf{CG}}; + \node[white, fill=yellow!45!black!30] (ut) at (0.6,-1.2) {\textbf{UT}}; + \end{tikzpicture} + \end{minipage} + \pause + \vfill + \textbf{Schema Selector (SS)} + \begin{itemize} + \item[\rightarrow] redundant information reduce performance of LLM + \item therefore prune large db schemas into manageable sub-schemas + % --> allowing more efficient reasoning + \item select necessary tables and columns through LLM prompting + \item scalable performance even with more than 4000 columns + \end{itemize} +\end{frame} + +\begin{frame}[t]{Multi-Agent-Framework (Cont.)} + \begin{minipage}[t]{0.75\textwidth} + \vspace{0pt} + \textbf{Candidate Generator (CG)} + \begin{itemize} + \item generates SQL queries with LLM prompt\\ + (using question, selected schema, tables and content) + \item executes and revises generated candidates as needed\\ + (identify faulty queries e.g. syntax errors) + \end{itemize} + \end{minipage} + \hfill + \begin{minipage}[t]{0.15\textwidth} + \vspace{0pt} + \begin{tikzpicture}[ + thick, + every node/.style = {draw, minimum width=1cm, minimum height=1cm}, + transform shape, + scale=0.70 + ] + \node[minimum height = 3.8cm, minimum width = 2.8cm] (surround) at (0,-0.2) {}; + \node[draw=none, minimum width=2.2cm, rounded rectangle] (chess) at (0,1) {\textbf{CHESS}}; + \node[white, fill=green!45!black!30] (ir) at (-0.6,0) {\textbf{IR}}; + \node[white, fill=blue!45!black!30] (ss) at (0.6,0) {\textbf{SS}}; + \node<1-1>[white, fill=red!45!black] (cg) at (-0.6,-1.2) {\textbf{CG}}; + \node<2-2>[white, fill=red!45!black!30] (cg2) at (-0.6,-1.2) {\textbf{CG}}; + \node<1-1>[white, fill=yellow!45!black!30] (ut) at (0.6,-1.2) {\textbf{UT}}; + \node<2-2>[white, fill=yellow!45!black] (ut) at (0.6,-1.2) {\textbf{UT}}; + \end{tikzpicture} + \end{minipage} + \vfill + \pause + \textbf{Unit Tester (UT)} + \begin{itemize} + \item assesses quality of final candidates + \item validates queries through LLM-based natural language unit tests + \item generating multiple tests and evaluate queries against them + \item select most accurate query + \end{itemize} +\end{frame} + +\begin{frame}{Adaptivity for Deployment Constraints} + \begin{itemize} + \item adapt to different deployment scenarios (budgets and capabilities of LLMs) + \item Narrows down industrial-scale db schemas into manageable sub-schemas + \item[\Rightarrow]boosting system accuracy and reducing the number of LLM token + \item Privacy-preserving performance using open-source model + \end{itemize} + \vfill + \textbf{Deployment scenarios:} + \begin{itemize} + \item Maximize accuracy (higher comp. budget and powerful LLMs)\\ + labeled as $CHESS_{(IR,CG,UT)}$ with Unit Tester + \item Maximize efficiency (limited comp. resources, weaker/smaller LLMs)\\ + labeled as $CHESS_{(IR,SS,CG)}$ with one candidate + \end{itemize} +\end{frame} + +%------------------------------------------------ +\makesection{Ressourcen} +\begin{frame}{Used Datasets} + The Datasets used for experiments are: + \begin{itemize} + \item Spider + \item BIRD + \item Subsampled Development Set (SDS) + \item Synthetic Industrial-scale Database Schema + \end{itemize} + Where SDS is a simplified variant of the BIRD Dataset and the synthetic industrial-scale Dataset is a combination of different Databases from BIRD. + + SDS is given in the repository but the industrial scaled Dataset could be difficult to reproduce. + + \textbf{Metrics}: Execution accuracy is used as the metric for comparison. Report both the total number of tokens and the number of LLM calls required by approach. +\end{frame} +%------------------------------------------------ + +% Zugriff auf LLMs ??? + +%------------------------------------------------ +\makesection{Zielstellung} +%------------------------------------------------ + +% Darauf eingehen, welche Experimente gemacht wurden und zu welchem Ergebnis die gekommen sind +% Dann unsere eigene Zielstellung formulieren + +\begin{frame}{Experiments in the main paper} + %The experiments in the main study are categorised as follows: --Redundant + Experiments are categorised as follows: + \begin{enumerate} + \item Computing-intensive tests on Bird with IR, CG and UT + \item Industrial-scale experiments + \item Scenarios with limited computational budgets + \begin{itemize} + \item Open-Source LLMs (Llama-3-70B and fine-tuned DeepSeek model) + \item Proprietary models (GPT-3.5/4-turbo) + \end{itemize} + %\item Ablation studies (to assess the contribution of each component) --kürzer + \item Ablation studies (assess contribution of each agent) + \end{enumerate} + \vfill + For the industrial-scaled dataset, it is not specified how this is formed and it is not made available either. +\end{frame} + +\begin{frame}{Our goals for the replication} + Für $CHESS_{(IR,CG,UT)}$ wurde Gemini 1.5-pro verwendet\\ % $CHEES_{(IR,CG,UT)}$ + % Da gibt es auch eine kostenlose Version müsste aber noch mal einer genauer nachschauen wie das geregelt ist. Ich weiß nicht wie man die API bedient und wie das mit den Zahlungen geregelt ist + Replikation der Ergebnisse über Reihenfolge von Unit Test und SQL-Canidates (EX=68.31 vs EX=66.78) + + Für $CHESS_{(IR,SS,CG)}$ experiments using older proprietary models such as GPT-3.5/4-turbo (niedriger Dollar Bereich), as well as open-source models like \textbf{Llama-3-70B} and a \textbf{fine-tuned DeepSeek} model. % $CHEES_{(IR,SS,CG)}$ + Hier können wir würde ich vorschlagen die Open-Source Varianten zu reproduzieren. + + Wenn eines der beiden steht kann man am besten die einzelnen Funktionen vom SS weglassen und versuchen die Ergebnisse zu replizieren auch den Entity und Kontext Retriver weglassen ist eine Option. Hier wird das SDS verwendet was im repository hinterlegt ist. + Aber leider keine Angaben zum verwendeten LLM. + + Technische Anforderungen fallen bei uns bis auf API Verfügbarkeit weg. Zu Open Source leider keine Angaben gefunden. +\end{frame} + +\begin{frame}{Our goals for the replication (Cont.)} + % Stephans Ideen, überschneidungen mit obiger Folie + \begin{itemize} + \item Testing implementation and check proposed execution accuracy with $CHEES_{(IR,CG,UT)}$ (with ???LLM) and $CHESS(IR,SS,CG)$ (with ???LLM) on the bird dataset + + % ------------------------------------------------ + % gemini-2.0-flash-exp ist aktuell noch kostenlos wegen exp.-version --> https://aistudio.google.com/prompts/new_chat + % ------------------------------------------------ + + \item Additionally testing $CHESS(IR,SS,CG)$ (low power) with different number of revisions in the CG because of the tremendous accuracy drop of 6.80\% without revision tools (see tab. 4 in \cite{Talaei2024}) + + % ------------------------------------------------ + % Laut paper wurde die schwache konfiguration mit 1 und 3 Kandidaten getestet und der/diese mussten dann das richtige Ergebnis haben. Aber die Revision hat laut Tab. 4 eine extremen einfluss, daher sollten wir diesen Untersuchen, denke ich. vermutlich machen ein paar mehr schon eine großen Unterschied aus, aber ab einem bestimmten Wert verbessert sich nichts mehr. + % ------------------------------------------------ + + \item Maybe we also could test a different kind of unit tests where $1$ candidate is evaluated against $M$ UTs (instead of $N$ candidates against $1$ UT) examine claimed accuracy drop of 68.31 down to 66.78 (see 4.2.1) + \end{itemize} +\end{frame} + +%------------------------------------------------ +\makesection{Code der Autoren} +%------------------------------------------------ +\begin{frame}{GitHub} + \url{https://github.com/ShayanTalaei/CHESS} +\end{frame} +%------------------------------------------------ +\makesection{Latex Examples} +% Das ist nur für uns, um zu sehen, welche Highlights dieses Packet bereit stellt +%------------------------------------------------ + + + +%------------------------------------------------ +% Highlight boxes +\begin{frame}{Blocks of Highlighted Text} + In this slide, some important text will be \alert{highlighted} because it's important. Please, don't abuse it. + + \begin{block}{Block} + Sample text + \end{block} + + \begin{alertblock}{Alertblock} + Sample text in red box + \end{alertblock} + + \begin{examples} + Sample text in green box. The title of the block is ``Examples". + \end{examples} +\end{frame} + +%------------------------------------------------ +% Double columns +\begin{frame}{Multiple Columns} + \begin{columns} + \begin{column}{0.45\textwidth} + \colheader{Heading} + \begin{enumerate} + \item Statement + \item Explanation + \item Example + \end{enumerate} + \end{column} + \begin{column}{0.45\textwidth} %%<--- here + \colheader{Heading} + Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer lectus nisl, ultricies in feugiat rutrum, porttitor sit amet augue. Aliquam ut tortor mauris. Sed volutpat ante purus, quis accumsan dolor. + \end{column} + \end{columns} +\end{frame} + +%------------------------------------------------ +% Theoerm (in highlighted box) and Equation in text +\begin{frame}{Theorem} + \begin{theorem}[Mass--energy equivalence] + $E = mc^2$ + \end{theorem} + Equation in text + \begin{equation} + c^{2} = a^{2} + b^{2} + \end{equation} +\end{frame} + +%------------------------------------------------ +% Citations +\begin{frame}[fragile] % Need to use the fragile option when verbatim is used in the slide + \frametitle{Citation} + An example of the \verb|\cite| command to cite within the presentation:\\~ + + This statement requires citation \cite{Talaei2024}. +\end{frame} + +%------------------------------------------------ +% Referenced +%\begin{frame}{References} + % Beamer does not support BibTeX so references must be inserted manually as below + % Vielleicht? Es unterstützt aber biblatex mit biber backend... + % keine Ahnung, warum laut templatebibtex nicht gehen soll... + % biblatex und ../chessbibliography.bib hinzugefügt, siehe unten für nocite +% \footnotesize{ +% \begin{thebibliography}{99} +% \bibitem[Smith, 2012]{p1} John Smith (2012) +% \newblock Title of the publication +% \newblock \emph{Journal Name} 12(3), 45 -- 678. + +% \bibitem[Doe, 2012]{p1} Joe Doe (2012) +% \newblock Title of the publication +% \newblock \emph{Journal Name} 12(3), 45 -- 678. +% \bibitem[Doe, 2013]{p} Jane Doe (2012) +% \newblock Title of the publication +% \newblock \emph{Journal Name} 12(3), 45 -- 678. +% \end{thebibliography} +% } +% \end{frame} + +% nicht mit \cite referenzierte Einträge, die auch unter Literatur erscheinen sollen +% mit Komma trennen, ohne Leerzeichen +\nocite{Talaei2024} +\begin{frame}%[allowframebreaks] + % Literatur kommt in ../chessbibliography.bib, bitte als biblatex formatieren + \frametitle{References} + \printbibliography +\end{frame} +%----------------------------------------------- +% Final PAGE +\finalpagetext{Vielen Dank für Ihre Aufmerksamkeit} +%----------------------------------------------- +\makefinalpage +%----------------------------------------------- +\end{document} diff --git a/report/chessbibliography.bib b/report/chessbibliography.bib new file mode 100644 index 0000000000000000000000000000000000000000..d7d86c97bdbdca07361aad7173b8f377d44d1fa5 --- /dev/null +++ b/report/chessbibliography.bib @@ -0,0 +1,10 @@ +@Misc{Talaei2024, + author = {Talaei, Shayan and Pourreza, Mohammadreza and Chang, Yu-Chen and Mirhoseini, Azalia and Saberi, Amin}, + title = {CHESS: Contextual Harnessing for Efficient SQL Synthesis}, + year = {2024}, + copyright = {Creative Commons Attribution Non Commercial Share Alike 4.0 International}, + doi = {10.48550/ARXIV.2405.16755}, + keywords = {Machine Learning (cs.LG), Artificial Intelligence (cs.AI), Databases (cs.DB), FOS: Computer and information sciences, FOS: Computer and information sciences}, + publisher = {arXiv}, +} +