Konfigurieren für llama3:70b und slrum

• Die Embeddings im preprocessing sind für llama3:70b konfiguriert
• Die Embeddings in retrieve_entity sind für llama3:70b konfiguriert
• Es gibt ein Model mit llama3:70b, konfiguriert für Ollama
• Es gibt eine Agent-Konfiguration für ir_ss_cg, die in allen Fällen llama3:70b verwendet (CHESS/run/configs/RECHESS_IR_SS_CG.yaml)
• Es gibt eine run-Konfiguration für ir_ss_cg, welche die obige Konfiguration verwendet (CHESS/run/configs/run_main_ir_ss_cg_rechess.sh)
• Es gibt ein Skript batch.sh, das ein Kürzel und einen Pfad als Kommandozeilenargumente nutzt, um auf McG folgendes durchzuführen:
  • Ein zip-file des Re-CHESS-Repos aus dem angegbenen Pfad in den /zpool1/slurm_data/<kuerzel>/<job-id> zu kopieren
  • Das zip-file entpackt
  • Ollama lädt und entpackt, dann startet und Llama3-70B lädt
  • Das venv erstellt, Python-Requirements dort hin installiert
  • Die nötigen Datensätze lädt und entpackt
  • Das vorgefertigte .env.rechess nach .env kopiert
  • In den passenden Ordner wechselt, das run-Skript ausführt
  • Ggf. Ergebnisse einsammelt
  • Den Speicherplatz auf dem Worknode wieder freigibt.
  • Teilaufgaben, die in eigene Shell-Dateien ausgelagert werden und entsprechend aufgerufen werden, sind gestattet.
• Es gibt einen CI-CD-Job in .gitlab-ci.yml, der einen Release mit dem zip-gepackten Repo erstellt, dass in das eigene home-verzeichnis (anubis, Pool-PCs) kopiert werden kann, der Pfad kann dann an batch.sh übergeben werden