Updated pretraining scripts

scripts/shell/pretrain_60m.sh

@@ -7,6 +7,7 @@ do
       --mode pretraining \
       --optimizer "$optimizer" \
       --model llama_60m \
+      --dataset c4 \
       --batch_size 512 \
       --num_epochs 1 \
       --num_training_tokens 1310000000 \

scripts/shell/pretrain_7b.sh

@@ -7,6 +7,7 @@ do
       --mode pretraining \
       --optimizer "$optimizer" \
       --model llama_7b \
+      --dataset c4 \
       --batch_size 512 \
       --num_epochs 1 \
       --num_training_tokens 13100000 \