Elana/run.sh at main · enyac-group/Elana · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/usr/bin/env bash
set -euo pipefail

export CUDA_VISIBLE_DEVICES=4,5,6,7

MODELS=(
  "meta-llama/Llama-3.1-8B"
  "Qwen/Qwen2.5-7B"
)

WORKLOADS=(
  # ngpus=1, bsz=1, L=512
  "--ttft --tpot --ngpus 1 --batch_size 1 --prompt_len 512 --gen_len 512 --energy --cache_graph --repeats 100"
  "--ttlt           --ngpus 1 --batch_size 1 --prompt_len 512 --gen_len 512 --energy --cache_graph --repeats 20"

  # ngpus=4, bsz=64, L=512
  "--ttft --tpot --ngpus 4 --batch_size 64 --prompt_len 512 --gen_len 512 --energy --cache_graph --repeats 100"
  "--ttlt           --ngpus 4 --batch_size 64 --prompt_len 512 --gen_len 512 --energy --cache_graph --repeats 20"

  # ngpus=4, bsz=64, L=1024
  "--ttft --tpot --ngpus 4 --batch_size 64 --prompt_len 1024 --gen_len 1024 --energy --cache_graph --repeats 100"
  "--ttlt           --ngpus 4 --batch_size 64 --prompt_len 1024 --gen_len 1024 --energy --cache_graph --repeats 20"
)

LOG_DIR="elana_logs"
mkdir -p "${LOG_DIR}"

for model in "${MODELS[@]}"; do
  for workload in "${WORKLOADS[@]}"; do
    # Build a nice log name from model + key args
    model_tag=$(echo "${model}" | tr '/:' '__')
    tag=$(echo "${workload}" | tr ' ' '_' | tr -d '-')
    log_file="${LOG_DIR}/${model_tag}_${tag}.log"

    echo "=================================================================="
    echo "Running: elana ${model} ${workload}"
    echo "Log:     ${log_file}"
    echo "=================================================================="

    # Run and tee to log
    elana "${model}" ${workload} 2>&1 | tee "${log_file}"
  done
done