From 0b53ec2d5be293f2057b19162d1874704b759f2c Mon Sep 17 00:00:00 2001 From: Juexin Wang Date: Fri, 3 Apr 2026 16:31:34 -0700 Subject: [PATCH] feat(evaluate): add custom runner configs to lower evalbench parallelism --- mcp/evaluate/evaluate_generator.py | 7 +++++++ mcp/tests/evaluate/evaluate_generator_test.py | 7 +++++++ 2 files changed, 14 insertions(+) diff --git a/mcp/evaluate/evaluate_generator.py b/mcp/evaluate/evaluate_generator.py index fcd04b3..452a4ab 100644 --- a/mcp/evaluate/evaluate_generator.py +++ b/mcp/evaluate/evaluate_generator.py @@ -119,6 +119,13 @@ def _generate_run_config(experiment_name: str, dataset_path: str, dialect: str) model_config: experiments/{experiment_name}/eval_configs/model_config.yaml prompt_generator: 'NOOPGenerator' + ############################################################ + ### Evaluator Execution / Parallelism Tuning + ############################################################ + runners: + eval_runners: 2 + sqlgen_runners: 2 + ############################################################ ### Scorer Related Configs ############################################################ diff --git a/mcp/tests/evaluate/evaluate_generator_test.py b/mcp/tests/evaluate/evaluate_generator_test.py index 843e105..558d080 100644 --- a/mcp/tests/evaluate/evaluate_generator_test.py +++ b/mcp/tests/evaluate/evaluate_generator_test.py @@ -139,6 +139,13 @@ def test_generate_evalbench_configs(): model_config: experiments/test-exp/eval_configs/model_config.yaml prompt_generator: 'NOOPGenerator' + ############################################################ + ### Evaluator Execution / Parallelism Tuning + ############################################################ + runners: + eval_runners: 2 + sqlgen_runners: 2 + ############################################################ ### Scorer Related Configs ############################################################