diff --git a/mcp/evaluate/evaluate_generator.py b/mcp/evaluate/evaluate_generator.py index fcd04b3..452a4ab 100644 --- a/mcp/evaluate/evaluate_generator.py +++ b/mcp/evaluate/evaluate_generator.py @@ -119,6 +119,13 @@ def _generate_run_config(experiment_name: str, dataset_path: str, dialect: str) model_config: experiments/{experiment_name}/eval_configs/model_config.yaml prompt_generator: 'NOOPGenerator' + ############################################################ + ### Evaluator Execution / Parallelism Tuning + ############################################################ + runners: + eval_runners: 2 + sqlgen_runners: 2 + ############################################################ ### Scorer Related Configs ############################################################ diff --git a/mcp/tests/evaluate/evaluate_generator_test.py b/mcp/tests/evaluate/evaluate_generator_test.py index 843e105..558d080 100644 --- a/mcp/tests/evaluate/evaluate_generator_test.py +++ b/mcp/tests/evaluate/evaluate_generator_test.py @@ -139,6 +139,13 @@ def test_generate_evalbench_configs(): model_config: experiments/test-exp/eval_configs/model_config.yaml prompt_generator: 'NOOPGenerator' + ############################################################ + ### Evaluator Execution / Parallelism Tuning + ############################################################ + runners: + eval_runners: 2 + sqlgen_runners: 2 + ############################################################ ### Scorer Related Configs ############################################################