Is it possible to launch larger models?

[Zant12]

I'm curious if your team has managed to launch 14B or larger models! This would be mainly intended for phones with 24GB RAM.

[SorryMaker2022]

Theoretically it is OK. The limit is NOT the phone RAM capacity, but the NPU memory capacity.

Qualcomm NPUs use 32-bit architecture with a maximum memory space of 3.75GB available. QNN supports 4 sessions per process. However due to QNN's auto buffer allocation, there may be some memory fragments and the memory limit is about 12-15GB in total. (Note that on some phones, for example Honor phones, the multi-session featured is banned if the phone is not rooted. On those phones only models < 3B can run)

Refer to this:
https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/htp_backend.html?product=1601111740009302#htp-session-&-artifact-usage-guidlines
https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/htp_backend.html?product=1601111740009302#multiple-cdsp-sessions

We allocate all input/output tensors, KVCache and weights into this memory space. It should be OK to run models > 8B but we have not tested for the limit yet.

[Zant12]

I'm thinking of testing https://huggingface.co/RekaAI/reka-flash-3 after a successful reproducible model conversion setup, it seems to use traditional llama architecture making it easier to convert.

Is it easy to convert this on your end? Is it just a change to model_params.py?

class Llama3_21B_Params(ModelParams):
    has_qkv_bias = False
    use_drelu = False
    tie_embedding = False

    n_layers = 44
    vocab_size = 100352
    ffn_hidden_dim = 19648
    head_dim = 96
    n_heads = 64
    n_kv_heads = 8

    rope_theta = 8000000
    rms_norm_eps = 1e-5
    attention_mask_value = -1e5

    fp16_attention_layers = []
    fp16_ffn_layers = []
    fp16_rope = False
    fp16_qkv_heads = False
    n_fp16_heads = 0
    n_fp16_neurons = 0

[SorryMaker2022]

It should be OK to convert llama arch models with a correct set of model info. However note that model conversion (especially for large models) takes a lot of memory and disk resource (for 8B models, 64GB RAM and 700GB Disk is needed and for 21B models it will need more) and takes a while. We currently have no idle servers to convert community-offered models.

You can try the converter on your end. Note that you can use a more conservative setting for --n-threads (for example, 1) for less memory usage.

[SorryMaker2022]

By the way you need to convert the model into more chunks, as there are limits in intermediate file sizes. 4 chunks is a bit dangerous.

[Zant12]

By the way you need to convert the model into more chunks, as there are limits in intermediate file sizes. 4 chunks is a bit dangerous.

🫡
11? I will try the conversion later. need to make space on my desktop first, 500GB for swapfile

[Zant12]

For this model, the output_embedding is not converted successfully to .bin
I split the other chunks into 11, each is 1.7GiB.

I don't see any "Killed" OOM messages in the build.log files.

Details

python converter.py --model-folder /media/user/6/RekaAI_reka-flash-3 --model-name llama3_21b --system-prompt-file /home/user/projects/PowerServe/assets/system_prompts/llama3.txt --prompt-file /home/user/projects/PowerServe/assets/prompts/short_prompt.txt  --batch-sizes 1 128 --artifact-name llama3_21b --n-model-chunk 11 --build-folder /media/user/6/powerserve_build_reka --soc 8gen4
>python export_to_onnx.py --n-threads 24 --model-folder /media/user/6/RekaAI_reka-flash-3 --model-name llama3_21b --graph-name batch_1 --system-prompt-file /home/user/projects/PowerServe/assets/system_prompts/llama3.txt --prompt-file /home/user/projects/PowerServe/assets/prompts/short_prompt.txt --output-folder /media/user/6/powerserve_build_reka --max-n-tokens 1000 --n-model-chunks 11
Creating model...
Loading model weights...
System prompt: 27 tokens: [27, 91, 2527, 8932, 851, 91, 29, 9125, 27, 91, 408, 8932, 851, 91, 397, 2675, 527, 264, 11190, 18328, 16134, 91, 68, 354, 851, 91, 397] '<|start_header_id|>system<|end_header_id|>\nYou are a helpful assistant.<|eot_id|>\n'
Prompt: 95 tokens, truncated to 95 tokens
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 95/95 [10:53:01<00:00, 412.43s/it]
Perplexity: 5.1534
Exporting "model_chunk_0"...
/home/user/projects/PowerServe/MY_ENV_NAME/lib/python3.10/site-packages/torch/onnx/utils.py:739: UserWarning: Constant folding - Only steps=1 can be constant folded for opset >= 10 onnx::Slice op. Constant folding not applied. (Triggered internally at ../torch/csrc/jit/passes/onnx/constant_fold.cpp:179.)
  _C._jit_pass_onnx_graph_shape_type_inference(
/home/user/projects/PowerServe/MY_ENV_NAME/lib/python3.10/site-packages/torch/onnx/utils.py:1244: UserWarning: Constant folding - Only steps=1 can be constant folded for opset >= 10 onnx::Slice op. Constant folding not applied. (Triggered internally at ../torch/csrc/jit/passes/onnx/constant_fold.cpp:179.)
  _C._jit_pass_onnx_graph_shape_type_inference(
Exporting "model_chunk_1"...
Exporting "model_chunk_2"...
Exporting "model_chunk_3"...
Exporting "model_chunk_4"...
Exporting "model_chunk_5"...
Exporting "model_chunk_6"...
Exporting "model_chunk_7"...
Exporting "model_chunk_8"...
Exporting "model_chunk_9"...
Exporting "model_chunk_10"...
Exporting output embedding...
>python build_all_layers.py --build-folder /media/user/6/powerserve_build_reka --batch-size 1 --n-model-chunks 11 --artifact-name llama3_21b --graph-names batch_1
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/output_embedding/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/output_embedding/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/output_embedding/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/output_embedding/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/output_embedding --artifact-name llama3_21b_-1 --graph-names batch_1


> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/output_embedding/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/output_embedding/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/output_embedding/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/output_embedding/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --out_name 'logits' --preserve_io datatype 'logits'
Traceback (most recent call last):
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py", line 118, in <module>
    convert_model()
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py", line 95, in convert_model
    run(cmd_args)
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py", line 44, in run
    assert ret == 0
AssertionError


> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_2 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_8_key_t_cache_0' float32 --input_dim 'layer_8_key_t_cache_0' 96,1920 --input_dtype 'layer_8_key_t_cache_1' float32 --input_dim 'layer_8_key_t_cache_1' 96,1920 --input_dtype 'layer_8_key_t_cache_2' float32 --input_dim 'layer_8_key_t_cache_2' 96,1920 --input_dtype 'layer_8_key_t_cache_3' float32 --input_dim 'layer_8_key_t_cache_3' 96,1920 --input_dtype 'layer_8_key_t_cache_4' float32 --input_dim 'layer_8_key_t_cache_4' 96,1920 --input_dtype 'layer_8_key_t_cache_5' float32 --input_dim 'layer_8_key_t_cache_5' 96,1920 --input_dtype 'layer_8_key_t_cache_6' float32 --input_dim 'layer_8_key_t_cache_6' 96,1920 --input_dtype 'layer_8_key_t_cache_7' float32 --input_dim 'layer_8_key_t_cache_7' 96,1920 --input_dtype 'layer_9_key_t_cache_0' float32 --input_dim 'layer_9_key_t_cache_0' 96,1920 --input_dtype 'layer_9_key_t_cache_1' float32 --input_dim 'layer_9_key_t_cache_1' 96,1920 --input_dtype 'layer_9_key_t_cache_2' float32 --input_dim 'layer_9_key_t_cache_2' 96,1920 --input_dtype 'layer_9_key_t_cache_3' float32 --input_dim 'layer_9_key_t_cache_3' 96,1920 --input_dtype 'layer_9_key_t_cache_4' float32 --input_dim 'layer_9_key_t_cache_4' 96,1920 --input_dtype 'layer_9_key_t_cache_5' float32 --input_dim 'layer_9_key_t_cache_5' 96,1920 --input_dtype 'layer_9_key_t_cache_6' float32 --input_dim 'layer_9_key_t_cache_6' 96,1920 --input_dtype 'layer_9_key_t_cache_7' float32 --input_dim 'layer_9_key_t_cache_7' 96,1920 --input_dtype 'layer_10_key_t_cache_0' float32 --input_dim 'layer_10_key_t_cache_0' 96,1920 --input_dtype 'layer_10_key_t_cache_1' float32 --input_dim 'layer_10_key_t_cache_1' 96,1920 --input_dtype 'layer_10_key_t_cache_2' float32 --input_dim 'layer_10_key_t_cache_2' 96,1920 --input_dtype 'layer_10_key_t_cache_3' float32 --input_dim 'layer_10_key_t_cache_3' 96,1920 --input_dtype 'layer_10_key_t_cache_4' float32 --input_dim 'layer_10_key_t_cache_4' 96,1920 --input_dtype 'layer_10_key_t_cache_5' float32 --input_dim 'layer_10_key_t_cache_5' 96,1920 --input_dtype 'layer_10_key_t_cache_6' float32 --input_dim 'layer_10_key_t_cache_6' 96,1920 --input_dtype 'layer_10_key_t_cache_7' float32 --input_dim 'layer_10_key_t_cache_7' 96,1920 --input_dtype 'layer_11_key_t_cache_0' float32 --input_dim 'layer_11_key_t_cache_0' 96,1920 --input_dtype 'layer_11_key_t_cache_1' float32 --input_dim 'layer_11_key_t_cache_1' 96,1920 --input_dtype 'layer_11_key_t_cache_2' float32 --input_dim 'layer_11_key_t_cache_2' 96,1920 --input_dtype 'layer_11_key_t_cache_3' float32 --input_dim 'layer_11_key_t_cache_3' 96,1920 --input_dtype 'layer_11_key_t_cache_4' float32 --input_dim 'layer_11_key_t_cache_4' 96,1920 --input_dtype 'layer_11_key_t_cache_5' float32 --input_dim 'layer_11_key_t_cache_5' 96,1920 --input_dtype 'layer_11_key_t_cache_6' float32 --input_dim 'layer_11_key_t_cache_6' 96,1920 --input_dtype 'layer_11_key_t_cache_7' float32 --input_dim 'layer_11_key_t_cache_7' 96,1920 --input_dtype 'layer_8_value_cache_0' float32 --input_dim 'layer_8_value_cache_0' 1920,96 --input_dtype 'layer_8_value_cache_1' float32 --input_dim 'layer_8_value_cache_1' 1920,96 --input_dtype 'layer_8_value_cache_2' float32 --input_dim 'layer_8_value_cache_2' 1920,96 --input_dtype 'layer_8_value_cache_3' float32 --input_dim 'layer_8_value_cache_3' 1920,96 --input_dtype 'layer_8_value_cache_4' float32 --input_dim 'layer_8_value_cache_4' 1920,96 --input_dtype 'layer_8_value_cache_5' float32 --input_dim 'layer_8_value_cache_5' 1920,96 --input_dtype 'layer_8_value_cache_6' float32 --input_dim 'layer_8_value_cache_6' 1920,96 --input_dtype 'layer_8_value_cache_7' float32 --input_dim 'layer_8_value_cache_7' 1920,96 --input_dtype 'layer_9_value_cache_0' float32 --input_dim 'layer_9_value_cache_0' 1920,96 --input_dtype 'layer_9_value_cache_1' float32 --input_dim 'layer_9_value_cache_1' 1920,96 --input_dtype 'layer_9_value_cache_2' float32 --input_dim 'layer_9_value_cache_2' 1920,96 --input_dtype 'layer_9_value_cache_3' float32 --input_dim 'layer_9_value_cache_3' 1920,96 --input_dtype 'layer_9_value_cache_4' float32 --input_dim 'layer_9_value_cache_4' 1920,96 --input_dtype 'layer_9_value_cache_5' float32 --input_dim 'layer_9_value_cache_5' 1920,96 --input_dtype 'layer_9_value_cache_6' float32 --input_dim 'layer_9_value_cache_6' 1920,96 --input_dtype 'layer_9_value_cache_7' float32 --input_dim 'layer_9_value_cache_7' 1920,96 --input_dtype 'layer_10_value_cache_0' float32 --input_dim 'layer_10_value_cache_0' 1920,96 --input_dtype 'layer_10_value_cache_1' float32 --input_dim 'layer_10_value_cache_1' 1920,96 --input_dtype 'layer_10_value_cache_2' float32 --input_dim 'layer_10_value_cache_2' 1920,96 --input_dtype 'layer_10_value_cache_3' float32 --input_dim 'layer_10_value_cache_3' 1920,96 --input_dtype 'layer_10_value_cache_4' float32 --input_dim 'layer_10_value_cache_4' 1920,96 --input_dtype 'layer_10_value_cache_5' float32 --input_dim 'layer_10_value_cache_5' 1920,96 --input_dtype 'layer_10_value_cache_6' float32 --input_dim 'layer_10_value_cache_6' 1920,96 --input_dtype 'layer_10_value_cache_7' float32 --input_dim 'layer_10_value_cache_7' 1920,96 --input_dtype 'layer_11_value_cache_0' float32 --input_dim 'layer_11_value_cache_0' 1920,96 --input_dtype 'layer_11_value_cache_1' float32 --input_dim 'layer_11_value_cache_1' 1920,96 --input_dtype 'layer_11_value_cache_2' float32 --input_dim 'layer_11_value_cache_2' 1920,96 --input_dtype 'layer_11_value_cache_3' float32 --input_dim 'layer_11_value_cache_3' 1920,96 --input_dtype 'layer_11_value_cache_4' float32 --input_dim 'layer_11_value_cache_4' 1920,96 --input_dtype 'layer_11_value_cache_5' float32 --input_dim 'layer_11_value_cache_5' 1920,96 --input_dtype 'layer_11_value_cache_6' float32 --input_dim 'layer_11_value_cache_6' 1920,96 --input_dtype 'layer_11_value_cache_7' float32 --input_dim 'layer_11_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_8_key_0' --out_name 'layer_8_key_1' --out_name 'layer_8_key_2' --out_name 'layer_8_key_3' --out_name 'layer_8_key_4' --out_name 'layer_8_key_5' --out_name 'layer_8_key_6' --out_name 'layer_8_key_7' --out_name 'layer_9_key_0' --out_name 'layer_9_key_1' --out_name 'layer_9_key_2' --out_name 'layer_9_key_3' --out_name 'layer_9_key_4' --out_name 'layer_9_key_5' --out_name 'layer_9_key_6' --out_name 'layer_9_key_7' --out_name 'layer_10_key_0' --out_name 'layer_10_key_1' --out_name 'layer_10_key_2' --out_name 'layer_10_key_3' --out_name 'layer_10_key_4' --out_name 'layer_10_key_5' --out_name 'layer_10_key_6' --out_name 'layer_10_key_7' --out_name 'layer_11_key_0' --out_name 'layer_11_key_1' --out_name 'layer_11_key_2' --out_name 'layer_11_key_3' --out_name 'layer_11_key_4' --out_name 'layer_11_key_5' --out_name 'layer_11_key_6' --out_name 'layer_11_key_7' --out_name 'layer_8_value_0' --out_name 'layer_8_value_1' --out_name 'layer_8_value_2' --out_name 'layer_8_value_3' --out_name 'layer_8_value_4' --out_name 'layer_8_value_5' --out_name 'layer_8_value_6' --out_name 'layer_8_value_7' --out_name 'layer_9_value_0' --out_name 'layer_9_value_1' --out_name 'layer_9_value_2' --out_name 'layer_9_value_3' --out_name 'layer_9_value_4' --out_name 'layer_9_value_5' --out_name 'layer_9_value_6' --out_name 'layer_9_value_7' --out_name 'layer_10_value_0' --out_name 'layer_10_value_1' --out_name 'layer_10_value_2' --out_name 'layer_10_value_3' --out_name 'layer_10_value_4' --out_name 'layer_10_value_5' --out_name 'layer_10_value_6' --out_name 'layer_10_value_7' --out_name 'layer_11_value_0' --out_name 'layer_11_value_1' --out_name 'layer_11_value_2' --out_name 'layer_11_value_3' --out_name 'layer_11_value_4' --out_name 'layer_11_value_5' --out_name 'layer_11_value_6' --out_name 'layer_11_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_2/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_2
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_3 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_12_key_t_cache_0' float32 --input_dim 'layer_12_key_t_cache_0' 96,1920 --input_dtype 'layer_12_key_t_cache_1' float32 --input_dim 'layer_12_key_t_cache_1' 96,1920 --input_dtype 'layer_12_key_t_cache_2' float32 --input_dim 'layer_12_key_t_cache_2' 96,1920 --input_dtype 'layer_12_key_t_cache_3' float32 --input_dim 'layer_12_key_t_cache_3' 96,1920 --input_dtype 'layer_12_key_t_cache_4' float32 --input_dim 'layer_12_key_t_cache_4' 96,1920 --input_dtype 'layer_12_key_t_cache_5' float32 --input_dim 'layer_12_key_t_cache_5' 96,1920 --input_dtype 'layer_12_key_t_cache_6' float32 --input_dim 'layer_12_key_t_cache_6' 96,1920 --input_dtype 'layer_12_key_t_cache_7' float32 --input_dim 'layer_12_key_t_cache_7' 96,1920 --input_dtype 'layer_13_key_t_cache_0' float32 --input_dim 'layer_13_key_t_cache_0' 96,1920 --input_dtype 'layer_13_key_t_cache_1' float32 --input_dim 'layer_13_key_t_cache_1' 96,1920 --input_dtype 'layer_13_key_t_cache_2' float32 --input_dim 'layer_13_key_t_cache_2' 96,1920 --input_dtype 'layer_13_key_t_cache_3' float32 --input_dim 'layer_13_key_t_cache_3' 96,1920 --input_dtype 'layer_13_key_t_cache_4' float32 --input_dim 'layer_13_key_t_cache_4' 96,1920 --input_dtype 'layer_13_key_t_cache_5' float32 --input_dim 'layer_13_key_t_cache_5' 96,1920 --input_dtype 'layer_13_key_t_cache_6' float32 --input_dim 'layer_13_key_t_cache_6' 96,1920 --input_dtype 'layer_13_key_t_cache_7' float32 --input_dim 'layer_13_key_t_cache_7' 96,1920 --input_dtype 'layer_14_key_t_cache_0' float32 --input_dim 'layer_14_key_t_cache_0' 96,1920 --input_dtype 'layer_14_key_t_cache_1' float32 --input_dim 'layer_14_key_t_cache_1' 96,1920 --input_dtype 'layer_14_key_t_cache_2' float32 --input_dim 'layer_14_key_t_cache_2' 96,1920 --input_dtype 'layer_14_key_t_cache_3' float32 --input_dim 'layer_14_key_t_cache_3' 96,1920 --input_dtype 'layer_14_key_t_cache_4' float32 --input_dim 'layer_14_key_t_cache_4' 96,1920 --input_dtype 'layer_14_key_t_cache_5' float32 --input_dim 'layer_14_key_t_cache_5' 96,1920 --input_dtype 'layer_14_key_t_cache_6' float32 --input_dim 'layer_14_key_t_cache_6' 96,1920 --input_dtype 'layer_14_key_t_cache_7' float32 --input_dim 'layer_14_key_t_cache_7' 96,1920 --input_dtype 'layer_15_key_t_cache_0' float32 --input_dim 'layer_15_key_t_cache_0' 96,1920 --input_dtype 'layer_15_key_t_cache_1' float32 --input_dim 'layer_15_key_t_cache_1' 96,1920 --input_dtype 'layer_15_key_t_cache_2' float32 --input_dim 'layer_15_key_t_cache_2' 96,1920 --input_dtype 'layer_15_key_t_cache_3' float32 --input_dim 'layer_15_key_t_cache_3' 96,1920 --input_dtype 'layer_15_key_t_cache_4' float32 --input_dim 'layer_15_key_t_cache_4' 96,1920 --input_dtype 'layer_15_key_t_cache_5' float32 --input_dim 'layer_15_key_t_cache_5' 96,1920 --input_dtype 'layer_15_key_t_cache_6' float32 --input_dim 'layer_15_key_t_cache_6' 96,1920 --input_dtype 'layer_15_key_t_cache_7' float32 --input_dim 'layer_15_key_t_cache_7' 96,1920 --input_dtype 'layer_12_value_cache_0' float32 --input_dim 'layer_12_value_cache_0' 1920,96 --input_dtype 'layer_12_value_cache_1' float32 --input_dim 'layer_12_value_cache_1' 1920,96 --input_dtype 'layer_12_value_cache_2' float32 --input_dim 'layer_12_value_cache_2' 1920,96 --input_dtype 'layer_12_value_cache_3' float32 --input_dim 'layer_12_value_cache_3' 1920,96 --input_dtype 'layer_12_value_cache_4' float32 --input_dim 'layer_12_value_cache_4' 1920,96 --input_dtype 'layer_12_value_cache_5' float32 --input_dim 'layer_12_value_cache_5' 1920,96 --input_dtype 'layer_12_value_cache_6' float32 --input_dim 'layer_12_value_cache_6' 1920,96 --input_dtype 'layer_12_value_cache_7' float32 --input_dim 'layer_12_value_cache_7' 1920,96 --input_dtype 'layer_13_value_cache_0' float32 --input_dim 'layer_13_value_cache_0' 1920,96 --input_dtype 'layer_13_value_cache_1' float32 --input_dim 'layer_13_value_cache_1' 1920,96 --input_dtype 'layer_13_value_cache_2' float32 --input_dim 'layer_13_value_cache_2' 1920,96 --input_dtype 'layer_13_value_cache_3' float32 --input_dim 'layer_13_value_cache_3' 1920,96 --input_dtype 'layer_13_value_cache_4' float32 --input_dim 'layer_13_value_cache_4' 1920,96 --input_dtype 'layer_13_value_cache_5' float32 --input_dim 'layer_13_value_cache_5' 1920,96 --input_dtype 'layer_13_value_cache_6' float32 --input_dim 'layer_13_value_cache_6' 1920,96 --input_dtype 'layer_13_value_cache_7' float32 --input_dim 'layer_13_value_cache_7' 1920,96 --input_dtype 'layer_14_value_cache_0' float32 --input_dim 'layer_14_value_cache_0' 1920,96 --input_dtype 'layer_14_value_cache_1' float32 --input_dim 'layer_14_value_cache_1' 1920,96 --input_dtype 'layer_14_value_cache_2' float32 --input_dim 'layer_14_value_cache_2' 1920,96 --input_dtype 'layer_14_value_cache_3' float32 --input_dim 'layer_14_value_cache_3' 1920,96 --input_dtype 'layer_14_value_cache_4' float32 --input_dim 'layer_14_value_cache_4' 1920,96 --input_dtype 'layer_14_value_cache_5' float32 --input_dim 'layer_14_value_cache_5' 1920,96 --input_dtype 'layer_14_value_cache_6' float32 --input_dim 'layer_14_value_cache_6' 1920,96 --input_dtype 'layer_14_value_cache_7' float32 --input_dim 'layer_14_value_cache_7' 1920,96 --input_dtype 'layer_15_value_cache_0' float32 --input_dim 'layer_15_value_cache_0' 1920,96 --input_dtype 'layer_15_value_cache_1' float32 --input_dim 'layer_15_value_cache_1' 1920,96 --input_dtype 'layer_15_value_cache_2' float32 --input_dim 'layer_15_value_cache_2' 1920,96 --input_dtype 'layer_15_value_cache_3' float32 --input_dim 'layer_15_value_cache_3' 1920,96 --input_dtype 'layer_15_value_cache_4' float32 --input_dim 'layer_15_value_cache_4' 1920,96 --input_dtype 'layer_15_value_cache_5' float32 --input_dim 'layer_15_value_cache_5' 1920,96 --input_dtype 'layer_15_value_cache_6' float32 --input_dim 'layer_15_value_cache_6' 1920,96 --input_dtype 'layer_15_value_cache_7' float32 --input_dim 'layer_15_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_12_key_0' --out_name 'layer_12_key_1' --out_name 'layer_12_key_2' --out_name 'layer_12_key_3' --out_name 'layer_12_key_4' --out_name 'layer_12_key_5' --out_name 'layer_12_key_6' --out_name 'layer_12_key_7' --out_name 'layer_13_key_0' --out_name 'layer_13_key_1' --out_name 'layer_13_key_2' --out_name 'layer_13_key_3' --out_name 'layer_13_key_4' --out_name 'layer_13_key_5' --out_name 'layer_13_key_6' --out_name 'layer_13_key_7' --out_name 'layer_14_key_0' --out_name 'layer_14_key_1' --out_name 'layer_14_key_2' --out_name 'layer_14_key_3' --out_name 'layer_14_key_4' --out_name 'layer_14_key_5' --out_name 'layer_14_key_6' --out_name 'layer_14_key_7' --out_name 'layer_15_key_0' --out_name 'layer_15_key_1' --out_name 'layer_15_key_2' --out_name 'layer_15_key_3' --out_name 'layer_15_key_4' --out_name 'layer_15_key_5' --out_name 'layer_15_key_6' --out_name 'layer_15_key_7' --out_name 'layer_12_value_0' --out_name 'layer_12_value_1' --out_name 'layer_12_value_2' --out_name 'layer_12_value_3' --out_name 'layer_12_value_4' --out_name 'layer_12_value_5' --out_name 'layer_12_value_6' --out_name 'layer_12_value_7' --out_name 'layer_13_value_0' --out_name 'layer_13_value_1' --out_name 'layer_13_value_2' --out_name 'layer_13_value_3' --out_name 'layer_13_value_4' --out_name 'layer_13_value_5' --out_name 'layer_13_value_6' --out_name 'layer_13_value_7' --out_name 'layer_14_value_0' --out_name 'layer_14_value_1' --out_name 'layer_14_value_2' --out_name 'layer_14_value_3' --out_name 'layer_14_value_4' --out_name 'layer_14_value_5' --out_name 'layer_14_value_6' --out_name 'layer_14_value_7' --out_name 'layer_15_value_0' --out_name 'layer_15_value_1' --out_name 'layer_15_value_2' --out_name 'layer_15_value_3' --out_name 'layer_15_value_4' --out_name 'layer_15_value_5' --out_name 'layer_15_value_6' --out_name 'layer_15_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_3/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_3
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_4 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_16_key_t_cache_0' float32 --input_dim 'layer_16_key_t_cache_0' 96,1920 --input_dtype 'layer_16_key_t_cache_1' float32 --input_dim 'layer_16_key_t_cache_1' 96,1920 --input_dtype 'layer_16_key_t_cache_2' float32 --input_dim 'layer_16_key_t_cache_2' 96,1920 --input_dtype 'layer_16_key_t_cache_3' float32 --input_dim 'layer_16_key_t_cache_3' 96,1920 --input_dtype 'layer_16_key_t_cache_4' float32 --input_dim 'layer_16_key_t_cache_4' 96,1920 --input_dtype 'layer_16_key_t_cache_5' float32 --input_dim 'layer_16_key_t_cache_5' 96,1920 --input_dtype 'layer_16_key_t_cache_6' float32 --input_dim 'layer_16_key_t_cache_6' 96,1920 --input_dtype 'layer_16_key_t_cache_7' float32 --input_dim 'layer_16_key_t_cache_7' 96,1920 --input_dtype 'layer_17_key_t_cache_0' float32 --input_dim 'layer_17_key_t_cache_0' 96,1920 --input_dtype 'layer_17_key_t_cache_1' float32 --input_dim 'layer_17_key_t_cache_1' 96,1920 --input_dtype 'layer_17_key_t_cache_2' float32 --input_dim 'layer_17_key_t_cache_2' 96,1920 --input_dtype 'layer_17_key_t_cache_3' float32 --input_dim 'layer_17_key_t_cache_3' 96,1920 --input_dtype 'layer_17_key_t_cache_4' float32 --input_dim 'layer_17_key_t_cache_4' 96,1920 --input_dtype 'layer_17_key_t_cache_5' float32 --input_dim 'layer_17_key_t_cache_5' 96,1920 --input_dtype 'layer_17_key_t_cache_6' float32 --input_dim 'layer_17_key_t_cache_6' 96,1920 --input_dtype 'layer_17_key_t_cache_7' float32 --input_dim 'layer_17_key_t_cache_7' 96,1920 --input_dtype 'layer_18_key_t_cache_0' float32 --input_dim 'layer_18_key_t_cache_0' 96,1920 --input_dtype 'layer_18_key_t_cache_1' float32 --input_dim 'layer_18_key_t_cache_1' 96,1920 --input_dtype 'layer_18_key_t_cache_2' float32 --input_dim 'layer_18_key_t_cache_2' 96,1920 --input_dtype 'layer_18_key_t_cache_3' float32 --input_dim 'layer_18_key_t_cache_3' 96,1920 --input_dtype 'layer_18_key_t_cache_4' float32 --input_dim 'layer_18_key_t_cache_4' 96,1920 --input_dtype 'layer_18_key_t_cache_5' float32 --input_dim 'layer_18_key_t_cache_5' 96,1920 --input_dtype 'layer_18_key_t_cache_6' float32 --input_dim 'layer_18_key_t_cache_6' 96,1920 --input_dtype 'layer_18_key_t_cache_7' float32 --input_dim 'layer_18_key_t_cache_7' 96,1920 --input_dtype 'layer_19_key_t_cache_0' float32 --input_dim 'layer_19_key_t_cache_0' 96,1920 --input_dtype 'layer_19_key_t_cache_1' float32 --input_dim 'layer_19_key_t_cache_1' 96,1920 --input_dtype 'layer_19_key_t_cache_2' float32 --input_dim 'layer_19_key_t_cache_2' 96,1920 --input_dtype 'layer_19_key_t_cache_3' float32 --input_dim 'layer_19_key_t_cache_3' 96,1920 --input_dtype 'layer_19_key_t_cache_4' float32 --input_dim 'layer_19_key_t_cache_4' 96,1920 --input_dtype 'layer_19_key_t_cache_5' float32 --input_dim 'layer_19_key_t_cache_5' 96,1920 --input_dtype 'layer_19_key_t_cache_6' float32 --input_dim 'layer_19_key_t_cache_6' 96,1920 --input_dtype 'layer_19_key_t_cache_7' float32 --input_dim 'layer_19_key_t_cache_7' 96,1920 --input_dtype 'layer_16_value_cache_0' float32 --input_dim 'layer_16_value_cache_0' 1920,96 --input_dtype 'layer_16_value_cache_1' float32 --input_dim 'layer_16_value_cache_1' 1920,96 --input_dtype 'layer_16_value_cache_2' float32 --input_dim 'layer_16_value_cache_2' 1920,96 --input_dtype 'layer_16_value_cache_3' float32 --input_dim 'layer_16_value_cache_3' 1920,96 --input_dtype 'layer_16_value_cache_4' float32 --input_dim 'layer_16_value_cache_4' 1920,96 --input_dtype 'layer_16_value_cache_5' float32 --input_dim 'layer_16_value_cache_5' 1920,96 --input_dtype 'layer_16_value_cache_6' float32 --input_dim 'layer_16_value_cache_6' 1920,96 --input_dtype 'layer_16_value_cache_7' float32 --input_dim 'layer_16_value_cache_7' 1920,96 --input_dtype 'layer_17_value_cache_0' float32 --input_dim 'layer_17_value_cache_0' 1920,96 --input_dtype 'layer_17_value_cache_1' float32 --input_dim 'layer_17_value_cache_1' 1920,96 --input_dtype 'layer_17_value_cache_2' float32 --input_dim 'layer_17_value_cache_2' 1920,96 --input_dtype 'layer_17_value_cache_3' float32 --input_dim 'layer_17_value_cache_3' 1920,96 --input_dtype 'layer_17_value_cache_4' float32 --input_dim 'layer_17_value_cache_4' 1920,96 --input_dtype 'layer_17_value_cache_5' float32 --input_dim 'layer_17_value_cache_5' 1920,96 --input_dtype 'layer_17_value_cache_6' float32 --input_dim 'layer_17_value_cache_6' 1920,96 --input_dtype 'layer_17_value_cache_7' float32 --input_dim 'layer_17_value_cache_7' 1920,96 --input_dtype 'layer_18_value_cache_0' float32 --input_dim 'layer_18_value_cache_0' 1920,96 --input_dtype 'layer_18_value_cache_1' float32 --input_dim 'layer_18_value_cache_1' 1920,96 --input_dtype 'layer_18_value_cache_2' float32 --input_dim 'layer_18_value_cache_2' 1920,96 --input_dtype 'layer_18_value_cache_3' float32 --input_dim 'layer_18_value_cache_3' 1920,96 --input_dtype 'layer_18_value_cache_4' float32 --input_dim 'layer_18_value_cache_4' 1920,96 --input_dtype 'layer_18_value_cache_5' float32 --input_dim 'layer_18_value_cache_5' 1920,96 --input_dtype 'layer_18_value_cache_6' float32 --input_dim 'layer_18_value_cache_6' 1920,96 --input_dtype 'layer_18_value_cache_7' float32 --input_dim 'layer_18_value_cache_7' 1920,96 --input_dtype 'layer_19_value_cache_0' float32 --input_dim 'layer_19_value_cache_0' 1920,96 --input_dtype 'layer_19_value_cache_1' float32 --input_dim 'layer_19_value_cache_1' 1920,96 --input_dtype 'layer_19_value_cache_2' float32 --input_dim 'layer_19_value_cache_2' 1920,96 --input_dtype 'layer_19_value_cache_3' float32 --input_dim 'layer_19_value_cache_3' 1920,96 --input_dtype 'layer_19_value_cache_4' float32 --input_dim 'layer_19_value_cache_4' 1920,96 --input_dtype 'layer_19_value_cache_5' float32 --input_dim 'layer_19_value_cache_5' 1920,96 --input_dtype 'layer_19_value_cache_6' float32 --input_dim 'layer_19_value_cache_6' 1920,96 --input_dtype 'layer_19_value_cache_7' float32 --input_dim 'layer_19_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_16_key_0' --out_name 'layer_16_key_1' --out_name 'layer_16_key_2' --out_name 'layer_16_key_3' --out_name 'layer_16_key_4' --out_name 'layer_16_key_5' --out_name 'layer_16_key_6' --out_name 'layer_16_key_7' --out_name 'layer_17_key_0' --out_name 'layer_17_key_1' --out_name 'layer_17_key_2' --out_name 'layer_17_key_3' --out_name 'layer_17_key_4' --out_name 'layer_17_key_5' --out_name 'layer_17_key_6' --out_name 'layer_17_key_7' --out_name 'layer_18_key_0' --out_name 'layer_18_key_1' --out_name 'layer_18_key_2' --out_name 'layer_18_key_3' --out_name 'layer_18_key_4' --out_name 'layer_18_key_5' --out_name 'layer_18_key_6' --out_name 'layer_18_key_7' --out_name 'layer_19_key_0' --out_name 'layer_19_key_1' --out_name 'layer_19_key_2' --out_name 'layer_19_key_3' --out_name 'layer_19_key_4' --out_name 'layer_19_key_5' --out_name 'layer_19_key_6' --out_name 'layer_19_key_7' --out_name 'layer_16_value_0' --out_name 'layer_16_value_1' --out_name 'layer_16_value_2' --out_name 'layer_16_value_3' --out_name 'layer_16_value_4' --out_name 'layer_16_value_5' --out_name 'layer_16_value_6' --out_name 'layer_16_value_7' --out_name 'layer_17_value_0' --out_name 'layer_17_value_1' --out_name 'layer_17_value_2' --out_name 'layer_17_value_3' --out_name 'layer_17_value_4' --out_name 'layer_17_value_5' --out_name 'layer_17_value_6' --out_name 'layer_17_value_7' --out_name 'layer_18_value_0' --out_name 'layer_18_value_1' --out_name 'layer_18_value_2' --out_name 'layer_18_value_3' --out_name 'layer_18_value_4' --out_name 'layer_18_value_5' --out_name 'layer_18_value_6' --out_name 'layer_18_value_7' --out_name 'layer_19_value_0' --out_name 'layer_19_value_1' --out_name 'layer_19_value_2' --out_name 'layer_19_value_3' --out_name 'layer_19_value_4' --out_name 'layer_19_value_5' --out_name 'layer_19_value_6' --out_name 'layer_19_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_4/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_4
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_5 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_20_key_t_cache_0' float32 --input_dim 'layer_20_key_t_cache_0' 96,1920 --input_dtype 'layer_20_key_t_cache_1' float32 --input_dim 'layer_20_key_t_cache_1' 96,1920 --input_dtype 'layer_20_key_t_cache_2' float32 --input_dim 'layer_20_key_t_cache_2' 96,1920 --input_dtype 'layer_20_key_t_cache_3' float32 --input_dim 'layer_20_key_t_cache_3' 96,1920 --input_dtype 'layer_20_key_t_cache_4' float32 --input_dim 'layer_20_key_t_cache_4' 96,1920 --input_dtype 'layer_20_key_t_cache_5' float32 --input_dim 'layer_20_key_t_cache_5' 96,1920 --input_dtype 'layer_20_key_t_cache_6' float32 --input_dim 'layer_20_key_t_cache_6' 96,1920 --input_dtype 'layer_20_key_t_cache_7' float32 --input_dim 'layer_20_key_t_cache_7' 96,1920 --input_dtype 'layer_21_key_t_cache_0' float32 --input_dim 'layer_21_key_t_cache_0' 96,1920 --input_dtype 'layer_21_key_t_cache_1' float32 --input_dim 'layer_21_key_t_cache_1' 96,1920 --input_dtype 'layer_21_key_t_cache_2' float32 --input_dim 'layer_21_key_t_cache_2' 96,1920 --input_dtype 'layer_21_key_t_cache_3' float32 --input_dim 'layer_21_key_t_cache_3' 96,1920 --input_dtype 'layer_21_key_t_cache_4' float32 --input_dim 'layer_21_key_t_cache_4' 96,1920 --input_dtype 'layer_21_key_t_cache_5' float32 --input_dim 'layer_21_key_t_cache_5' 96,1920 --input_dtype 'layer_21_key_t_cache_6' float32 --input_dim 'layer_21_key_t_cache_6' 96,1920 --input_dtype 'layer_21_key_t_cache_7' float32 --input_dim 'layer_21_key_t_cache_7' 96,1920 --input_dtype 'layer_22_key_t_cache_0' float32 --input_dim 'layer_22_key_t_cache_0' 96,1920 --input_dtype 'layer_22_key_t_cache_1' float32 --input_dim 'layer_22_key_t_cache_1' 96,1920 --input_dtype 'layer_22_key_t_cache_2' float32 --input_dim 'layer_22_key_t_cache_2' 96,1920 --input_dtype 'layer_22_key_t_cache_3' float32 --input_dim 'layer_22_key_t_cache_3' 96,1920 --input_dtype 'layer_22_key_t_cache_4' float32 --input_dim 'layer_22_key_t_cache_4' 96,1920 --input_dtype 'layer_22_key_t_cache_5' float32 --input_dim 'layer_22_key_t_cache_5' 96,1920 --input_dtype 'layer_22_key_t_cache_6' float32 --input_dim 'layer_22_key_t_cache_6' 96,1920 --input_dtype 'layer_22_key_t_cache_7' float32 --input_dim 'layer_22_key_t_cache_7' 96,1920 --input_dtype 'layer_23_key_t_cache_0' float32 --input_dim 'layer_23_key_t_cache_0' 96,1920 --input_dtype 'layer_23_key_t_cache_1' float32 --input_dim 'layer_23_key_t_cache_1' 96,1920 --input_dtype 'layer_23_key_t_cache_2' float32 --input_dim 'layer_23_key_t_cache_2' 96,1920 --input_dtype 'layer_23_key_t_cache_3' float32 --input_dim 'layer_23_key_t_cache_3' 96,1920 --input_dtype 'layer_23_key_t_cache_4' float32 --input_dim 'layer_23_key_t_cache_4' 96,1920 --input_dtype 'layer_23_key_t_cache_5' float32 --input_dim 'layer_23_key_t_cache_5' 96,1920 --input_dtype 'layer_23_key_t_cache_6' float32 --input_dim 'layer_23_key_t_cache_6' 96,1920 --input_dtype 'layer_23_key_t_cache_7' float32 --input_dim 'layer_23_key_t_cache_7' 96,1920 --input_dtype 'layer_20_value_cache_0' float32 --input_dim 'layer_20_value_cache_0' 1920,96 --input_dtype 'layer_20_value_cache_1' float32 --input_dim 'layer_20_value_cache_1' 1920,96 --input_dtype 'layer_20_value_cache_2' float32 --input_dim 'layer_20_value_cache_2' 1920,96 --input_dtype 'layer_20_value_cache_3' float32 --input_dim 'layer_20_value_cache_3' 1920,96 --input_dtype 'layer_20_value_cache_4' float32 --input_dim 'layer_20_value_cache_4' 1920,96 --input_dtype 'layer_20_value_cache_5' float32 --input_dim 'layer_20_value_cache_5' 1920,96 --input_dtype 'layer_20_value_cache_6' float32 --input_dim 'layer_20_value_cache_6' 1920,96 --input_dtype 'layer_20_value_cache_7' float32 --input_dim 'layer_20_value_cache_7' 1920,96 --input_dtype 'layer_21_value_cache_0' float32 --input_dim 'layer_21_value_cache_0' 1920,96 --input_dtype 'layer_21_value_cache_1' float32 --input_dim 'layer_21_value_cache_1' 1920,96 --input_dtype 'layer_21_value_cache_2' float32 --input_dim 'layer_21_value_cache_2' 1920,96 --input_dtype 'layer_21_value_cache_3' float32 --input_dim 'layer_21_value_cache_3' 1920,96 --input_dtype 'layer_21_value_cache_4' float32 --input_dim 'layer_21_value_cache_4' 1920,96 --input_dtype 'layer_21_value_cache_5' float32 --input_dim 'layer_21_value_cache_5' 1920,96 --input_dtype 'layer_21_value_cache_6' float32 --input_dim 'layer_21_value_cache_6' 1920,96 --input_dtype 'layer_21_value_cache_7' float32 --input_dim 'layer_21_value_cache_7' 1920,96 --input_dtype 'layer_22_value_cache_0' float32 --input_dim 'layer_22_value_cache_0' 1920,96 --input_dtype 'layer_22_value_cache_1' float32 --input_dim 'layer_22_value_cache_1' 1920,96 --input_dtype 'layer_22_value_cache_2' float32 --input_dim 'layer_22_value_cache_2' 1920,96 --input_dtype 'layer_22_value_cache_3' float32 --input_dim 'layer_22_value_cache_3' 1920,96 --input_dtype 'layer_22_value_cache_4' float32 --input_dim 'layer_22_value_cache_4' 1920,96 --input_dtype 'layer_22_value_cache_5' float32 --input_dim 'layer_22_value_cache_5' 1920,96 --input_dtype 'layer_22_value_cache_6' float32 --input_dim 'layer_22_value_cache_6' 1920,96 --input_dtype 'layer_22_value_cache_7' float32 --input_dim 'layer_22_value_cache_7' 1920,96 --input_dtype 'layer_23_value_cache_0' float32 --input_dim 'layer_23_value_cache_0' 1920,96 --input_dtype 'layer_23_value_cache_1' float32 --input_dim 'layer_23_value_cache_1' 1920,96 --input_dtype 'layer_23_value_cache_2' float32 --input_dim 'layer_23_value_cache_2' 1920,96 --input_dtype 'layer_23_value_cache_3' float32 --input_dim 'layer_23_value_cache_3' 1920,96 --input_dtype 'layer_23_value_cache_4' float32 --input_dim 'layer_23_value_cache_4' 1920,96 --input_dtype 'layer_23_value_cache_5' float32 --input_dim 'layer_23_value_cache_5' 1920,96 --input_dtype 'layer_23_value_cache_6' float32 --input_dim 'layer_23_value_cache_6' 1920,96 --input_dtype 'layer_23_value_cache_7' float32 --input_dim 'layer_23_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_20_key_0' --out_name 'layer_20_key_1' --out_name 'layer_20_key_2' --out_name 'layer_20_key_3' --out_name 'layer_20_key_4' --out_name 'layer_20_key_5' --out_name 'layer_20_key_6' --out_name 'layer_20_key_7' --out_name 'layer_21_key_0' --out_name 'layer_21_key_1' --out_name 'layer_21_key_2' --out_name 'layer_21_key_3' --out_name 'layer_21_key_4' --out_name 'layer_21_key_5' --out_name 'layer_21_key_6' --out_name 'layer_21_key_7' --out_name 'layer_22_key_0' --out_name 'layer_22_key_1' --out_name 'layer_22_key_2' --out_name 'layer_22_key_3' --out_name 'layer_22_key_4' --out_name 'layer_22_key_5' --out_name 'layer_22_key_6' --out_name 'layer_22_key_7' --out_name 'layer_23_key_0' --out_name 'layer_23_key_1' --out_name 'layer_23_key_2' --out_name 'layer_23_key_3' --out_name 'layer_23_key_4' --out_name 'layer_23_key_5' --out_name 'layer_23_key_6' --out_name 'layer_23_key_7' --out_name 'layer_20_value_0' --out_name 'layer_20_value_1' --out_name 'layer_20_value_2' --out_name 'layer_20_value_3' --out_name 'layer_20_value_4' --out_name 'layer_20_value_5' --out_name 'layer_20_value_6' --out_name 'layer_20_value_7' --out_name 'layer_21_value_0' --out_name 'layer_21_value_1' --out_name 'layer_21_value_2' --out_name 'layer_21_value_3' --out_name 'layer_21_value_4' --out_name 'layer_21_value_5' --out_name 'layer_21_value_6' --out_name 'layer_21_value_7' --out_name 'layer_22_value_0' --out_name 'layer_22_value_1' --out_name 'layer_22_value_2' --out_name 'layer_22_value_3' --out_name 'layer_22_value_4' --out_name 'layer_22_value_5' --out_name 'layer_22_value_6' --out_name 'layer_22_value_7' --out_name 'layer_23_value_0' --out_name 'layer_23_value_1' --out_name 'layer_23_value_2' --out_name 'layer_23_value_3' --out_name 'layer_23_value_4' --out_name 'layer_23_value_5' --out_name 'layer_23_value_6' --out_name 'layer_23_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_5/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_5
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_6 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_24_key_t_cache_0' float32 --input_dim 'layer_24_key_t_cache_0' 96,1920 --input_dtype 'layer_24_key_t_cache_1' float32 --input_dim 'layer_24_key_t_cache_1' 96,1920 --input_dtype 'layer_24_key_t_cache_2' float32 --input_dim 'layer_24_key_t_cache_2' 96,1920 --input_dtype 'layer_24_key_t_cache_3' float32 --input_dim 'layer_24_key_t_cache_3' 96,1920 --input_dtype 'layer_24_key_t_cache_4' float32 --input_dim 'layer_24_key_t_cache_4' 96,1920 --input_dtype 'layer_24_key_t_cache_5' float32 --input_dim 'layer_24_key_t_cache_5' 96,1920 --input_dtype 'layer_24_key_t_cache_6' float32 --input_dim 'layer_24_key_t_cache_6' 96,1920 --input_dtype 'layer_24_key_t_cache_7' float32 --input_dim 'layer_24_key_t_cache_7' 96,1920 --input_dtype 'layer_25_key_t_cache_0' float32 --input_dim 'layer_25_key_t_cache_0' 96,1920 --input_dtype 'layer_25_key_t_cache_1' float32 --input_dim 'layer_25_key_t_cache_1' 96,1920 --input_dtype 'layer_25_key_t_cache_2' float32 --input_dim 'layer_25_key_t_cache_2' 96,1920 --input_dtype 'layer_25_key_t_cache_3' float32 --input_dim 'layer_25_key_t_cache_3' 96,1920 --input_dtype 'layer_25_key_t_cache_4' float32 --input_dim 'layer_25_key_t_cache_4' 96,1920 --input_dtype 'layer_25_key_t_cache_5' float32 --input_dim 'layer_25_key_t_cache_5' 96,1920 --input_dtype 'layer_25_key_t_cache_6' float32 --input_dim 'layer_25_key_t_cache_6' 96,1920 --input_dtype 'layer_25_key_t_cache_7' float32 --input_dim 'layer_25_key_t_cache_7' 96,1920 --input_dtype 'layer_26_key_t_cache_0' float32 --input_dim 'layer_26_key_t_cache_0' 96,1920 --input_dtype 'layer_26_key_t_cache_1' float32 --input_dim 'layer_26_key_t_cache_1' 96,1920 --input_dtype 'layer_26_key_t_cache_2' float32 --input_dim 'layer_26_key_t_cache_2' 96,1920 --input_dtype 'layer_26_key_t_cache_3' float32 --input_dim 'layer_26_key_t_cache_3' 96,1920 --input_dtype 'layer_26_key_t_cache_4' float32 --input_dim 'layer_26_key_t_cache_4' 96,1920 --input_dtype 'layer_26_key_t_cache_5' float32 --input_dim 'layer_26_key_t_cache_5' 96,1920 --input_dtype 'layer_26_key_t_cache_6' float32 --input_dim 'layer_26_key_t_cache_6' 96,1920 --input_dtype 'layer_26_key_t_cache_7' float32 --input_dim 'layer_26_key_t_cache_7' 96,1920 --input_dtype 'layer_27_key_t_cache_0' float32 --input_dim 'layer_27_key_t_cache_0' 96,1920 --input_dtype 'layer_27_key_t_cache_1' float32 --input_dim 'layer_27_key_t_cache_1' 96,1920 --input_dtype 'layer_27_key_t_cache_2' float32 --input_dim 'layer_27_key_t_cache_2' 96,1920 --input_dtype 'layer_27_key_t_cache_3' float32 --input_dim 'layer_27_key_t_cache_3' 96,1920 --input_dtype 'layer_27_key_t_cache_4' float32 --input_dim 'layer_27_key_t_cache_4' 96,1920 --input_dtype 'layer_27_key_t_cache_5' float32 --input_dim 'layer_27_key_t_cache_5' 96,1920 --input_dtype 'layer_27_key_t_cache_6' float32 --input_dim 'layer_27_key_t_cache_6' 96,1920 --input_dtype 'layer_27_key_t_cache_7' float32 --input_dim 'layer_27_key_t_cache_7' 96,1920 --input_dtype 'layer_24_value_cache_0' float32 --input_dim 'layer_24_value_cache_0' 1920,96 --input_dtype 'layer_24_value_cache_1' float32 --input_dim 'layer_24_value_cache_1' 1920,96 --input_dtype 'layer_24_value_cache_2' float32 --input_dim 'layer_24_value_cache_2' 1920,96 --input_dtype 'layer_24_value_cache_3' float32 --input_dim 'layer_24_value_cache_3' 1920,96 --input_dtype 'layer_24_value_cache_4' float32 --input_dim 'layer_24_value_cache_4' 1920,96 --input_dtype 'layer_24_value_cache_5' float32 --input_dim 'layer_24_value_cache_5' 1920,96 --input_dtype 'layer_24_value_cache_6' float32 --input_dim 'layer_24_value_cache_6' 1920,96 --input_dtype 'layer_24_value_cache_7' float32 --input_dim 'layer_24_value_cache_7' 1920,96 --input_dtype 'layer_25_value_cache_0' float32 --input_dim 'layer_25_value_cache_0' 1920,96 --input_dtype 'layer_25_value_cache_1' float32 --input_dim 'layer_25_value_cache_1' 1920,96 --input_dtype 'layer_25_value_cache_2' float32 --input_dim 'layer_25_value_cache_2' 1920,96 --input_dtype 'layer_25_value_cache_3' float32 --input_dim 'layer_25_value_cache_3' 1920,96 --input_dtype 'layer_25_value_cache_4' float32 --input_dim 'layer_25_value_cache_4' 1920,96 --input_dtype 'layer_25_value_cache_5' float32 --input_dim 'layer_25_value_cache_5' 1920,96 --input_dtype 'layer_25_value_cache_6' float32 --input_dim 'layer_25_value_cache_6' 1920,96 --input_dtype 'layer_25_value_cache_7' float32 --input_dim 'layer_25_value_cache_7' 1920,96 --input_dtype 'layer_26_value_cache_0' float32 --input_dim 'layer_26_value_cache_0' 1920,96 --input_dtype 'layer_26_value_cache_1' float32 --input_dim 'layer_26_value_cache_1' 1920,96 --input_dtype 'layer_26_value_cache_2' float32 --input_dim 'layer_26_value_cache_2' 1920,96 --input_dtype 'layer_26_value_cache_3' float32 --input_dim 'layer_26_value_cache_3' 1920,96 --input_dtype 'layer_26_value_cache_4' float32 --input_dim 'layer_26_value_cache_4' 1920,96 --input_dtype 'layer_26_value_cache_5' float32 --input_dim 'layer_26_value_cache_5' 1920,96 --input_dtype 'layer_26_value_cache_6' float32 --input_dim 'layer_26_value_cache_6' 1920,96 --input_dtype 'layer_26_value_cache_7' float32 --input_dim 'layer_26_value_cache_7' 1920,96 --input_dtype 'layer_27_value_cache_0' float32 --input_dim 'layer_27_value_cache_0' 1920,96 --input_dtype 'layer_27_value_cache_1' float32 --input_dim 'layer_27_value_cache_1' 1920,96 --input_dtype 'layer_27_value_cache_2' float32 --input_dim 'layer_27_value_cache_2' 1920,96 --input_dtype 'layer_27_value_cache_3' float32 --input_dim 'layer_27_value_cache_3' 1920,96 --input_dtype 'layer_27_value_cache_4' float32 --input_dim 'layer_27_value_cache_4' 1920,96 --input_dtype 'layer_27_value_cache_5' float32 --input_dim 'layer_27_value_cache_5' 1920,96 --input_dtype 'layer_27_value_cache_6' float32 --input_dim 'layer_27_value_cache_6' 1920,96 --input_dtype 'layer_27_value_cache_7' float32 --input_dim 'layer_27_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_24_key_0' --out_name 'layer_24_key_1' --out_name 'layer_24_key_2' --out_name 'layer_24_key_3' --out_name 'layer_24_key_4' --out_name 'layer_24_key_5' --out_name 'layer_24_key_6' --out_name 'layer_24_key_7' --out_name 'layer_25_key_0' --out_name 'layer_25_key_1' --out_name 'layer_25_key_2' --out_name 'layer_25_key_3' --out_name 'layer_25_key_4' --out_name 'layer_25_key_5' --out_name 'layer_25_key_6' --out_name 'layer_25_key_7' --out_name 'layer_26_key_0' --out_name 'layer_26_key_1' --out_name 'layer_26_key_2' --out_name 'layer_26_key_3' --out_name 'layer_26_key_4' --out_name 'layer_26_key_5' --out_name 'layer_26_key_6' --out_name 'layer_26_key_7' --out_name 'layer_27_key_0' --out_name 'layer_27_key_1' --out_name 'layer_27_key_2' --out_name 'layer_27_key_3' --out_name 'layer_27_key_4' --out_name 'layer_27_key_5' --out_name 'layer_27_key_6' --out_name 'layer_27_key_7' --out_name 'layer_24_value_0' --out_name 'layer_24_value_1' --out_name 'layer_24_value_2' --out_name 'layer_24_value_3' --out_name 'layer_24_value_4' --out_name 'layer_24_value_5' --out_name 'layer_24_value_6' --out_name 'layer_24_value_7' --out_name 'layer_25_value_0' --out_name 'layer_25_value_1' --out_name 'layer_25_value_2' --out_name 'layer_25_value_3' --out_name 'layer_25_value_4' --out_name 'layer_25_value_5' --out_name 'layer_25_value_6' --out_name 'layer_25_value_7' --out_name 'layer_26_value_0' --out_name 'layer_26_value_1' --out_name 'layer_26_value_2' --out_name 'layer_26_value_3' --out_name 'layer_26_value_4' --out_name 'layer_26_value_5' --out_name 'layer_26_value_6' --out_name 'layer_26_value_7' --out_name 'layer_27_value_0' --out_name 'layer_27_value_1' --out_name 'layer_27_value_2' --out_name 'layer_27_value_3' --out_name 'layer_27_value_4' --out_name 'layer_27_value_5' --out_name 'layer_27_value_6' --out_name 'layer_27_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_6/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_6
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_7 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_28_key_t_cache_0' float32 --input_dim 'layer_28_key_t_cache_0' 96,1920 --input_dtype 'layer_28_key_t_cache_1' float32 --input_dim 'layer_28_key_t_cache_1' 96,1920 --input_dtype 'layer_28_key_t_cache_2' float32 --input_dim 'layer_28_key_t_cache_2' 96,1920 --input_dtype 'layer_28_key_t_cache_3' float32 --input_dim 'layer_28_key_t_cache_3' 96,1920 --input_dtype 'layer_28_key_t_cache_4' float32 --input_dim 'layer_28_key_t_cache_4' 96,1920 --input_dtype 'layer_28_key_t_cache_5' float32 --input_dim 'layer_28_key_t_cache_5' 96,1920 --input_dtype 'layer_28_key_t_cache_6' float32 --input_dim 'layer_28_key_t_cache_6' 96,1920 --input_dtype 'layer_28_key_t_cache_7' float32 --input_dim 'layer_28_key_t_cache_7' 96,1920 --input_dtype 'layer_29_key_t_cache_0' float32 --input_dim 'layer_29_key_t_cache_0' 96,1920 --input_dtype 'layer_29_key_t_cache_1' float32 --input_dim 'layer_29_key_t_cache_1' 96,1920 --input_dtype 'layer_29_key_t_cache_2' float32 --input_dim 'layer_29_key_t_cache_2' 96,1920 --input_dtype 'layer_29_key_t_cache_3' float32 --input_dim 'layer_29_key_t_cache_3' 96,1920 --input_dtype 'layer_29_key_t_cache_4' float32 --input_dim 'layer_29_key_t_cache_4' 96,1920 --input_dtype 'layer_29_key_t_cache_5' float32 --input_dim 'layer_29_key_t_cache_5' 96,1920 --input_dtype 'layer_29_key_t_cache_6' float32 --input_dim 'layer_29_key_t_cache_6' 96,1920 --input_dtype 'layer_29_key_t_cache_7' float32 --input_dim 'layer_29_key_t_cache_7' 96,1920 --input_dtype 'layer_30_key_t_cache_0' float32 --input_dim 'layer_30_key_t_cache_0' 96,1920 --input_dtype 'layer_30_key_t_cache_1' float32 --input_dim 'layer_30_key_t_cache_1' 96,1920 --input_dtype 'layer_30_key_t_cache_2' float32 --input_dim 'layer_30_key_t_cache_2' 96,1920 --input_dtype 'layer_30_key_t_cache_3' float32 --input_dim 'layer_30_key_t_cache_3' 96,1920 --input_dtype 'layer_30_key_t_cache_4' float32 --input_dim 'layer_30_key_t_cache_4' 96,1920 --input_dtype 'layer_30_key_t_cache_5' float32 --input_dim 'layer_30_key_t_cache_5' 96,1920 --input_dtype 'layer_30_key_t_cache_6' float32 --input_dim 'layer_30_key_t_cache_6' 96,1920 --input_dtype 'layer_30_key_t_cache_7' float32 --input_dim 'layer_30_key_t_cache_7' 96,1920 --input_dtype 'layer_31_key_t_cache_0' float32 --input_dim 'layer_31_key_t_cache_0' 96,1920 --input_dtype 'layer_31_key_t_cache_1' float32 --input_dim 'layer_31_key_t_cache_1' 96,1920 --input_dtype 'layer_31_key_t_cache_2' float32 --input_dim 'layer_31_key_t_cache_2' 96,1920 --input_dtype 'layer_31_key_t_cache_3' float32 --input_dim 'layer_31_key_t_cache_3' 96,1920 --input_dtype 'layer_31_key_t_cache_4' float32 --input_dim 'layer_31_key_t_cache_4' 96,1920 --input_dtype 'layer_31_key_t_cache_5' float32 --input_dim 'layer_31_key_t_cache_5' 96,1920 --input_dtype 'layer_31_key_t_cache_6' float32 --input_dim 'layer_31_key_t_cache_6' 96,1920 --input_dtype 'layer_31_key_t_cache_7' float32 --input_dim 'layer_31_key_t_cache_7' 96,1920 --input_dtype 'layer_28_value_cache_0' float32 --input_dim 'layer_28_value_cache_0' 1920,96 --input_dtype 'layer_28_value_cache_1' float32 --input_dim 'layer_28_value_cache_1' 1920,96 --input_dtype 'layer_28_value_cache_2' float32 --input_dim 'layer_28_value_cache_2' 1920,96 --input_dtype 'layer_28_value_cache_3' float32 --input_dim 'layer_28_value_cache_3' 1920,96 --input_dtype 'layer_28_value_cache_4' float32 --input_dim 'layer_28_value_cache_4' 1920,96 --input_dtype 'layer_28_value_cache_5' float32 --input_dim 'layer_28_value_cache_5' 1920,96 --input_dtype 'layer_28_value_cache_6' float32 --input_dim 'layer_28_value_cache_6' 1920,96 --input_dtype 'layer_28_value_cache_7' float32 --input_dim 'layer_28_value_cache_7' 1920,96 --input_dtype 'layer_29_value_cache_0' float32 --input_dim 'layer_29_value_cache_0' 1920,96 --input_dtype 'layer_29_value_cache_1' float32 --input_dim 'layer_29_value_cache_1' 1920,96 --input_dtype 'layer_29_value_cache_2' float32 --input_dim 'layer_29_value_cache_2' 1920,96 --input_dtype 'layer_29_value_cache_3' float32 --input_dim 'layer_29_value_cache_3' 1920,96 --input_dtype 'layer_29_value_cache_4' float32 --input_dim 'layer_29_value_cache_4' 1920,96 --input_dtype 'layer_29_value_cache_5' float32 --input_dim 'layer_29_value_cache_5' 1920,96 --input_dtype 'layer_29_value_cache_6' float32 --input_dim 'layer_29_value_cache_6' 1920,96 --input_dtype 'layer_29_value_cache_7' float32 --input_dim 'layer_29_value_cache_7' 1920,96 --input_dtype 'layer_30_value_cache_0' float32 --input_dim 'layer_30_value_cache_0' 1920,96 --input_dtype 'layer_30_value_cache_1' float32 --input_dim 'layer_30_value_cache_1' 1920,96 --input_dtype 'layer_30_value_cache_2' float32 --input_dim 'layer_30_value_cache_2' 1920,96 --input_dtype 'layer_30_value_cache_3' float32 --input_dim 'layer_30_value_cache_3' 1920,96 --input_dtype 'layer_30_value_cache_4' float32 --input_dim 'layer_30_value_cache_4' 1920,96 --input_dtype 'layer_30_value_cache_5' float32 --input_dim 'layer_30_value_cache_5' 1920,96 --input_dtype 'layer_30_value_cache_6' float32 --input_dim 'layer_30_value_cache_6' 1920,96 --input_dtype 'layer_30_value_cache_7' float32 --input_dim 'layer_30_value_cache_7' 1920,96 --input_dtype 'layer_31_value_cache_0' float32 --input_dim 'layer_31_value_cache_0' 1920,96 --input_dtype 'layer_31_value_cache_1' float32 --input_dim 'layer_31_value_cache_1' 1920,96 --input_dtype 'layer_31_value_cache_2' float32 --input_dim 'layer_31_value_cache_2' 1920,96 --input_dtype 'layer_31_value_cache_3' float32 --input_dim 'layer_31_value_cache_3' 1920,96 --input_dtype 'layer_31_value_cache_4' float32 --input_dim 'layer_31_value_cache_4' 1920,96 --input_dtype 'layer_31_value_cache_5' float32 --input_dim 'layer_31_value_cache_5' 1920,96 --input_dtype 'layer_31_value_cache_6' float32 --input_dim 'layer_31_value_cache_6' 1920,96 --input_dtype 'layer_31_value_cache_7' float32 --input_dim 'layer_31_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_28_key_0' --out_name 'layer_28_key_1' --out_name 'layer_28_key_2' --out_name 'layer_28_key_3' --out_name 'layer_28_key_4' --out_name 'layer_28_key_5' --out_name 'layer_28_key_6' --out_name 'layer_28_key_7' --out_name 'layer_29_key_0' --out_name 'layer_29_key_1' --out_name 'layer_29_key_2' --out_name 'layer_29_key_3' --out_name 'layer_29_key_4' --out_name 'layer_29_key_5' --out_name 'layer_29_key_6' --out_name 'layer_29_key_7' --out_name 'layer_30_key_0' --out_name 'layer_30_key_1' --out_name 'layer_30_key_2' --out_name 'layer_30_key_3' --out_name 'layer_30_key_4' --out_name 'layer_30_key_5' --out_name 'layer_30_key_6' --out_name 'layer_30_key_7' --out_name 'layer_31_key_0' --out_name 'layer_31_key_1' --out_name 'layer_31_key_2' --out_name 'layer_31_key_3' --out_name 'layer_31_key_4' --out_name 'layer_31_key_5' --out_name 'layer_31_key_6' --out_name 'layer_31_key_7' --out_name 'layer_28_value_0' --out_name 'layer_28_value_1' --out_name 'layer_28_value_2' --out_name 'layer_28_value_3' --out_name 'layer_28_value_4' --out_name 'layer_28_value_5' --out_name 'layer_28_value_6' --out_name 'layer_28_value_7' --out_name 'layer_29_value_0' --out_name 'layer_29_value_1' --out_name 'layer_29_value_2' --out_name 'layer_29_value_3' --out_name 'layer_29_value_4' --out_name 'layer_29_value_5' --out_name 'layer_29_value_6' --out_name 'layer_29_value_7' --out_name 'layer_30_value_0' --out_name 'layer_30_value_1' --out_name 'layer_30_value_2' --out_name 'layer_30_value_3' --out_name 'layer_30_value_4' --out_name 'layer_30_value_5' --out_name 'layer_30_value_6' --out_name 'layer_30_value_7' --out_name 'layer_31_value_0' --out_name 'layer_31_value_1' --out_name 'layer_31_value_2' --out_name 'layer_31_value_3' --out_name 'layer_31_value_4' --out_name 'layer_31_value_5' --out_name 'layer_31_value_6' --out_name 'layer_31_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_7/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_7
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_8 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_32_key_t_cache_0' float32 --input_dim 'layer_32_key_t_cache_0' 96,1920 --input_dtype 'layer_32_key_t_cache_1' float32 --input_dim 'layer_32_key_t_cache_1' 96,1920 --input_dtype 'layer_32_key_t_cache_2' float32 --input_dim 'layer_32_key_t_cache_2' 96,1920 --input_dtype 'layer_32_key_t_cache_3' float32 --input_dim 'layer_32_key_t_cache_3' 96,1920 --input_dtype 'layer_32_key_t_cache_4' float32 --input_dim 'layer_32_key_t_cache_4' 96,1920 --input_dtype 'layer_32_key_t_cache_5' float32 --input_dim 'layer_32_key_t_cache_5' 96,1920 --input_dtype 'layer_32_key_t_cache_6' float32 --input_dim 'layer_32_key_t_cache_6' 96,1920 --input_dtype 'layer_32_key_t_cache_7' float32 --input_dim 'layer_32_key_t_cache_7' 96,1920 --input_dtype 'layer_33_key_t_cache_0' float32 --input_dim 'layer_33_key_t_cache_0' 96,1920 --input_dtype 'layer_33_key_t_cache_1' float32 --input_dim 'layer_33_key_t_cache_1' 96,1920 --input_dtype 'layer_33_key_t_cache_2' float32 --input_dim 'layer_33_key_t_cache_2' 96,1920 --input_dtype 'layer_33_key_t_cache_3' float32 --input_dim 'layer_33_key_t_cache_3' 96,1920 --input_dtype 'layer_33_key_t_cache_4' float32 --input_dim 'layer_33_key_t_cache_4' 96,1920 --input_dtype 'layer_33_key_t_cache_5' float32 --input_dim 'layer_33_key_t_cache_5' 96,1920 --input_dtype 'layer_33_key_t_cache_6' float32 --input_dim 'layer_33_key_t_cache_6' 96,1920 --input_dtype 'layer_33_key_t_cache_7' float32 --input_dim 'layer_33_key_t_cache_7' 96,1920 --input_dtype 'layer_34_key_t_cache_0' float32 --input_dim 'layer_34_key_t_cache_0' 96,1920 --input_dtype 'layer_34_key_t_cache_1' float32 --input_dim 'layer_34_key_t_cache_1' 96,1920 --input_dtype 'layer_34_key_t_cache_2' float32 --input_dim 'layer_34_key_t_cache_2' 96,1920 --input_dtype 'layer_34_key_t_cache_3' float32 --input_dim 'layer_34_key_t_cache_3' 96,1920 --input_dtype 'layer_34_key_t_cache_4' float32 --input_dim 'layer_34_key_t_cache_4' 96,1920 --input_dtype 'layer_34_key_t_cache_5' float32 --input_dim 'layer_34_key_t_cache_5' 96,1920 --input_dtype 'layer_34_key_t_cache_6' float32 --input_dim 'layer_34_key_t_cache_6' 96,1920 --input_dtype 'layer_34_key_t_cache_7' float32 --input_dim 'layer_34_key_t_cache_7' 96,1920 --input_dtype 'layer_35_key_t_cache_0' float32 --input_dim 'layer_35_key_t_cache_0' 96,1920 --input_dtype 'layer_35_key_t_cache_1' float32 --input_dim 'layer_35_key_t_cache_1' 96,1920 --input_dtype 'layer_35_key_t_cache_2' float32 --input_dim 'layer_35_key_t_cache_2' 96,1920 --input_dtype 'layer_35_key_t_cache_3' float32 --input_dim 'layer_35_key_t_cache_3' 96,1920 --input_dtype 'layer_35_key_t_cache_4' float32 --input_dim 'layer_35_key_t_cache_4' 96,1920 --input_dtype 'layer_35_key_t_cache_5' float32 --input_dim 'layer_35_key_t_cache_5' 96,1920 --input_dtype 'layer_35_key_t_cache_6' float32 --input_dim 'layer_35_key_t_cache_6' 96,1920 --input_dtype 'layer_35_key_t_cache_7' float32 --input_dim 'layer_35_key_t_cache_7' 96,1920 --input_dtype 'layer_32_value_cache_0' float32 --input_dim 'layer_32_value_cache_0' 1920,96 --input_dtype 'layer_32_value_cache_1' float32 --input_dim 'layer_32_value_cache_1' 1920,96 --input_dtype 'layer_32_value_cache_2' float32 --input_dim 'layer_32_value_cache_2' 1920,96 --input_dtype 'layer_32_value_cache_3' float32 --input_dim 'layer_32_value_cache_3' 1920,96 --input_dtype 'layer_32_value_cache_4' float32 --input_dim 'layer_32_value_cache_4' 1920,96 --input_dtype 'layer_32_value_cache_5' float32 --input_dim 'layer_32_value_cache_5' 1920,96 --input_dtype 'layer_32_value_cache_6' float32 --input_dim 'layer_32_value_cache_6' 1920,96 --input_dtype 'layer_32_value_cache_7' float32 --input_dim 'layer_32_value_cache_7' 1920,96 --input_dtype 'layer_33_value_cache_0' float32 --input_dim 'layer_33_value_cache_0' 1920,96 --input_dtype 'layer_33_value_cache_1' float32 --input_dim 'layer_33_value_cache_1' 1920,96 --input_dtype 'layer_33_value_cache_2' float32 --input_dim 'layer_33_value_cache_2' 1920,96 --input_dtype 'layer_33_value_cache_3' float32 --input_dim 'layer_33_value_cache_3' 1920,96 --input_dtype 'layer_33_value_cache_4' float32 --input_dim 'layer_33_value_cache_4' 1920,96 --input_dtype 'layer_33_value_cache_5' float32 --input_dim 'layer_33_value_cache_5' 1920,96 --input_dtype 'layer_33_value_cache_6' float32 --input_dim 'layer_33_value_cache_6' 1920,96 --input_dtype 'layer_33_value_cache_7' float32 --input_dim 'layer_33_value_cache_7' 1920,96 --input_dtype 'layer_34_value_cache_0' float32 --input_dim 'layer_34_value_cache_0' 1920,96 --input_dtype 'layer_34_value_cache_1' float32 --input_dim 'layer_34_value_cache_1' 1920,96 --input_dtype 'layer_34_value_cache_2' float32 --input_dim 'layer_34_value_cache_2' 1920,96 --input_dtype 'layer_34_value_cache_3' float32 --input_dim 'layer_34_value_cache_3' 1920,96 --input_dtype 'layer_34_value_cache_4' float32 --input_dim 'layer_34_value_cache_4' 1920,96 --input_dtype 'layer_34_value_cache_5' float32 --input_dim 'layer_34_value_cache_5' 1920,96 --input_dtype 'layer_34_value_cache_6' float32 --input_dim 'layer_34_value_cache_6' 1920,96 --input_dtype 'layer_34_value_cache_7' float32 --input_dim 'layer_34_value_cache_7' 1920,96 --input_dtype 'layer_35_value_cache_0' float32 --input_dim 'layer_35_value_cache_0' 1920,96 --input_dtype 'layer_35_value_cache_1' float32 --input_dim 'layer_35_value_cache_1' 1920,96 --input_dtype 'layer_35_value_cache_2' float32 --input_dim 'layer_35_value_cache_2' 1920,96 --input_dtype 'layer_35_value_cache_3' float32 --input_dim 'layer_35_value_cache_3' 1920,96 --input_dtype 'layer_35_value_cache_4' float32 --input_dim 'layer_35_value_cache_4' 1920,96 --input_dtype 'layer_35_value_cache_5' float32 --input_dim 'layer_35_value_cache_5' 1920,96 --input_dtype 'layer_35_value_cache_6' float32 --input_dim 'layer_35_value_cache_6' 1920,96 --input_dtype 'layer_35_value_cache_7' float32 --input_dim 'layer_35_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_32_key_0' --out_name 'layer_32_key_1' --out_name 'layer_32_key_2' --out_name 'layer_32_key_3' --out_name 'layer_32_key_4' --out_name 'layer_32_key_5' --out_name 'layer_32_key_6' --out_name 'layer_32_key_7' --out_name 'layer_33_key_0' --out_name 'layer_33_key_1' --out_name 'layer_33_key_2' --out_name 'layer_33_key_3' --out_name 'layer_33_key_4' --out_name 'layer_33_key_5' --out_name 'layer_33_key_6' --out_name 'layer_33_key_7' --out_name 'layer_34_key_0' --out_name 'layer_34_key_1' --out_name 'layer_34_key_2' --out_name 'layer_34_key_3' --out_name 'layer_34_key_4' --out_name 'layer_34_key_5' --out_name 'layer_34_key_6' --out_name 'layer_34_key_7' --out_name 'layer_35_key_0' --out_name 'layer_35_key_1' --out_name 'layer_35_key_2' --out_name 'layer_35_key_3' --out_name 'layer_35_key_4' --out_name 'layer_35_key_5' --out_name 'layer_35_key_6' --out_name 'layer_35_key_7' --out_name 'layer_32_value_0' --out_name 'layer_32_value_1' --out_name 'layer_32_value_2' --out_name 'layer_32_value_3' --out_name 'layer_32_value_4' --out_name 'layer_32_value_5' --out_name 'layer_32_value_6' --out_name 'layer_32_value_7' --out_name 'layer_33_value_0' --out_name 'layer_33_value_1' --out_name 'layer_33_value_2' --out_name 'layer_33_value_3' --out_name 'layer_33_value_4' --out_name 'layer_33_value_5' --out_name 'layer_33_value_6' --out_name 'layer_33_value_7' --out_name 'layer_34_value_0' --out_name 'layer_34_value_1' --out_name 'layer_34_value_2' --out_name 'layer_34_value_3' --out_name 'layer_34_value_4' --out_name 'layer_34_value_5' --out_name 'layer_34_value_6' --out_name 'layer_34_value_7' --out_name 'layer_35_value_0' --out_name 'layer_35_value_1' --out_name 'layer_35_value_2' --out_name 'layer_35_value_3' --out_name 'layer_35_value_4' --out_name 'layer_35_value_5' --out_name 'layer_35_value_6' --out_name 'layer_35_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_8/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_8
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_9 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_36_key_t_cache_0' float32 --input_dim 'layer_36_key_t_cache_0' 96,1920 --input_dtype 'layer_36_key_t_cache_1' float32 --input_dim 'layer_36_key_t_cache_1' 96,1920 --input_dtype 'layer_36_key_t_cache_2' float32 --input_dim 'layer_36_key_t_cache_2' 96,1920 --input_dtype 'layer_36_key_t_cache_3' float32 --input_dim 'layer_36_key_t_cache_3' 96,1920 --input_dtype 'layer_36_key_t_cache_4' float32 --input_dim 'layer_36_key_t_cache_4' 96,1920 --input_dtype 'layer_36_key_t_cache_5' float32 --input_dim 'layer_36_key_t_cache_5' 96,1920 --input_dtype 'layer_36_key_t_cache_6' float32 --input_dim 'layer_36_key_t_cache_6' 96,1920 --input_dtype 'layer_36_key_t_cache_7' float32 --input_dim 'layer_36_key_t_cache_7' 96,1920 --input_dtype 'layer_37_key_t_cache_0' float32 --input_dim 'layer_37_key_t_cache_0' 96,1920 --input_dtype 'layer_37_key_t_cache_1' float32 --input_dim 'layer_37_key_t_cache_1' 96,1920 --input_dtype 'layer_37_key_t_cache_2' float32 --input_dim 'layer_37_key_t_cache_2' 96,1920 --input_dtype 'layer_37_key_t_cache_3' float32 --input_dim 'layer_37_key_t_cache_3' 96,1920 --input_dtype 'layer_37_key_t_cache_4' float32 --input_dim 'layer_37_key_t_cache_4' 96,1920 --input_dtype 'layer_37_key_t_cache_5' float32 --input_dim 'layer_37_key_t_cache_5' 96,1920 --input_dtype 'layer_37_key_t_cache_6' float32 --input_dim 'layer_37_key_t_cache_6' 96,1920 --input_dtype 'layer_37_key_t_cache_7' float32 --input_dim 'layer_37_key_t_cache_7' 96,1920 --input_dtype 'layer_38_key_t_cache_0' float32 --input_dim 'layer_38_key_t_cache_0' 96,1920 --input_dtype 'layer_38_key_t_cache_1' float32 --input_dim 'layer_38_key_t_cache_1' 96,1920 --input_dtype 'layer_38_key_t_cache_2' float32 --input_dim 'layer_38_key_t_cache_2' 96,1920 --input_dtype 'layer_38_key_t_cache_3' float32 --input_dim 'layer_38_key_t_cache_3' 96,1920 --input_dtype 'layer_38_key_t_cache_4' float32 --input_dim 'layer_38_key_t_cache_4' 96,1920 --input_dtype 'layer_38_key_t_cache_5' float32 --input_dim 'layer_38_key_t_cache_5' 96,1920 --input_dtype 'layer_38_key_t_cache_6' float32 --input_dim 'layer_38_key_t_cache_6' 96,1920 --input_dtype 'layer_38_key_t_cache_7' float32 --input_dim 'layer_38_key_t_cache_7' 96,1920 --input_dtype 'layer_39_key_t_cache_0' float32 --input_dim 'layer_39_key_t_cache_0' 96,1920 --input_dtype 'layer_39_key_t_cache_1' float32 --input_dim 'layer_39_key_t_cache_1' 96,1920 --input_dtype 'layer_39_key_t_cache_2' float32 --input_dim 'layer_39_key_t_cache_2' 96,1920 --input_dtype 'layer_39_key_t_cache_3' float32 --input_dim 'layer_39_key_t_cache_3' 96,1920 --input_dtype 'layer_39_key_t_cache_4' float32 --input_dim 'layer_39_key_t_cache_4' 96,1920 --input_dtype 'layer_39_key_t_cache_5' float32 --input_dim 'layer_39_key_t_cache_5' 96,1920 --input_dtype 'layer_39_key_t_cache_6' float32 --input_dim 'layer_39_key_t_cache_6' 96,1920 --input_dtype 'layer_39_key_t_cache_7' float32 --input_dim 'layer_39_key_t_cache_7' 96,1920 --input_dtype 'layer_36_value_cache_0' float32 --input_dim 'layer_36_value_cache_0' 1920,96 --input_dtype 'layer_36_value_cache_1' float32 --input_dim 'layer_36_value_cache_1' 1920,96 --input_dtype 'layer_36_value_cache_2' float32 --input_dim 'layer_36_value_cache_2' 1920,96 --input_dtype 'layer_36_value_cache_3' float32 --input_dim 'layer_36_value_cache_3' 1920,96 --input_dtype 'layer_36_value_cache_4' float32 --input_dim 'layer_36_value_cache_4' 1920,96 --input_dtype 'layer_36_value_cache_5' float32 --input_dim 'layer_36_value_cache_5' 1920,96 --input_dtype 'layer_36_value_cache_6' float32 --input_dim 'layer_36_value_cache_6' 1920,96 --input_dtype 'layer_36_value_cache_7' float32 --input_dim 'layer_36_value_cache_7' 1920,96 --input_dtype 'layer_37_value_cache_0' float32 --input_dim 'layer_37_value_cache_0' 1920,96 --input_dtype 'layer_37_value_cache_1' float32 --input_dim 'layer_37_value_cache_1' 1920,96 --input_dtype 'layer_37_value_cache_2' float32 --input_dim 'layer_37_value_cache_2' 1920,96 --input_dtype 'layer_37_value_cache_3' float32 --input_dim 'layer_37_value_cache_3' 1920,96 --input_dtype 'layer_37_value_cache_4' float32 --input_dim 'layer_37_value_cache_4' 1920,96 --input_dtype 'layer_37_value_cache_5' float32 --input_dim 'layer_37_value_cache_5' 1920,96 --input_dtype 'layer_37_value_cache_6' float32 --input_dim 'layer_37_value_cache_6' 1920,96 --input_dtype 'layer_37_value_cache_7' float32 --input_dim 'layer_37_value_cache_7' 1920,96 --input_dtype 'layer_38_value_cache_0' float32 --input_dim 'layer_38_value_cache_0' 1920,96 --input_dtype 'layer_38_value_cache_1' float32 --input_dim 'layer_38_value_cache_1' 1920,96 --input_dtype 'layer_38_value_cache_2' float32 --input_dim 'layer_38_value_cache_2' 1920,96 --input_dtype 'layer_38_value_cache_3' float32 --input_dim 'layer_38_value_cache_3' 1920,96 --input_dtype 'layer_38_value_cache_4' float32 --input_dim 'layer_38_value_cache_4' 1920,96 --input_dtype 'layer_38_value_cache_5' float32 --input_dim 'layer_38_value_cache_5' 1920,96 --input_dtype 'layer_38_value_cache_6' float32 --input_dim 'layer_38_value_cache_6' 1920,96 --input_dtype 'layer_38_value_cache_7' float32 --input_dim 'layer_38_value_cache_7' 1920,96 --input_dtype 'layer_39_value_cache_0' float32 --input_dim 'layer_39_value_cache_0' 1920,96 --input_dtype 'layer_39_value_cache_1' float32 --input_dim 'layer_39_value_cache_1' 1920,96 --input_dtype 'layer_39_value_cache_2' float32 --input_dim 'layer_39_value_cache_2' 1920,96 --input_dtype 'layer_39_value_cache_3' float32 --input_dim 'layer_39_value_cache_3' 1920,96 --input_dtype 'layer_39_value_cache_4' float32 --input_dim 'layer_39_value_cache_4' 1920,96 --input_dtype 'layer_39_value_cache_5' float32 --input_dim 'layer_39_value_cache_5' 1920,96 --input_dtype 'layer_39_value_cache_6' float32 --input_dim 'layer_39_value_cache_6' 1920,96 --input_dtype 'layer_39_value_cache_7' float32 --input_dim 'layer_39_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_36_key_0' --out_name 'layer_36_key_1' --out_name 'layer_36_key_2' --out_name 'layer_36_key_3' --out_name 'layer_36_key_4' --out_name 'layer_36_key_5' --out_name 'layer_36_key_6' --out_name 'layer_36_key_7' --out_name 'layer_37_key_0' --out_name 'layer_37_key_1' --out_name 'layer_37_key_2' --out_name 'layer_37_key_3' --out_name 'layer_37_key_4' --out_name 'layer_37_key_5' --out_name 'layer_37_key_6' --out_name 'layer_37_key_7' --out_name 'layer_38_key_0' --out_name 'layer_38_key_1' --out_name 'layer_38_key_2' --out_name 'layer_38_key_3' --out_name 'layer_38_key_4' --out_name 'layer_38_key_5' --out_name 'layer_38_key_6' --out_name 'layer_38_key_7' --out_name 'layer_39_key_0' --out_name 'layer_39_key_1' --out_name 'layer_39_key_2' --out_name 'layer_39_key_3' --out_name 'layer_39_key_4' --out_name 'layer_39_key_5' --out_name 'layer_39_key_6' --out_name 'layer_39_key_7' --out_name 'layer_36_value_0' --out_name 'layer_36_value_1' --out_name 'layer_36_value_2' --out_name 'layer_36_value_3' --out_name 'layer_36_value_4' --out_name 'layer_36_value_5' --out_name 'layer_36_value_6' --out_name 'layer_36_value_7' --out_name 'layer_37_value_0' --out_name 'layer_37_value_1' --out_name 'layer_37_value_2' --out_name 'layer_37_value_3' --out_name 'layer_37_value_4' --out_name 'layer_37_value_5' --out_name 'layer_37_value_6' --out_name 'layer_37_value_7' --out_name 'layer_38_value_0' --out_name 'layer_38_value_1' --out_name 'layer_38_value_2' --out_name 'layer_38_value_3' --out_name 'layer_38_value_4' --out_name 'layer_38_value_5' --out_name 'layer_38_value_6' --out_name 'layer_38_value_7' --out_name 'layer_39_value_0' --out_name 'layer_39_value_1' --out_name 'layer_39_value_2' --out_name 'layer_39_value_3' --out_name 'layer_39_value_4' --out_name 'layer_39_value_5' --out_name 'layer_39_value_6' --out_name 'layer_39_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_9/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_9
> python /home/user/projects/PowerServe/tools/qnn_converter/build_shared_object.py --model /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/onnx_model/batch_1.onnx --encoding /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/batch_1.encodings --io-spec /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/batch_1.io.json --input-list /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/input_list.txt --output-folder /media/user/6/powerserve_build_reka/model_chunk_10 --artifact-name lm_head --graph-names batch_1
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-onnx-converter --input_network /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/onnx_model/batch_1.onnx --quantization_overrides /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/batch_1.encodings --output_path /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/onnx_model/batch_1.cpp --preserve_io layout --bias_bitwidth 32 --act_bitwidth 16 --weights_bitwidth 4 --use_per_channel_quantization --use_per_row_quantization --param_quantizer_schema symmetric --act_quantizer_schema asymmetric --input_list /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/input_list.txt --input_dtype 'x' float32 --input_dim 'x' 1,6144 --preserve_io datatype 'x' --input_dtype 'attn_bias' float32 --input_dim 'attn_bias' 1,2048 --input_dtype 'rope_embed_cos' float32 --input_dim 'rope_embed_cos' 1,48 --preserve_io datatype 'rope_embed_cos' --input_dtype 'rope_embed_sin' float32 --input_dim 'rope_embed_sin' 1,48 --preserve_io datatype 'rope_embed_sin' --input_dtype 'layer_40_key_t_cache_0' float32 --input_dim 'layer_40_key_t_cache_0' 96,1920 --input_dtype 'layer_40_key_t_cache_1' float32 --input_dim 'layer_40_key_t_cache_1' 96,1920 --input_dtype 'layer_40_key_t_cache_2' float32 --input_dim 'layer_40_key_t_cache_2' 96,1920 --input_dtype 'layer_40_key_t_cache_3' float32 --input_dim 'layer_40_key_t_cache_3' 96,1920 --input_dtype 'layer_40_key_t_cache_4' float32 --input_dim 'layer_40_key_t_cache_4' 96,1920 --input_dtype 'layer_40_key_t_cache_5' float32 --input_dim 'layer_40_key_t_cache_5' 96,1920 --input_dtype 'layer_40_key_t_cache_6' float32 --input_dim 'layer_40_key_t_cache_6' 96,1920 --input_dtype 'layer_40_key_t_cache_7' float32 --input_dim 'layer_40_key_t_cache_7' 96,1920 --input_dtype 'layer_41_key_t_cache_0' float32 --input_dim 'layer_41_key_t_cache_0' 96,1920 --input_dtype 'layer_41_key_t_cache_1' float32 --input_dim 'layer_41_key_t_cache_1' 96,1920 --input_dtype 'layer_41_key_t_cache_2' float32 --input_dim 'layer_41_key_t_cache_2' 96,1920 --input_dtype 'layer_41_key_t_cache_3' float32 --input_dim 'layer_41_key_t_cache_3' 96,1920 --input_dtype 'layer_41_key_t_cache_4' float32 --input_dim 'layer_41_key_t_cache_4' 96,1920 --input_dtype 'layer_41_key_t_cache_5' float32 --input_dim 'layer_41_key_t_cache_5' 96,1920 --input_dtype 'layer_41_key_t_cache_6' float32 --input_dim 'layer_41_key_t_cache_6' 96,1920 --input_dtype 'layer_41_key_t_cache_7' float32 --input_dim 'layer_41_key_t_cache_7' 96,1920 --input_dtype 'layer_42_key_t_cache_0' float32 --input_dim 'layer_42_key_t_cache_0' 96,1920 --input_dtype 'layer_42_key_t_cache_1' float32 --input_dim 'layer_42_key_t_cache_1' 96,1920 --input_dtype 'layer_42_key_t_cache_2' float32 --input_dim 'layer_42_key_t_cache_2' 96,1920 --input_dtype 'layer_42_key_t_cache_3' float32 --input_dim 'layer_42_key_t_cache_3' 96,1920 --input_dtype 'layer_42_key_t_cache_4' float32 --input_dim 'layer_42_key_t_cache_4' 96,1920 --input_dtype 'layer_42_key_t_cache_5' float32 --input_dim 'layer_42_key_t_cache_5' 96,1920 --input_dtype 'layer_42_key_t_cache_6' float32 --input_dim 'layer_42_key_t_cache_6' 96,1920 --input_dtype 'layer_42_key_t_cache_7' float32 --input_dim 'layer_42_key_t_cache_7' 96,1920 --input_dtype 'layer_43_key_t_cache_0' float32 --input_dim 'layer_43_key_t_cache_0' 96,1920 --input_dtype 'layer_43_key_t_cache_1' float32 --input_dim 'layer_43_key_t_cache_1' 96,1920 --input_dtype 'layer_43_key_t_cache_2' float32 --input_dim 'layer_43_key_t_cache_2' 96,1920 --input_dtype 'layer_43_key_t_cache_3' float32 --input_dim 'layer_43_key_t_cache_3' 96,1920 --input_dtype 'layer_43_key_t_cache_4' float32 --input_dim 'layer_43_key_t_cache_4' 96,1920 --input_dtype 'layer_43_key_t_cache_5' float32 --input_dim 'layer_43_key_t_cache_5' 96,1920 --input_dtype 'layer_43_key_t_cache_6' float32 --input_dim 'layer_43_key_t_cache_6' 96,1920 --input_dtype 'layer_43_key_t_cache_7' float32 --input_dim 'layer_43_key_t_cache_7' 96,1920 --input_dtype 'layer_40_value_cache_0' float32 --input_dim 'layer_40_value_cache_0' 1920,96 --input_dtype 'layer_40_value_cache_1' float32 --input_dim 'layer_40_value_cache_1' 1920,96 --input_dtype 'layer_40_value_cache_2' float32 --input_dim 'layer_40_value_cache_2' 1920,96 --input_dtype 'layer_40_value_cache_3' float32 --input_dim 'layer_40_value_cache_3' 1920,96 --input_dtype 'layer_40_value_cache_4' float32 --input_dim 'layer_40_value_cache_4' 1920,96 --input_dtype 'layer_40_value_cache_5' float32 --input_dim 'layer_40_value_cache_5' 1920,96 --input_dtype 'layer_40_value_cache_6' float32 --input_dim 'layer_40_value_cache_6' 1920,96 --input_dtype 'layer_40_value_cache_7' float32 --input_dim 'layer_40_value_cache_7' 1920,96 --input_dtype 'layer_41_value_cache_0' float32 --input_dim 'layer_41_value_cache_0' 1920,96 --input_dtype 'layer_41_value_cache_1' float32 --input_dim 'layer_41_value_cache_1' 1920,96 --input_dtype 'layer_41_value_cache_2' float32 --input_dim 'layer_41_value_cache_2' 1920,96 --input_dtype 'layer_41_value_cache_3' float32 --input_dim 'layer_41_value_cache_3' 1920,96 --input_dtype 'layer_41_value_cache_4' float32 --input_dim 'layer_41_value_cache_4' 1920,96 --input_dtype 'layer_41_value_cache_5' float32 --input_dim 'layer_41_value_cache_5' 1920,96 --input_dtype 'layer_41_value_cache_6' float32 --input_dim 'layer_41_value_cache_6' 1920,96 --input_dtype 'layer_41_value_cache_7' float32 --input_dim 'layer_41_value_cache_7' 1920,96 --input_dtype 'layer_42_value_cache_0' float32 --input_dim 'layer_42_value_cache_0' 1920,96 --input_dtype 'layer_42_value_cache_1' float32 --input_dim 'layer_42_value_cache_1' 1920,96 --input_dtype 'layer_42_value_cache_2' float32 --input_dim 'layer_42_value_cache_2' 1920,96 --input_dtype 'layer_42_value_cache_3' float32 --input_dim 'layer_42_value_cache_3' 1920,96 --input_dtype 'layer_42_value_cache_4' float32 --input_dim 'layer_42_value_cache_4' 1920,96 --input_dtype 'layer_42_value_cache_5' float32 --input_dim 'layer_42_value_cache_5' 1920,96 --input_dtype 'layer_42_value_cache_6' float32 --input_dim 'layer_42_value_cache_6' 1920,96 --input_dtype 'layer_42_value_cache_7' float32 --input_dim 'layer_42_value_cache_7' 1920,96 --input_dtype 'layer_43_value_cache_0' float32 --input_dim 'layer_43_value_cache_0' 1920,96 --input_dtype 'layer_43_value_cache_1' float32 --input_dim 'layer_43_value_cache_1' 1920,96 --input_dtype 'layer_43_value_cache_2' float32 --input_dim 'layer_43_value_cache_2' 1920,96 --input_dtype 'layer_43_value_cache_3' float32 --input_dim 'layer_43_value_cache_3' 1920,96 --input_dtype 'layer_43_value_cache_4' float32 --input_dim 'layer_43_value_cache_4' 1920,96 --input_dtype 'layer_43_value_cache_5' float32 --input_dim 'layer_43_value_cache_5' 1920,96 --input_dtype 'layer_43_value_cache_6' float32 --input_dim 'layer_43_value_cache_6' 1920,96 --input_dtype 'layer_43_value_cache_7' float32 --input_dim 'layer_43_value_cache_7' 1920,96 --out_name 'out' --preserve_io datatype 'out' --out_name 'layer_40_key_0' --out_name 'layer_40_key_1' --out_name 'layer_40_key_2' --out_name 'layer_40_key_3' --out_name 'layer_40_key_4' --out_name 'layer_40_key_5' --out_name 'layer_40_key_6' --out_name 'layer_40_key_7' --out_name 'layer_41_key_0' --out_name 'layer_41_key_1' --out_name 'layer_41_key_2' --out_name 'layer_41_key_3' --out_name 'layer_41_key_4' --out_name 'layer_41_key_5' --out_name 'layer_41_key_6' --out_name 'layer_41_key_7' --out_name 'layer_42_key_0' --out_name 'layer_42_key_1' --out_name 'layer_42_key_2' --out_name 'layer_42_key_3' --out_name 'layer_42_key_4' --out_name 'layer_42_key_5' --out_name 'layer_42_key_6' --out_name 'layer_42_key_7' --out_name 'layer_43_key_0' --out_name 'layer_43_key_1' --out_name 'layer_43_key_2' --out_name 'layer_43_key_3' --out_name 'layer_43_key_4' --out_name 'layer_43_key_5' --out_name 'layer_43_key_6' --out_name 'layer_43_key_7' --out_name 'layer_40_value_0' --out_name 'layer_40_value_1' --out_name 'layer_40_value_2' --out_name 'layer_40_value_3' --out_name 'layer_40_value_4' --out_name 'layer_40_value_5' --out_name 'layer_40_value_6' --out_name 'layer_40_value_7' --out_name 'layer_41_value_0' --out_name 'layer_41_value_1' --out_name 'layer_41_value_2' --out_name 'layer_41_value_3' --out_name 'layer_41_value_4' --out_name 'layer_41_value_5' --out_name 'layer_41_value_6' --out_name 'layer_41_value_7' --out_name 'layer_42_value_0' --out_name 'layer_42_value_1' --out_name 'layer_42_value_2' --out_name 'layer_42_value_3' --out_name 'layer_42_value_4' --out_name 'layer_42_value_5' --out_name 'layer_42_value_6' --out_name 'layer_42_value_7' --out_name 'layer_43_value_0' --out_name 'layer_43_value_1' --out_name 'layer_43_value_2' --out_name 'layer_43_value_3' --out_name 'layer_43_value_4' --out_name 'layer_43_value_5' --out_name 'layer_43_value_6' --out_name 'layer_43_value_7'
> /opt/qcom/aistack/qairt/2.31.0.250130/bin/x86_64-linux-clang/qnn-model-lib-generator --cpp /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/onnx_model/batch_1.cpp --bin /media/user/6/powerserve_build_reka/model_chunk_10/batch_1/onnx_model/batch_1.bin --lib_targets x86_64-linux-clang --lib_name batch_1 --output_dir /media/user/6/powerserve_build_reka/model_chunk_10
multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.10/multiprocessing/pool.py", line 125, in worker
    result = (True, func(*args, **kwds))
  File "/usr/lib/python3.10/multiprocessing/pool.py", line 48, in mapstar
    return list(map(*args))
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_all_layers.py", line 39, in build_shared_object
    run([
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_all_layers.py", line 23, in run
    assert ret == 0
AssertionError
"""

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/user/projects/PowerServe/tools/qnn_converter/build_all_layers.py", line 89, in <module>
    pool.map(build_shared_object, chunk_ids)
  File "/usr/lib/python3.10/multiprocessing/pool.py", line 367, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "/usr/lib/python3.10/multiprocessing/pool.py", line 774, in get
    raise self._value
AssertionError
Traceback (most recent call last):
  File "/home/user/projects/PowerServe/tools/qnn_converter/converter.py", line 127, in <module>
    main(args)
  File "/home/user/projects/PowerServe/tools/qnn_converter/converter.py", line 84, in main
    run_shell_command(generate_so_command)
  File "/home/user/projects/PowerServe/tools/qnn_converter/converter.py", line 13, in run_shell_command
    assert ret == 0
AssertionError

output_embedding_build_so.log

model_chunk_10_build_so.log

for the other following error, ignore, it might be my own mistake.

I have had hardware issue on previous attempts external HDD corruption. (this happened before on previous attempts, where all the files became read-only, so I switch to a different HDD).

I have seen a successful conversion now, I did a conversion qwen2.5 1.5B successfully and ran it on device, although it is not outputing clear sentences. But I'm still happy to convert successfully.

[SorryMaker2022]

This is an issue with protobuf when a single onnx tensor exceeds 2GB (in FP32 precision). Rollback protobuf version to 3.20.2 will solve this.
Qwen models are too sensitive for quantization so you can try to revert some layers to FP16: #7.

[Zant12]

Rollback protobuf version to 3.20.2 will solve this.

Thanks! this allowed qwen 14B to convert to qnn successfully. Is there also a limit with cpu conversion? it seems to hang for me.

python ./tools/gguf_export.py -m /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct -o /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct/
>>>>>>>>>> prepare executables files [x86_64] <<<<<<<<<<
> cmake -DCMAKE_BUILD_TYPE=Release -DPOWERSERVE_WITH_QNN=OFF -S /home/user/projects/PowerServe -B /home/user/projects/PowerServe/build_x86_64
-- {fmt} version: 11.0.2
-- Build type: Release
-- Warning: ccache not found - consider installing it for faster compilation or disable this warning with GGML_CCACHE=OFF
-- CMAKE_SYSTEM_PROCESSOR: x86_64
-- x86 detected
-- Using the multi-header code from /home/user/projects/PowerServe/libs/json/include/
-- summary of build options:
    Install prefix:  /usr/local
    Target system:   Linux
    Compiler:
      C compiler:    /usr/bin/cc (GNU)
      CFLAGS:         

-- xtl v0.7.7
-- Building xtensor v0.25.0
-- Found xtl v0.7.7
-- Introduce uv a
-- PowerServe binary dir: /home/user/projects/PowerServe/build_x86_64/bin
-- Configuring done (0.1s)
-- Generating done (0.1s)
-- Build files have been written to: /home/user/projects/PowerServe/build_x86_64
> cmake --build build_x86_64 -j12 
[  0%] Built target CLI11
[  0%] Built target qnn_headers
[  0%] Built target stb_headers
[  3%] Built target fmt
[ 10%] Built target ggml
[ 14%] Built target llama_tokenizer
[ 55%] Built target uv_a
[ 84%] Built target powerserve
[ 86%] Built target app.common
[ 88%] Built target config-generator
[ 91%] Built target server.simple
[ 93%] Built target server.local
[ 95%] Built target run
[ 97%] Built target perplexity-test
[100%] Built target server
> cp -r /home/user/projects/PowerServe/build_x86_64/out/* /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct/bin/x86_64
>>>>>>>>>> generate vocab file <<<<<<<<<<
> python /home/user/projects/PowerServe/tools/convert_hf_to_gguf/convert_hf_to_gguf.py /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct --outfile /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct/vocab.gguf --vocab-only
>>>>>>>>>> generate weight files: q8_0 <<<<<<<<<<
> python /home/user/projects/PowerServe/tools/convert_hf_to_gguf/convert_hf_to_gguf.py /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct --outfile /media/user/6/Qwen_Qwen2.5-Coder-14B-Instruct/ggml/weights.gguf --outtype q8_0

when the weights are written, expands until 7.5 or 8 GB, then stops.

[SorryMaker2022]

I'm not sure about this, but there is a workaround to bypass this tool.
You can checkout llama.cpp: https://github.com/ggml-org/llama.cpp
Configure its environment, compile llama-quantize target executable, then use their tools:

python convert_hf_to_gguf.py --vocab-only <model>  # Generates vocab
python convert_hf_to_gguf.py --outtype f32 <model>  # Generates FP32 GGUF model for quantization
<llama.cpp_dir>/build/bin/llama-quantize --pure <model_F32GGUF> Q4_0  # (or Q8_0), generates the GGUF file

[Zant12]

I deploy on Oneplus13 (CN) 24GB, looking at Developer Options > Running Services, idle ram usage is 3.7GB. loading the model makes this jump to 14GB, then I think it OOMs.

/data/local/tmp/proj $ bin/powerserve-run --work-folder . --lib-folder qwen14B/qnn -m qwen14B                                                                                                                                                                    
[INFO ] Compiled on: Feb 14 2025 at 20:30:43
[INFO ] Load model qwen2 ...
[INFO ] after model init: [Memory(MB)] VMS: 10282, RSS: 7940
[INFO ] QNN core API version: 2.24.0
[INFO ] QNN backend API version: 5.31.0
[INFO ] QNN system API version: 1.3.0
[INFO ] QNN backend properties:
[INFO ] - Create context from binary list: Yes
[INFO ] - Dynamic batch: Yes
[INFO ] - Early termination: No
[INFO ] - Dynamic dimensions: Yes
[INFO ] - Blockwise quantization: Unknown
[INFO ] - Blockwise quantization with expansion: Unknown
[INFO ] - Vector quantization: Unknown
[INFO ] - Tensor sparsity: Yes
[INFO ] - Updateable application tensor: No
[INFO ] - Updateable native tensor: No
[INFO ] - Updateable static tensor: No
[INFO ] Hardware device information:
[INFO ] [0] id=0, type=0, num_cores=1, ext_type=0
[INFO ] [0] core[0]: id=0, type=0
[INFO ] [0] on_chip: soc=69, arch=79, dlbc=true, signed_pd=true, vtcm_size=8
[INFO ] Load model model-2025_04_02 from ./qwen14B/qnn
[INFO ] Loading "qwen2_14b_0.bin"...
[INFO ] load binary file ./qwen14B/qnn/qwen2_14b_0.bin (size: 947653664) into address space [0x70b6478000, 0x70eec38c20)
[INFO ] Context core API version: 2.24.0
[INFO ] Context backend API version: 5.31.0
[INFO ] Context blob version: 3.2.1
[INFO ] Number of graphs: 2
libc++abi: terminating due to uncaught exception of type powerserve::ModuleException: [Exception][QNN] BasicException: ModuleException
[Exception][QNN] Module Loader:
[Exception][QNN] ModuleException: 
Aborted 

I will upload to huggingface so you might be able to test the model also whenever its convenient.

[SorryMaker2022]

Please offer more info to locate the problem. It seems to be an error report from macro POWERSERVE_ASSERT_QNN_LOADER, enabling higher level of QNN logs may print more info.

Please modify QNN internal log level here:

PowerServe/src/backend/qnn/qnn.hpp

Line 59 in 226ff78

static constexpr auto m_log_level = QNN_LOG_LEVEL_ERROR;

to QNN_LOG_LEVEL_VERBOSE and paste your log here (or maybe the problem is directly solved with the log's info :D)

[Zant12]

I am currently on 5ef333a and rebuilt the binaries again. I can also try with the latest too, I'm afraid to break things since I'm converting the reka-flash model.

bin/powerserve-run --work-folder . --lib-folder qwen14B/qnn -m qwen14B
This is with links to the generated libraries: qwen14B.log

QnnDsp <E> Using newer context binary on old SDK
QnnDsp <E> Failed to create QNN context from binary

Maybe powerserve is not compatible with qairt 2.31.0.250130 ?

bin/powerserve-run --work-folder . -m qwen14B
No links: 14B-2.log

Here's that model: https://huggingface.co/imi2/Qwen2.5-Coder-14B-PowerServe-Speculate-QNN31-8G4

[SorryMaker2022]

Are you using the same SDK in model conversion and executable build? They should match with each other. If you have changed the SDK version, you should remove the project executable cmake build directory and re-cmake it, as there might be some compile caches wrong.

[Zant12]

I was previously using the one click scripts, but now I have ran ./tools/end_to_end/powerserve.sh clean, and am following these steps to build and push manually with cmake: https://github.com/powerserve-project/PowerServe#build-for-android-qnn

echo $NDK $QNN_SDK_ROOT
/opt/qcom/aistack/android-ndk-r27c /opt/qcom/aistack/qairt/2.31.0.250130

If I missed something please let me know.

Here is the log I have now:
qwen14B.log

[SorryMaker2022]

It seems that the previous problem has been solved. This is a new one and I haven't met it yet.

There are in total 4 calls of POWERSERVE_ASSERT_QNN_LOADER, so you can have a look at the backtrace of adb logcat to see which it is and why did it happen.