原版程序docker运行报trust_remote_code=True错误,
将mosec_server.py第184行改为:
tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR, trust_remote_code=True)
并将174的小写改为大写MODEL_DIR,之后运行又爆出错误:
onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOBUF : Load model from moss-moon-003-sft-plugin-int4 failed:Protobuf parsing failed.
修改384行
use_onnx=False
又爆出trust_remote_code=True错误。