[问题] 如何连接到本地ollma模型

[flyinglb]

如何连接到本地ollma模型？？

[dosubot]

Hi @flyinglb! I'm Dosu and I’m helping the cc-haha team.

这个问题之前在 #18 中讨论过。cc-haha 不能直接连接 Ollama，需要通过一个协议转换代理（如 LiteLLM 或 new-api）来中转请求 [1]。

推荐使用 LiteLLM 的方式如下：

1. 安装 LiteLLM

pip install 'litellm[proxy]'

2. 创建配置文件 litellm_config.yaml

model_list:
  - model_name: llama3
    litellm_params:
      model: ollama/llama3
      api_base: http://localhost:11434

litellm_settings:
  drop_params: true

[2]

3. 启动代理

litellm --config litellm_config.yaml --port 4000

4. 配置环境变量

ANTHROPIC_AUTH_TOKEN=sk-anything
ANTHROPIC_BASE_URL=http://localhost:4000
ANTHROPIC_MODEL=llama3
ANTHROPIC_DEFAULT_SONNET_MODEL=llama3
ANTHROPIC_DEFAULT_HAIKU_MODEL=llama3
ANTHROPIC_DEFAULT_OPUS_MODEL=llama3
API_TIMEOUT_MS=3000000

[3]

⚠️ 几个注意事项：

• 模型大小很重要：建议使用较大的模型（如 70B+），小模型可能无法正确处理 tool calling [4]
• drop_params: true 必须设置，用于丢弃 Ollama 不支持的 Anthropic 特有参数 [5]
• Extended Thinking、Prompt Caching 等功能在本地模型下不可用 [6]

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}
  

[flyinglb]

litellm 启动了
配置这么填的：
ANTHROPIC_AUTH_TOKEN=ollama
ANTHROPIC_BASE_URL=http://localhost:4000
ANTHROPIC_MODEL=qwen3:4b
ANTHROPIC_DEFAULT_SONNET_MODEL=qwen3:4b
ANTHROPIC_DEFAULT_HAIKU_MODEL=qwen3:4b
ANTHROPIC_DEFAULT_OPUS_MODEL=qwen3:4b
API_TIMEOUT_MS=3000000

仍然无法连接上

[flyinglb]

一直提示403

[dosubot]

403 错误通常有两个常见原因：

1. ANTHROPIC_BASE_URL 不要包含 /v1 路径
代码内部会自动拼接 /v1/messages，如果你的 LiteLLM 代理地址本身带了 /v1，最终请求会变成 /v1/v1/messages 导致失败 [1]。你配置的 http://localhost:4000 看起来是对的，这一点应该没问题。

2. ANTHROPIC_AUTH_TOKEN 不能是随意值，建议用 sk- 前缀格式
你目前设的是 ollama，试试改成 sk-anything 这样的格式 [2]。虽然本地代理不需要真实认证，但 SDK 可能对 token 格式有校验。

可以先用 curl 测试你的代理是否正常工作：

curl -f "http://localhost:4000/v1/messages" -X POST \
  -H "x-api-key: sk-anything" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model":"qwen3:4b","max_tokens":1,"messages":[{"role":"user","content":"hi"}]}'

[2]

如果返回的是 HTML 而不是 JSON，说明代理配置有问题。另外 qwen3:4b 这种小模型可能无法正确处理 tool calling，建议条件允许的话使用更大的模型（70B+）[3]。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}
  

[farlandliu]

我用官方的cli 都可以连上ollama呀，

配置如下：

"env": {
    "ANTHROPIC_AUTH_TOKEN": "ollama",
    "ANTHROPIC_API_KEY": "8cf8",
    "ANTHROPIC_BASE_URL": "http://127.0.0.1:11434",
    "ANTHROPIC_MODEL": "minimax-m2.7:cloud",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    "DISABLE_TELEMETRY": "1",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "kimi-k2.5:cloud",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "kimi-k2.5:cloud",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "minimax-m2.7:cloud"
  },