Files

2.3 KiB
Raw Permalink Blame History

2026-03-29 本地 LLM 配置

完成事项

1. OpenClaw 配置修复

  • 修复 JSON5 解析错误(从备份恢复)
  • 禁用不可用的 ppchat providers(重命名加 _ 前缀)
  • 默认模型切换:ppchat-openai/gpt-4olkeap/glm-5
  • Fallback 链:lkeap/glm-5lkeap/minimax-m2.5lkeap/hunyuan-2.0-instructlocal/qwen3.5-4b

2. 本地 LLM 服务搭建

  • 安装 llama.cpp (v8500, build 342d6125b)
  • 下载模型:~/.llama/models/Qwen3.5-4B-Q4_K_M.gguf(谷老板手动下载)
  • 启动参数:-c 8192 -t 4 --mlock --host 127.0.0.1 --port 8080
  • Server 端点:http://127.0.0.1:8080/v1
  • API Keylocal-llm-key

3. OpenClaw 本地模型配置

  • Provider IDlocal
  • Model IDqwen3.5-4b
  • 配置路径:/Users/guchen/.openclaw/openclaw.jsonmodels.providers.local

发现的问题

sessions_spawn model 参数对本地模型不生效

  • 现象:指定 model: "local/qwen3.5-4b" 的 subagent 实际使用了 lkeap/minimax-m2.5
  • sessions_spawn 返回 modelApplied: true,但实际模型被覆盖
  • 可能原因:
    1. Gateway 对本地模型有特殊路由逻辑
    2. subagent 的 model 参数不支持本地 provider 格式
    3. 存在隐式 fallback 机制
  • 待验证:直接通过 exec 调用本地模型 API

本地模型适用场景分析

适合:

  • 意图识别、工具选择、参数提取
  • 简单翻译、日常对话
  • 头脑风暴、摘要生成
  • 快速任务

不适合:

  • 复杂推理
  • 长文本生成
  • 数学密集型任务
  • 大型编程项目

关键文件

文件 用途
/Users/guchen/.openclaw/openclaw.json OpenClaw 主配置
/Users/guchen/.openclaw/openclaw.json.bak 配置备份
~/.llama/models/Qwen3.5-4B-Q4_K_M.gguf 本地模型文件

进程信息

  • llama-server 运行在 127.0.0.1:8080
  • 验证命令:curl -s http://127.0.0.1:8080/v1/models

后续 TODO

  • 调查 sessions_spawn model 参数为何不生效
  • 通过 exec 直接调用本地模型 API 验证可用性
  • 考虑为本地模型配置独立的 agentId 或使用场景

结论

2026-03-29 22:02 谷老板决定:本地模型服务已关闭。本机性能不足以支撑本地 LLM 运行,暂时放弃本地模型方案。