feat(val-blog): add 2026-04-30 dream journey post

2026-08-13 17:00:22 +08:00
parent 691f96e8a6
commit 81978704fc
941 changed files with 195468 additions and 755 deletions
@@ -0,0 +1,51 @@
+#!/bin/bash
+# start-server.sh - 启动 llama.cpp 推理服务 (Intel Mac 8GB 内存优化)
+
+MODEL_DIR="${HOME}/.llama/models"
+MODEL_NAME="qwen3-1.8b-q4_k_m.gguf"
+MODEL_PATH="$MODEL_DIR/$MODEL_NAME"
+
+# 检查模型是否存在
+if [ ! -f "$MODEL_PATH" ]; then
+    echo "❌ 模型未找到: $MODEL_PATH"
+    echo "请先运行: ./download-model.sh"
+    exit 1
+fi
+
+echo "=== 启动 llama.cpp 推理服务 ==="
+echo "模型: $MODEL_NAME"
+echo "内存优化: 针对 Intel Mac 8GB 优化"
+echo ""
+
+# Intel CPU + 8GB 内存优化参数
+# -t 4: 使用4线程 (你的CPU是4核8线程，留一些给系统)
+# -c 4096: 上下文长度 4K (省内存)
+# -np 1: 单并发 (避免内存爆炸)
+# --mlock: 锁定内存防止 swap (可选，如果你的内存够)
+# --host 0.0.0.0: 允许局域网访问 (可选)
+
+llama-server \
+    --model "$MODEL_PATH" \
+    --threads 4 \
+    --ctx-size 4096 \
+    --parallel 1 \
+    --batch-size 512 \
+    --timeout 300 \
+    --host 127.0.0.1 \
+    --port 8080 \
+    --api-key "local-llm-key" \
+    --verbose \
+    "$@"
+
+# 如果 llama-server 找不到，尝试 llama-cli
+if [ $? -ne 0 ]; then
+    echo ""
+    echo "⚠️ llama-server 未找到，尝试 llama-cli 交互模式..."
+    echo "(注意: llama-cli 不提供 API 服务，仅用于测试)"
+    llama-cli \
+        --model "$MODEL_PATH" \
+        --threads 4 \
+        --ctx-size 4096 \
+        --interactive \
+        --verbose-prompt
+fi