把大模型装进你自己的电脑:隐私不外泄、不按量付费、断网也能用。从硬件选型到 Ollama 一键跑起,再到网页界面与 API 服务化。
每天一章,从「为什么本地部署」到「从零搭一个本地 AI 助手」。点击卡片开始阅读,进度自动保存在本机。
不用装任何环境,直接在页面里把「本地部署」的关键计算玩明白。
选一个模型规模和精度,看看你的显卡到底够不够。
同一个 7B 模型,FP16 / Q8 / Q4 的体积、显存与质量差多少?
像调 OpenAI 一样调本地模型——体验 OpenAI 兼容接口的调用格式。