本地部署

本地部署大模型需要用到的工具 macbook pro ollama —运行大模型 supabase — 管理本地聊天数据 docker chatbot — 对话框ui 第一步：ollama下载 & pull model 官网：[https://ollama.com/] 选择大模型 以我为例，我选择的deepseek-r1:7b, 安装完ollama之后， 在Terminal中运行： ollama run deepseek-r1:7b 这就说明目标模型已经可以在本地运行了。 第二步：Chatbot UI 当大模型有了，下一步就是找一个可以用来进行对话的 “壳"了，不用chatbot对话框当然也是可以的，只是需要在command line中对话了。 chatbot-ui ： https://github.com/mckaywrigley/chatbot-ui.git 这里需要了解如何从github clone项目到本地，需要用到 git clone，看项目README 当将这个项目拉取到本地之后，用vscode（任何 IDE）打开项目； 安装docker（不能忘记）； 安装完之后在vscode中命令行运行以下命令： npm install — 安装chatbot依赖 brew install supabase/tap/supabase — 安装supabase(mac先安装Homebrew) supabase start —启动 cp .env.local.example .env.local — supabase配置信息 supabase status 获取supabase状态 运行后，会显示 Supabase 的 API URL 和密钥，你需要把这些值填入 .env.local； API URL: 对应 NEXT_PUBLIC_SUPABASE_URL anon key: 对应 NEXT_PUBLIC_SUPABASE_ANON_KEY service_role key: 对应 SUPABASE_SERVICE_ROLE_KEY SQL 设置： ...