本地部署
安装ollama: https://ollama.com/
创建安装目录 c:\Ollama
安装: .\OllamaSetup.exe /DIR=c:\Ollama
检查安装:
ollama -v
ollama version is 0.5.7
文本嵌入模型
https://ollama.com/search?c=embedding
选择:nomic-embed-text
ollama pull nomic-embed-text
14b
安装模型: https://ollama.com/library/deepseek-r1
这里安装14b(硬件是3060 12GB,64GB内存,i5-9400 CPU):
ollama run deepseek-r1:14b
ollama list
NAME ID SIZE MODIFIED
deepseek-r1:14b ea35dfe18182 9.0 GB 2 minutes ago
本地运行非常流畅,重新进入对话:
ollama run deepseek-r1:14b
客户端
为使用google引擎,设置代理后从命令行启动模型:
set http_proxy=socks5://127.0.0.1:8080
set https_proxy=socks5://127.0.0.1:8080
ollama run deepseek-r1:14b
模型32b
ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:32b 38056bbcbb2d 22 GB 47%/53% CPU/GPU 16 minutes from now
虽然提示 47%/53% CPU/GPU,但主要是cpu在跑,非常慢,几乎不可用,可能需要一个24GB的显卡。
对应14b的:
C:\Users\yanglei>ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:14b ea35dfe18182 9.9 GB 100% GPU 19 minutes from now
正文完