deepseek

本地部署

安装ollama: https://ollama.com/

创建安装目录 c:\Ollama

安装: .\OllamaSetup.exe /DIR=c:\Ollama

检查安装:

ollama -v
ollama version is 0.5.7

文本嵌入模型

https://ollama.com/search?c=embedding

选择:nomic-embed-text

ollama pull nomic-embed-text

14b

安装模型: https://ollama.com/library/deepseek-r1

这里安装14b(硬件是3060 12GB,64GB内存,i5-9400 CPU):

ollama run deepseek-r1:14b
ollama list
NAME               ID              SIZE      MODIFIED
deepseek-r1:14b    ea35dfe18182    9.0 GB    2 minutes ago

本地运行非常流畅,重新进入对话:

ollama run deepseek-r1:14b

客户端

Page Assist:https://chromewebstore.google.com/detail/page-assist-%E6%9C%AC%E5%9C%B0-ai-%E6%A8%A1%E5%9E%8B%E7%9A%84-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo

为使用google引擎,设置代理后从命令行启动模型:

set http_proxy=socks5://127.0.0.1:8080
set https_proxy=socks5://127.0.0.1:8080
ollama run deepseek-r1:14b

模型32b

ollama ps
NAME               ID              SIZE     PROCESSOR          UNTIL
deepseek-r1:32b    38056bbcbb2d    22 GB    47%/53% CPU/GPU    16 minutes from now

虽然提示 47%/53% CPU/GPU,但主要是cpu在跑,非常慢,几乎不可用,可能需要一个24GB的显卡。

对应14b的:

C:\Users\yanglei>ollama ps
NAME               ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:14b    ea35dfe18182    9.9 GB    100% GPU     19 minutes from now

正文完
 0
评论(没有评论)