龙芯3A6000 NUC小盒子安装ollama本地部署deepseek

龙芯3A6000 NUC安装deepseek记录

第一步 安装基本开发环境

sudo oma install build-essential

配置开发环境报错信息:

先更新 系统提示的软件更新后,再次输入命令执行正常。

第二步 安装go和python环境

sudo oma install go python cmake

随后安装出错

修改为:sudo apt install go python3 cmake后可以执行。

第三步, 下载ollama代码

wget -c https://github.com/ollama/ollama/archive/refs/heads/main.zip

需要手机流量,一些固定网络可能无法访问,如果报错,可以尝试将https修改为http再次测试。

第四步,解压代码

unzip main.zip

第五步 开始编译

加速go

export GO111MODULE=on

export GOPROXY=https://goproxy.io

第六步 开始构建ollama

cd ollama-main

go generate ./…

第七步 开始构建ollama

go build -p 8 .

等待编译完成,会在当前目录生成可执行二进制文件ollama。

第八步, 起ollama服务

./ollama serve

第八步, 另开一个终端界面 ,打开ollama文件夹

cd ollama-main

第九步, 采用ollama装载deepseek

./ollama run deepseek-r1:7b

采用3A6000NUC安装7b,大概速度1秒1个字。没有安装独显,采用的是集显。效率比较低。

参考资料:[在3a6000上玩deepseek-r1大模型]

谢· @ [siyanteng]

`在此处键入或粘贴代码`

参考详见:https://www.loongbbs.cn/d/185-%E5%9C%A83a6000%E4%B8%8A%E7%8E%A9deepseek-r1%E5%A4%A7%E6%A8%A1%E5%9E%8B

使用时候,也是开2个终端
一个用来启动ollama服务,另一个用来启动deepseek ,根据安装的7b还是其他蒸馏版本,这里我安装的是7b,所以启动7b.
注意,先打开ollama文件夹,然后在启动
终端1:
cd ollama-main
./ollama serve
终端2:
cd ollama-main
./ollama run deepseek-r1:7b