使用CentOS Linux 7 跑ollama本地大模型
今天发现了一台CentOS Linux 7 (Core)的服务器,突发奇想,这么老的服务器装一个大模型让它跑个试试如何。
于是乎开始尝试一番,结果第一个问题就出现了,😓

问题诊断:你的 Linux 系统出现 ls: command not found(或其他基础命令无法使用)的情况,通常是 PATH 环境变量丢失或损坏 导致的。这是比较常见的故障。
临时恢复 PATH(立即生效)
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
命令行的问题暂时处理了,当我尝试安装docker的时候,问题又来了。

问题原因:CentOS 7 已经停止维护(EOL),官方镜像源下线了,导致 mirrorlist.centos.org 无法解析,并且很多镜像返回 404。
修复yum库
# 1. 备份当前仓库(保险起见)
cp -r /etc/yum.repos.d /etc/yum.repos.d.bak
# 2. 修复所有 CentOS 仓库指向 vault
sed -i 's|^mirrorlist=|#mirrorlist=|g' /etc/yum.repos.d/CentOS-*.repo
sed -i 's|^#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*.repo
# 3. 清缓存并生成新缓存
yum clean all
yum makecache
继续尝试安装docker,这次意料之外的出错了。。。

问题诊断: 网络连接不稳定(TCP connection reset by peer),加上 CentOS 7 已 EOL,导致下载 Docker 官方 repo 和 vault 包失败。
# 1. 恢复 PATH 并更新 nss(解决 TLS 握手问题)
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
yum install -y nss curl
# 2. 彻底修复 CentOS 仓库(使用 vault)
cat > /etc/yum.repos.d/CentOS-Base.repo << EOF
[base]
name=CentOS-7.9.2009 - Base
baseurl=http://vault.centos.org/7.9.2009/os/x86_64/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
[updates]
name=CentOS-7.9.2009 - Updates
baseurl=http://vault.centos.org/7.9.2009/updates/x86_64/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
[extras]
name=CentOS-7.9.2009 - Extras
baseurl=http://vault.centos.org/7.9.2009/extras/x86_64/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
EOF
yum clean all
yum makecache
到此docker总算是安装成功了。

安装ollama
docker拉取镜像,因为国内已经禁止使用docker所以默认docker地址,无法再拉取镜像。
这里推荐一个网址:https://docker.aityp.com/s/docker.io
这里可以拉取你想要的镜像。
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.42-ollama
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.42-ollama ghcr.io/open-webui/open-webui:v0.6.42-ollama
下载ollama之后,在docker中启动该镜像。

这里就启动成功了,那让我们访问看看吧。

登录之后就可以加载自己的大模型了。
