Ollama на VPS: запуск локальных AI-моделей

curl -fsSL https://ollama.com/install.sh | sh

systemctl status ollama
# ● ollama.service - Ollama Service
#    Loaded: loaded (/etc/systemd/system/ollama.service; enabled)
#    Active: active (running)

# Проверить версию
ollama --version
# ollama version is 0.6.x

# Проверить API
curl http://localhost:11434/
# Ollama is running

ollama run mistral:7b
# Pulling manifest
# Pulling fcc5a6bec9da... 100% ▕████████████▏ 4.1 GB
# Verifying sha256 digest
# >>> Send a message (/? for help)
>>> Напиши скрипт на Python для проверки доступности URL

# Скачать модель (без запуска)
ollama pull llama3.1:8b

# Список загруженных моделей
ollama list
# NAME                ID              SIZE    MODIFIED
# mistral:7b          f974a74358d6    4.1 GB  2 minutes ago
# llama3.1:8b         42182419e950    4.7 GB  1 hour ago

# Информация о модели
ollama show llama3.1:8b

# Удалить модель
ollama rm mistral:7b

# Выйти из интерактивного режима
# /bye или Ctrl+D

curl -fsSL https://get.docker.com | sh
systemctl enable --now docker

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --restart always \
  ghcr.io/open-webui/open-webui:main

docker ps
# CONTAINER ID   IMAGE                                PORTS
# a1b2c3d4e5f6   ghcr.io/open-webui/open-webui:main  0.0.0.0:3000->8080/tcp

# Логи Open WebUI
docker logs open-webui --tail 50

curl http://localhost:11434/api/generate \
  -d '{
    "model": "llama3.1:8b",
    "prompt": "Объясни кратко что такое VPS",
    "stream": false
  }'

curl http://localhost:11434/api/chat \
  -d '{
    "model": "llama3.1:8b",
    "messages": [
      {
        "role": "system",
        "content": "Отвечай кратко и по делу на русском языке."
      },
      {
        "role": "user",
        "content": "Сколько RAM нужно для VPS под WordPress?"
      }
    ],
    "stream": false
  }'

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # обязателен по синтаксису, значение игнорируется
)

response = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[
        {"role": "user", "content": "Напиши bash-скрипт для бэкапа директории"}
    ]
)

print(response.choices[0].message.content)

curl http://localhost:11434/api/tags | python3 -m json.tool

apt install nginx certbot python3-certbot-nginx -y

server {
    listen 80;
    server_name ollama.example.com;

    location / {
        proxy_pass         http://127.0.0.1:11434;
        proxy_buffering    off;
        proxy_read_timeout 300s;

        # Базовая аутентификация
        auth_basic           "Ollama API";
        auth_basic_user_file /etc/nginx/.htpasswd;
    }
}

apt install apache2-utils -y
htpasswd -c /etc/nginx/.htpasswd myuser
# New password: ****

ln -s /etc/nginx/sites-available/ollama /etc/nginx/sites-enabled/
nginx -t && systemctl reload nginx

# Получить SSL-сертификат
certbot --nginx -d ollama.example.com

# С другой машины (замените домен и пароль)
curl https://ollama.example.com/api/tags \
  -u myuser:mypassword

# Использование в Python с аутентификацией
from openai import OpenAI
client = OpenAI(
    base_url="https://ollama.example.com/v1",
    api_key="myuser:mypassword",
)