Запуск большой языковой модели (LLM) на GPU VPS: начало работы с Ollama

Запуск больших языковых моделей (LLM) на собственном сервере означает, что данные не уходят внешнему сервису, вы не платите за каждое использование и можете настроить модель под себя. GPU ускоряет это во много раз по сравнению с CPU. В руководстве — основные шаги запуска локальной модели на сервере с GPU через Ollama.

Для чего нужен GPU VPS?

• Инференс: ответы на вопросы, суммаризация и помощь с кодом на готовой модели.
• Конфиденциальность: документы и запросы не покидают ваш сервер.
• Другие задачи на GPU: генерация изображений, обработка видео, научные вычисления и рендеринг.

Планирование памяти (VRAM)

Скорость модели и сама возможность её запуска больше всего определяет память GPU (VRAM). По общему правилу она зависит от числа параметров и квантования: небольшая квантованная модель на 7–8 млрд параметров работает в нескольких ГБ VRAM, а модели покрупнее требуют десятки ГБ. Потребность в памяти растёт с размером модели, длиной контекста и числом одновременных пользователей. Видеокарту и объём VRAM в наших GPU-тарифах можно посмотреть на странице продукта.

1. Проверьте драйвер

nvidia-smi

Если команда показывает ваш GPU и версию драйвера, всё готово. Если команда не найдена, установите рекомендуемый драйвер в Ubuntu:

sudo ubuntu-drivers install
sudo reboot

2. Установите Ollama

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

Замечание по безопасности: запускать скрипт, скачанный из интернета, напрямую рискованно. Сначала скачайте его командой curl -fsSL https://ollama.com/install.sh -o install.sh и прочитайте.

3. Запустите первую модель

ollama run llama3.2

При первом запуске модель скачивается и открывается чат. Список моделей — ollama list; чтобы следить за GPU, выполните в другом терминале watch -n 1 nvidia-smi — вы увидите рост использования VRAM во время работы модели.

4. Использование через API

По умолчанию Ollama слушает только 127.0.0.1:11434:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Что такое облачный сервер? Объясни в двух предложениях.",
  "stream": false
}'

5. Безопасный доступ

У API Ollama нет аутентификации, поэтому не открывайте порт в интернет. Для работы со своего компьютера достаточно SSH-туннеля:

ssh -L 11434:127.0.0.1:11434 user@IP_СЕРВЕРА

Затем в приложении используйте адрес http://localhost:11434. Если доступ нужен нескольким людям, запустите сервис за WireGuard или добавьте обратный прокси с аутентификацией (см. Caddy).

Запуск в Docker (по желанию)

Если используете Docker, для доступа к GPU нужен NVIDIA Container Toolkit; после его установки:

docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

Советы по производительности и обслуживанию

• Если модель целиком не помещается в VRAM, часть уходит на CPU, и скорость падает; выберите модель поменьше или с более сильным квантованием.
• Удаляйте неиспользуемые модели командой ollama rm MODEL: модели занимают диск.
• Защитите сервер по чек-листу безопасности.
• Перед рискованными обновлениями драйвера или системы делайте снимок.

Начните с Melinhost

Посмотрите наши GPU-тарифы и выберите нужные память и производительность. По вопросам наша служба поддержки рядом.