Как стать автором
Обновить

Быстрое локальное развертывание DeepSeek

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров23K
Midjourney
Midjourney

В этой статье я поделюсь опытом быстрого локального развертывания модели DeepSeek — решения, которое позволяет не зависеть от облачных сервисов, сохранять конфиденциальность данных и тонко настраивать модель под собственные задачи.

Зачем запускать DeepSeek локально?

Вы, возможно, задаетесь вопросам: зачем тратить время на локальное развертывание, если можно воспользоваться официальной версией? Вот несколько причин:

  1. Безопасность. При работе с конфиденциальными данными или коммерческой тайной лучше не передавать их сторонним сервисам.

  2. Гибкость разработки. Локальный запуск дает возможность модифицировать модель, дообучать ее или интегрировать в собственное приложение без дополнительных затрат на API.

  3. Приватность. Полный контроль над системой позволяет обеспечить высокий уровень защиты и конфиденциальности ваших данных.

Способ №1: развертывание через ollama

Официальный сайт: https://ollama.com/

screenshot omega
screenshot omega
  1. Установка:
    Скачайте установочный пакет ollama и запустите его двойным кликом. После этого нажмите кнопку install — установка пройдет автоматически.

screenshot omega
screenshot omega
screenshot omega
screenshot omega

2. Проверка установки:

Откройте командную строку (cmd) и введите: ollama

screenshot omega
screenshot omega

Если в терминале вы видите подробный вывод, значит, всё прошло успешно. В противном случае стоит проверить шаги установки или обратиться к документации.

3. Поиск и запуск модели:

Перейдите на официальный сайт ollama и введите в поиске ключевое слово: deepseek-r1

– название модели.

– укажите объем памяти, который планируете выделить под модель. Чем модель больше, тем выше качество, но и требования к видеопамяти соответственно возрастают. Для начала рекомендую попробовать версию 1.5b.

– после выбора модели вам будет предоставлена команда для запуска. Скопируйте ее и выполните в командной строке: ollama run deepseek-r1:1.5b

screenshot omega
screenshot omega
screenshot omega
screenshot omega
screenshot omega
screenshot omega
screenshot omega
screenshot omega

При первом запуске модель начнет загрузку, после чего появится сообщение success, и вы сможете вводить запросы в интерактивном режиме.

5. Удаление модели:
Чтобы удалить установленную модель, выполните следующие действия:

  • Просмотрите список развернутых моделей: ollama list

screenshot omega
screenshot omega
  • Выполните команду удаления: ollama rm deepseek-r1:14b

Важно: Убедитесь, что имя модели соответствует актуальной.

screenshot omega
screenshot omega

Способ №2: использование расширения для Chrome

Если вам привычнее работать через браузер, воспользуйтесь расширением, которое интегрируется с локальной моделью.

1. Установка расширения

  1. Откройте Google Chrome и перейдите по ссылке: https://chromewebstore.google.com/detail/page-assist-%E6%9C%AC%E5%9C%B0-ai-%E6%A8%A1%E5%9E%8B%E7%9A%84-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=zh-CN&utm_source=ext_sidebar

screenshot omega
screenshot omega

2. Убедитесь, что модель DeepSeek уже настроена через ollama (см. способ №1).

3. Нажмите кнопку «Добавить в Chrome».

2. Запуск расширения

После установки расширение появится в списке установленных компонентов Chrome. Для его запуска:

  1. Перейдите по адресу: chrome://extensions/.

  2. Используйте удобные горячие клавиши:

    • Ctrl+Shift+Y — для вызова боковой панели.

    • Ctrl+Shift+L — для открытия окна чата.

3. Локализация интерфейса:

  1. В настройках расширения Page Assist выберите русский язык для локализации.

  2. В окне чата выберите нужную модель (убедитесь, что модель из ollama запущена).

  3. Теперь можно отправлять запросы и работать с DeepSeek прямо из браузера.

screenshot omega
screenshot omega
screenshot omega
screenshot omega
Пример запроса в расширении. screenshot omega
Пример запроса в расширении. screenshot omega

Распространенная проблема и решение

Проблема:

Error: llama runner process has terminated: error loading model: unable to allocate CUDA_Host buffer

Причина: Недостаточно видеопамяти на вашем устройстве.

Решения:

  • Попробуйте запустить модель меньшего размера.

  • Используйте режим CPU при запуске (скорость работы может снизиться):

ollama run deepseek-r1:7b --cpu

Локальное развертывание DeepSeek с помощью ollama или расширения для Chrome — отличный способ обеспечить безопасность, гибкость и приватность работы с большой языковой моделью. Оба метода позволяют быстро настроить систему под ваши нужды без обращения к дорогостоящим API.

Теги:
Хабы:
+6
Комментарии18

Публикации

Истории

Ближайшие события

27 марта
Deckhouse Conf 2025
Москва
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань