Почему открытые модели вообще годятся
Ещё пару лет назад разрыв между открытыми и облачными моделями был пропастью. Сегодня открытые модели рабочего класса (27–32 млрд параметров) уверенно справляются с большинством деловых задач: отвечают по базе знаний, разбирают договоры, пишут тексты, анализируют таблицы, работают с кодом. И всё это — на вашем железе, без оплаты за токены.
Основные семейства моделей
| Семейство | Кратко | Сильная сторона |
|---|---|---|
| Qwen | китайская линейка, много размеров | сильный универсал, хорошо с русским и кодом |
| Llama | модели Meta, широкая экосистема | зрелость, много готовых инструментов |
| DeepSeek | акцент на рассуждения и код | логика, математика, разработка |
| Gemma | компактные модели Google | эффективность на скромном железе |
| Mistral / Mixtral | европейские, в т.ч. MoE | быстрые, хороший баланс качество/ресурсы |
Сколько нужно видеопамяти
Главный ограничитель — не выбор семейства, а видеопамять: модель должна поместиться в неё целиком. Ориентиры для сжатых версий:
| Класс | VRAM | Для чего |
|---|---|---|
| 7–14B | 6–12 ГБ | чат, документы, черновики, базовый код |
| 27–32B | 18–24 ГБ | рабочая лошадка бизнеса: договоры, зрение, длинный контекст |
| 70B | 40–48 ГБ | близко к топовым облачным моделям |
| 100B+ (MoE) | 80 ГБ+ | максимальное качество рассуждений |
Подробно про расчёт памяти — в гайде сколько видеопамяти нужно для нейросети.
Как выбрать
- •Определите задачи — чат по базе знаний, код, анализ документов, зрение — от них зависит и модель, и размер,
- •Не гонитесь за самой большой: 27–32B закрывают большинство задач дешевле и быстрее,
- •Проверяйте на своих данных, а не по обзорам — на ваших документах расклад может отличаться,
- •Заложите запас видеопамяти под нескольких пользователей, а не впритык под модель.
С чего собрать сам сервер под выбранную модель — в руководстве как сделать свой AI-сервер.
Частые вопросы
Open-source модели бесплатны для бизнеса?
Большинство популярных семейств (Qwen, Llama, DeepSeek, Gemma, Mistral) можно использовать коммерчески, но лицензии различаются — у некоторых есть ограничения по масштабу или условиям. Перед внедрением конкретную лицензию нужной версии стоит проверить; мы это делаем на этапе подбора.
Они хуже ChatGPT?
На большинстве деловых задач модели рабочего класса 27–32B уже сопоставимы с облачными. Топовые облачные модели всё ещё сильнее в глубоких рассуждениях и сложном коде, но для рутинных 80% работы разница некритична. Спорные 5% закрываются гибридной схемой.
Как понять, какая модель подойдёт именно нам?
Это решается тестом на ваших реальных задачах и документах, а не по обзорам. Мы подбираем модель и степень сжатия под ваши сценарии и железо в рамках внедрения.