Open Source модели: Llama, Mistral, Qwen, Gemma - выбираем альтернативу GPT

Цели урока

• Ориентироваться в landscape open-source LLM: Llama, Mistral, Qwen, Gemma, DeepSeek
• Сравнивать модели по бенчмаркам и понимать ограничения бенчмарков
• Разбираться в лицензиях: Apache 2.0, MIT, Llama License - что разрешено коммерчески
• Запускать open-source модели через Ollama и интегрировать с TypeScript
• Принимать решение open-source vs closed API для конкретного проекта

Llama 3.1 405B обошёл GPT-4 на нескольких бенчмарках. И вышел open-source. Meta потратила миллиарды - и отдала бесплатно. Через 6 месяцев Llama стала базой для сотен продуктов. Это не благотворительность - это стратегия: чем больше разработчиков строят на Llama, тем сильнее экосистема, тем больше fine-tune данных, тем лучше следующая версия. OpenAI создал рынок. Meta сделала его открытым.

• Meta: Llama скачана 300+ миллионов раз, используется 50K+ компаний - крупнейший open-source LLM релиз в истории
• Uber перевёл AI-сервисы на self-hosted Llama - экономия 10M/year при сохранении качества
• DeepSeek R1 - первая open-source reasoning-модель на уровне o1, вышла через 3 месяца после o1
• EU AI Act стимулирует open-source: проще transparency, аудит весов, compliance без vendor lock-in
• Chatbot Arena 2026: разрыв top open-source (Llama 405B) и GPT-4o - менее 50 Elo points

Как open-source LLM прошли путь от игрушки до production

**Февраль 2023**: Meta выпускает Llama 1 - утечка весов за 48 часов, сообщество за неделю запускает модель на MacBook. **Июль 2023**: Llama 2 - официально открытый, коммерческий, скачан миллионами. **Декабрь 2023**: Mistral выпускает Mixtral 8x7B - первая MoE модель, которая конкурирует с GPT-3.5 при втрое меньших вычислениях. **Апрель 2024**: Llama 3, gap с GPT-4o сокращается до 10-15%. **Январь 2025**: DeepSeek R1 - open-source reasoning на уровне o1. **2026**: open-source LLM - стандарт для compliance-ограниченных отраслей и высоконагруженных систем.

Предварительные знания

• How LLMs Work: Tokens, Embeddings, Attention

Open-source LLM landscape в 2026 году

Июль 2023. Meta выкладывает Llama 2 в открытый доступ. За 48 часов - 100 000 запросов на доступ. За месяц модель запустили на MacBook, на Raspberry Pi, на старых игровых видеокартах. Это не просто релиз - это момент, когда монополия на production-grade LLM закончилась.

В 2026 году open-source LLM - не «почти как GPT-4». Llama 3.1 405B, DeepSeek V3, Qwen 2.5 72B конкурируют с GPT-4o на Chatbot Arena по реальным пользовательским предпочтениям. Разрыв сократился с пропасти до погрешности измерения.

Ключевые семейства, которые доминируют в 2026:

Отдельно - архитектурный прорыв, который изменил правила игры: **Mixture of Experts (MoE)**. Модель не использует все параметры на каждый токен - router выбирает 2-4 «эксперта» из N. Mixtral 8x7B активирует ~13B из 47B параметров. Скорость малой модели, качество большой. Поэтому DeepSeek V3 с 671B параметрами деплоится дешевле, чем Llama 405B dense.

Темп развития ошеломляет: каждые 3-4 месяца появляется новое поколение, которое превосходит предыдущее на 10-20% по бенчмаркам. Модель, бывшая state-of-the-art в январе, к лету уже отстаёт. **Hugging Face Hub** - центр этой экосистемы: 800 000+ моделей, каждая с model card, бенчмарками, discussion. Адрес: huggingface.co/models.

Сравнение моделей: бенчмарки и реальная производительность

MMLU 87% против 84% - разница в пользу модели A. Дальше, при деплое на реальных данных, оказывается, что модель B в 2 раза быстрее, дешевле и лучше следует инструкциям. Бенчмарки - первый фильтр, не приговор.

**Приблизительный рейтинг** (начало 2026, меняется с каждым релизом):

Маленькая модель может обойти большую - это не исключение, это правило для специализированных задач:

• **Конкретный домен** - fine-tuned Llama 8B на медицинских данных может превзойти GPT-4o на медицинских задачах
• **Latency** - 8B модель отвечает за 200ms, 70B за 2s, GPT-4o за 1-5s. Для realtime приложений latency критична
• **Язык** - Qwen 2.5 значительно лучше Llama на китайском, Mistral лучше на французском
• **Contamination** - некоторые модели «видели» benchmark задачи при обучении, что завышает score

Не выбирать модель по одному бенчмарку. MMLU 85% у модели A и 83% у модели B - разница в рамках погрешности. Всегда тестировать на собственных данных: 50-100 реальных examples из production задачи дадут больше информации, чем все бенчмарки вместе.

Лицензии: Llama License vs Apache 2.0 vs MIT

«Open-source» в контексте LLM - термин неточный. Большинство моделей имеют **открытые веса** (open weights), но это не то же самое, что open-source software. Apache 2.0 и MIT дают почти неограниченную свободу. Llama License - permissive, но с нюансами. Знать разницу нужно до деплоя в production, не после.

• **Стартап / SMB** - Llama License подходит. Apache 2.0 (Mistral, Qwen) - ещё проще, нет MAU ограничений
• **Enterprise** - юридический отдел предпочитает Apache 2.0 или MIT. Llama License требует review
• **Healthcare / Finance** - open-source на своём железе может быть единственным вариантом для compliance
• **EU AI Act** - open-source модели проще для compliance: аудит весов, контроль deployment

**«Open-source» не равно «Open training data».** Большинство моделей НЕ раскрывают training data. Для EU AI Act compliance может потребоваться transparency о данных обучения. Исключение - OLMo от AI2 (полностью открыты: веса + данные + код).

Запуск open-source моделей через Ollama

**Ollama** - самый простой способ запустить open-source модель локально. Один бинарник, автоматическое скачивание моделей, совместимый с OpenAI API интерфейс. Установка: 2 минуты. После - `ollama run llama3.1:8b`, и модель отвечает локально.

Ключевое: **Ollama автоматически стартует HTTP-сервер** на порту 11434 с OpenAI-совместимым API. Любой код для OpenAI работает с Ollama - нужно только поменять `baseURL`. Ноль миграции, ноль нового SDK.

Для production - абстракция над провайдерами. Один `LLM_PROVIDER=openai` в `.env` меняет всё. Это не только удобство - это защита от vendor lock-in:

**Ollama на macOS Apple Silicon** использует Metal API для GPU acceleration. Llama 3.1 8B на MacBook Pro M3 Pro: ~40-60 tok/s - достаточно для realtime чата. На CPU: ~5-10 tok/s. Для dev/testing - идеально. Для production с нагрузкой нужен vLLM или llama.cpp server на выделенном GPU.

Decision framework: open-source vs closed models

Выбор между open-source и closed (GPT-4o, Claude) - архитектурное решение на годы. Оно влияет на стоимость, latency, privacy, vendor lock-in. И у него нет универсально правильного ответа - только правильный для конкретного контекста.

**Гибридный подход** - часто оптимальная стратегия. 80% запросов простые: классификация, короткие ответы, routing. Туда идёт local Llama 8B через Ollama. 5% сложных задач - reasoning, code generation - идут в GPT-4o.

**Together AI, Fireworks, Groq** - облачные провайдеры open-source моделей. Не нужно управлять GPU - платишь за токены, но дешевле OpenAI. Llama 3.1 70B через Together: USD 0.88/M tokens vs GPT-4o: USD 2.50/M. Промежуточный вариант между «всё локально» и «всё в OpenAI».

Open-source = хуже качеством, closed = лучше

Llama 3.1 405B и DeepSeek V3 вплотную к GPT-4o. На специализированных задачах fine-tuned open-source обгоняет

В 2023 году разрыв был реальным - 20-30 Elo на Arena. В 2026 разрыв менее 50 Elo - в пределах шума. На доменных задачах (юридические документы, медицинские записи, конкретный язык) fine-tuned Llama 8B регулярно обходит GPT-4o - специализация побеждает универсальность.

Self-hosting всегда дешевле API

При <1K req/day API дешевле. GPU окупается только при высоком трафике или data sovereignty

GPU сервер стоит USD 500-2000/мес - fixed cost независимо от трафика. При 100 запросах в день GPT-4o-mini обойдётся в USD 2-5/мес. Break-even наступает при ~50K req/day для среднего запроса. Всегда считать: monthly_gpu_cost / (daily_requests * 30) vs token_cost_per_request.

Итоги

• Open-source LLM в 2026 - production-ready: Llama 3.1 405B, DeepSeek V3, Qwen 2.5 72B конкурируют с GPT-4o на Chatbot Arena
• MoE (Mixtral, DeepSeek) - quality большой модели при скорости малой: router активирует 2-4 из N экспертов
• Бенчмарки - фильтр первого уровня. Финальный eval - 50-100 примеров из production задачи
• Apache 2.0 / MIT (Mistral, Qwen, Phi) - максимальная свобода. Llama License - permissive, но с 700M MAU ограничением
• Ollama: одна команда, OpenAI-compatible API - код менять не нужно, только baseURL и model name
• Self-hosting окупается при >50K req/day или data sovereignty. При низком трафике - API дешевле
• Гибридный routing: 80% → local Llama 8B, 5% → GPT-4o - экономия 80-90% при сохранении качества

Вопросы для размышления

• В каком сценарии fine-tuned Llama 8B обгонит GPT-4o? Что нужно чтобы это проверить?
• Проект: 10K req/day, данные клиентов под GDPR, команда из 3 backend-разработчиков. Open-source или API? Почему?
• Mixtral 8x7B активирует 2 из 8 экспертов на каждый токен. Как router «знает» каких экспертов выбрать? Что происходит если задача требует знаний из нескольких доменов?

Что дальше

Open-source модели открывают возможности: distillation, local deployment, кастомный serving.

• Model Distillation — GPT-4o генерирует training data → fine-tune open-source → 90% quality при 1% cost
• Local LLM — Детали запуска: quantization GGUF, GPU requirements, production serving через vLLM и llama.cpp
• Fine-tuning — LoRA/QLoRA для fine-tune open-source моделей на одной GPU

Связанные уроки

• aie-03-llm-fundamentals — Открытые модели на той же transformer-основе
• aie-39-local-models — Открытые веса делают локальный inference возможным
• aie-36-fine-tuning — Открытые веса разблокируют полный fine-tuning
• aie-38-distillation — Дистиллируем большие открытые модели в маленькие
• ml-31-transformers — Та же архитектура под разными лицензиями
• ml-01