Строим AI SaaS: биллинг, rate limiting, multi-tenancy, API design

Цели урока

• Спроектировать multi-tenant архитектуру AI бекенда с изоляцией данных
• Реализовать usage-based billing с token metering и Stripe интеграцией
• Создать публичный AI API с versioning, rate limiting и OpenAI-compatible форматом
• Настроить multi-tenancy: prompt templates, RAG per tenant, data isolation
• Выбрать pricing-модель для AI SaaS: freemium, credits, pay-as-you-go

Парадокс AI-бизнеса: чем больше пользователей - тем быстрее кончаются деньги. Стартап с 10 000 бесплатных пользователей на GPT-4o сжигает 100 тысяч долларов в месяц - даже не имея ни одного платящего клиента. OpenAI зарабатывает 5 миллиардов долларов в год не потому, что лучше пишет код, а потому что правильно построила экономику. Этот урок о том, как архитектура биллинга становится конкурентным преимуществом.

• OpenAI: pay-as-you-go API принёс 5 млрд долларов ARR - модель, где каждый токен монетизирован, исключает крест-субсидию между пользователями
• Jasper: отказ от безлимитных подписок в пользу credit-системы срезал LLM-расходы на 40% без потери конверсии
• GitHub Copilot: seat-based 10 долларов в месяц + Microsoft субсидирует первый год - классический захват рынка через временный убыток с понятным exit
• Pinecone: usage-based billing по queries + storage дал 100 млн долларов ARR на чистой инфраструктуре без единой собственной ML-модели

Бум GPT-wrapper SaaS

1 марта 2023 года OpenAI открыла ChatGPT API (gpt-3.5-turbo) для всех разработчиков, причём примерно в десять раз дешевле прежнего. За считанные месяцы появились тысячи продуктов-«обёрток»: тонкий интерфейс и промпт поверх чужой модели. Многие запускались быстро и так же быстро закрывались, потому что игнорировали главное в экономике AI SaaS - каждый запрос несёт реальную стоимость за токены. Выжили те, кто с первого дня строил учёт потребления, rate limiting и тарифные планы. Именно этот болезненный урок и породил данную дисциплину.

Предварительные знания

• Cost Management: Counting Tokens, Optimizing Prompts, Choosing Models by Budget
• AI System Design: production AI application architecture from zero to scale

Multi-tenant AI бекенд: архитектура и изоляция

AI SaaS разрушает одну из базовых аксиом SaaS-бизнеса: **inference cost растёт линейно вместе с usage**. Обычный SaaS обрабатывает 1000 запросов почти за ту же цену, что и один. В AI SaaS каждый запрос - вызов LLM за 0.01-0.10 доллара: именно поэтому Replicate, AWS Bedrock и Anthropic не предлагают безлимитных планов. Архитектура должна встраивать cost-awareness с первого дня - иначе придётся переписывать биллинг под нагрузкой.

• **Shared database, tenant column** - самый простой: одна БД, каждая строка содержит tenantId. Подходит для старта
• **Schema per tenant** - отдельная PostgreSQL-схема для каждого клиента. Лучшая изоляция без overhead отдельных БД
• **Database per tenant** - отдельная БД. Максимальная изоляция для enterprise-клиентов, но дорого в обслуживании
• **Hybrid** - free/starter на shared, enterprise на отдельной БД. Самый практичный подход для AI SaaS

**Критически важно:** prompt injection от одного tenant не должен влиять на данные другого. Каждый вызов LLM - в изолированном контексте, с tenant-specific system prompt. Никогда не передавать данные tenant A в контекст запроса tenant B.

Usage-based billing: token metering и Stripe integration

«29 долларов в месяц - безлимит» - формула банкротства для AI SaaS. Один корпоративный пользователь с автоматизированными пайплайнами может потребить 500 долларов в месяц в токенах, заплатив при этом 29. **Usage-based billing** - стандарт, который выбрали все: OpenAI берёт за каждый токен, Anthropic берёт за каждый токен, Pinecone берёт за каждый query и гигабайт хранилища. Ни один из них не предлагает безлимит - и это не случайность.

**Dual-write pattern:** записывать usage и в Redis (для real-time лимитов), и в PostgreSQL (для billing). Redis может потерять данные - PostgreSQL является source of truth. Cron-задача сверяет расхождения ежечасно.

Public AI API: versioning, rate limits, SDK design

Публичный AI API - это долгосрочный контракт с разработчиками-клиентами: сломать его значит сломать production-системы сотен команд. OpenAI, Anthropic, Cohere осознанно следуют схожим паттернам - versioned endpoints, предсказуемые error codes, rate limit headers. Качество API design измеряется не функциональностью, а тем, сколько строк кода нужно написать клиенту для первого рабочего запроса.

**OpenAI-compatible API** - сильный паттерн. Если публичный API следует формату OpenAI (те же поля, те же endpoints), клиенты могут подключиться заменив только `baseURL` в OpenAI SDK. Не нужно писать отдельный SDK - это снижает барьер входа в разы.

Data isolation, model customization, prompt templates per tenant

Каждый корпоративный клиент хочет «свою» модель - с фирменным тоном, знанием внутренней документации и жёсткими guardrails. Модель при этом одна (GPT-4o или claude-sonnet), и fine-tuning под каждого клиента экономически несостоятелен: 100+ долларов на обучение, отдельный hosting, ручное обновление при выходе новой базовой модели. **Prompt templates + RAG per tenant** решает это аккуратно: system prompt задаёт личность и ограничения, Pinecone или Qdrant с фильтром по tenantId добавляет знания из документов клиента - одна модель становится тысячами кастомных ассистентов.

**Data leak между tenant-ами** - самый опасный баг в multi-tenant AI. Если в vector store нет фильтра по tenantId, документы компании A могут попасть в контекст запроса компании B. Всегда проверять наличие tenant filter в каждом запросе к vector store.

Go-to-market: pricing, freemium, API marketplace

AI SaaS pricing - это постоянное натяжение между **привлечением** (низкий барьер входа) и **юнит-экономикой** (каждый запрос стоит денег). В обычном SaaS бесплатный пользователь почти ничего не стоит - сервер уже оплачен. В AI SaaS 1000 бесплатных пользователей с 100 запросами каждый к GPT-4o-mini - это уже 150 долларов в месяц из кармана компании. Правильная pricing-стратегия закладывается в архитектуру: модели, лимиты и feature gates становятся инструментами unit economics, а не просто маркетинговыми ограничениями.

• **Документация**: интерактивный API playground (Swagger/Redoc) + quick start guide за 5 минут
• **SDK**: хотя бы TypeScript и Python SDK. OpenAI-compatible API = SDK бесплатно
• **Dashboard**: real-time usage, billing history, API key management
• **Rate limit headers**: x-ratelimit-remaining, retry-after - клиенты должны видеть лимиты
• **Webhook events**: usage.threshold, payment.failed, key.rotated - интеграция в workflow клиента
• **SLA и Status page**: uptime гарантии и прозрачность при инцидентах
• **Marketplace listing**: RapidAPI, AWS Marketplace, Azure Marketplace - дополнительные каналы

**Правило 100 долларов.** Если бесплатный tier стоит больше 100 долларов в месяц в LLM-токенах на 1000 пользователей - модель неустойчива. Ограничение: дешёвая модель (gpt-4o-mini) + лимит 100 запросов/мес + только базовые фичи.

Итоги

• Считать marginal cost с первого запроса: 0.01-0.10 доллара за LLM-вызов делает безлимит смертным приговором для юнит-экономики
• Dual-write в Redis + PostgreSQL: Redis держит real-time лимиты, PostgreSQL - source of truth для billing и аудита
• Stripe metered billing через usage records - отправлять агрегат раз в сутки, не per-request, иначе API Stripe захлебнётся
• OpenAI-compatible API снижает барьер до нуля: клиент меняет одну строку baseURL и работает через привычный SDK
• Prompt templates + RAG per tenant - одна модель, тысячи «кастомных» ассистентов без дорогого fine-tuning
• Free tier: только дешёвая модель (gpt-4o-mini), твёрдый лимит запросов, базовые фичи - иначе стоимость на 1000 пользователей выходит за 100 долларов в месяц

Что дальше

AI SaaS работает в облаке - каждый запрос идёт через сервер. Но что если перенести inference на устройство пользователя? Меньше latency, нет серверных расходов, полная приватность.

• Edge AI — AI в браузере и на мобилках - альтернатива серверному inference
• AI Ethics и Legal — Юридическая сторона AI SaaS - EU AI Act, copyright, liability

Связанные уроки

• aie-29-cost-management — Биллинг по использованию зависит от учёта стоимости токенов
• aie-42-ai-system-design — Multi-tenant бэкенд требует прочной AI-архитектуры
• aie-30-rate-limiting-ai — Публичный API требует rate limits на тенанта
• sd-30-payments — Учёт токенов повторяет системы платежей по счётчику
• net-64-api-gateway — API gateway применяет ключи, версии и квоты
• sd-03-scalability