LiteLLM

litellm.ai

LiteLLM

Категория: API

Официальный сайт: litellm.ai

Тип API: Open-source AI Gateway / LLM proxy

Base URL: self-hosted (Docker quickstart)

Документация: https://docs.litellm.ai

SDK: Python (`litellm`), OpenAI SDK совместим

Сайт: litellm.ai Тип: Open-source AI Gateway / LLM proxy Штаб-квартира: не найдено (Berrie AI Incorporated) Основан: не найдено Финансирование: не найдено Контакты: через calendly (schedule call with Founders), Discord, Slack

Цены

Модель оплаты: бесплатно (OSS, self-hosted) + Enterprise (annual, sized to usage)
Комиссия: 0 (self-hosted, pass-through к провайдерам)
Минимальный депозит: не применимо
Примеры цен:
Open Source: $0 (free forever, self-hosted, MIT license)
Enterprise: custom (annual, по gateway request capacity, не per-token)
30-day Enterprise trial бесплатно

Преимущества и недостатки

✅ Преимущества	❌ Недостатки
Open source (MIT), self-hosted, air-gapped deployment 100+ провайдеров, единый OpenAI API Virtual keys, users & teams, spend tracking, budgets, rate limits LLM fallbacks, request/response logging, Prometheus metrics Enterprise: SSO+SCIM, OIDC/JWT auth, audit logs, secret managers, RBAC, multi-region control plane	Платный доступ к полным функциям Требует изучения

★★★★☆ 4.5 8 отзывов

Зачем нужен API-агрегатор

Одна интеграция вместо десяти — подключаетесь один раз и получаете доступ к моделям разных поставщиков.
Быстрая смена модели — можно поменять модель в конфиге, не переписывая код.
Отказоустойчивость — при сбое одного поставщика запрос уходит к резервному.
Единый биллинг — один счёт и общая статистика вместо десятка личных кабинетов.

Как выбрать API-агрегатор

Каталог моделей. Убедитесь, что нужные вам модели доступны и обновляются вовремя.
Совместимость. OpenAI-совместимый формат позволяет подключиться без переписывания кода.
Цена. Сравните наценку к базовой стоимости токенов у поставщика.
Скорость. Посредник добавляет задержку — проверьте латентность на тестовых запросах.
Лимиты. Уточните rate limits и возможность их повысить под нагрузку.

Частые вопросы

Дороже ли это прямого доступа?

Обычно да — агрегатор берёт наценку. Экономия получается на скорости разработки и отсутствии отдельных договоров с каждым поставщиком.

Насколько это надёжно?

Крупные агрегаторы держат аптайм на уровне поставщиков и добавляют автоматическое переключение при сбоях.

Совместимо ли с OpenAI SDK?

Большинство агрегаторов поддерживает OpenAI-совместимый формат — достаточно поменять base_url и ключ.

Как считается оплата?

По токенам входа и выхода, как у поставщиков моделей, плюс наценка сервиса. Тарифы обычно есть в открытом виде.

Все нейросети в одной подписке. Вместо отдельной оплаты каждого сервиса можно подключить агрегатор STIVA.ai — 80+ моделей: текст, изображения, видео и аудио. Оплата картой МИР и через СБП, без VPN.