LiteLLM

**Open-source библиотека и прокси-сервер**, предоставляющие унифицированный интерфейс для взаимодействия с более чем 100+ LLM (OpenAI, Anthropic, Bedrock, VertexAI и др.) через единый формат API. Она стандартизирует запросы, позволяя переключаться между моделями без изменения кода, и помогает управлять затратами, кэшированием и нагрузкой. **Основные возможности и преимущества LiteLLM**: * **Унифицированный API**: Работает со всеми провайдерами через структуру, совместимую с OpenAI (один код для всех моделей). * **Гибкость**: Поддержка LLM от OpenAI, Anthropic, Azure, Amazon Bedrock, Google VertexAI, HuggingFace и локальных моделей. * **Прокси-сервер**: Позволяет развернуть централизованный шлюз для управления ключами API, аутентификацией и лимитами пользователей. * **Оптимизация расходов и надежность**: Поддержка резервного копирования (fallback) при сбоях и балансировка нагрузки между моделями. * **Трассировка и логирование**: Интеграция с инструментами, такими как MLflow, для мониторинга затрат и использования токенов. LiteLLM идеально подходит для разработчиков, которым нужно быстро интегрировать несколько различных языковых моделей или создать отказоустойчивый LLM-сервис.