Используете ChatGPT API, Claude или другие AI модели? ЭХО запоминает ответы и отдаёт их мгновенно при повторных запросах.Open Source • Self-hosted
Решаем важнейшие проблемы AI
GPT-5.4 стоит $2.50-$15 за миллион токенов. Одинаковые вопросы — платите каждый раз заново.
AI API отвечает 3-10 секунд. Пользователи ждут. Каждый раз. Даже если вопрос уже был.
50-70% запросов одинаковые. Вы платите и ждёте за то, что уже было.
ЭХО — прокси между вашим приложением и AI API. Запоминает ответы и отдаёт мгновенно.
Приложение отправляет запрос. ЭХО проверяет кеш.
Нашли похожий? Отдаём из кеша за миллисекунды.
Новый запрос? Идём к AI, получаем и сохраняем.
Цифры из реальных проектов
Три простых шага до запуска
wget https://raw.githubusercontent.com/warcorprp-web/echo-trovu.tech/main/docker-compose.yml
Один файл конфигурации Docker Compose
Всё открыто — изучайтеdocker compose up
После появления адресов нажмите D (detach)
http://ваш-ip:8000
Следуйте мастеру настройки в браузере
Что внутри и как это работает
Современный Python фреймворк для API с автоматической документацией
In-memory база данных для хранения кеша с LRU eviction
Векторная база от Meta* для семантического поиска (IndexIDMap)
Модель all-MiniLM-L6-v2 для генерации эмбеддингов
Полная поддержка SSE для потоковой передачи ответов
Поддержка tools и function calling из коробки
Автоматический пропуск креативных запросов (>1.0)
Защита паролем, сессии, хеширование bcrypt
Работает с любым OpenAI-совместимым API
Полная совместимость
Бета совместимость
Бета совместимость
Полная совместимость
Нужна прослойка
OpenRouter, Together AI, Groq, Ollama, LM Studio, vLLM
Примеры использования и настройка кеширования
Используйте OpenAI SDK, просто измените base_url
client = OpenAI( base_url="http://localhost:8000/v1" )
Прямые HTTP запросы к API
curl -X POST \ http://localhost:8000/v1/chat/completions
SSE поддержка из коробки
stream = client.chat.completions.create( stream=True )
Кешируется. Для фактов, кода, документации
"temperature": 0.7
НЕ кешируется. Для креативных задач
"temperature": 1.5
Рекомендуемый порог семантического поиска
Настраивается в веб-панели