Локальный inference
Собран контур запуска LLM разных классов на локальном оборудовании без обязательной связи с облачными провайдерами.
Offline AI · Air-gap · Knowledge Systems
BunkerAI — автономный офлайн-интеллект
Автономный AI-контур для объектов и сценариев, где интернет недоступен, нежелателен или запрещён: локальные модели, собственная база знаний, RAG и голосовой интерфейс работают на инфраструктуре пользователя.
Задача
Сохранить интеллект и знания внутри защищённого периметра
Облачные AI-сервисы зависят от сети и выводят запросы за пределы организации. Для изолированных объектов, критической инфраструктуры и экспедиций нужен самостоятельный контур, который продолжает работать без внешних API и хранит данные локально.
База знаний и RAG
Wikipedia и частные документы индексируются локально и используются для ответов с опорой на доступные источники.
Голосовой интерфейс
Offline-распознавание Whisper и синтез речи Kokoro создают hands-free сценарий работы.
Изоляция и интеграции
Архитектура рассчитана на air-gap, локальные хранилища и подключение внутренних сервисов без передачи данных наружу.
Эксплуатация
Контейнеризация, телеметрия и Grafana-мониторинг помогают контролировать модели, ресурсы и фоновые AI-процессы.
Интерфейс и материалы
Проект в деталях
Реальные экраны и сохранённые материалы проекта.
Технологии и компетенции
- Python
- FastAPI
- Llama.cpp
- Whisper
- Kokoro TTS
- PostgreSQL
- pgvector
- RAG
- Docker
- Grafana
Результат
Рабочий автономный AI-стек без обязательной облачной зависимости
Локальные модели
Основные AI-функции выполняются на оборудовании пользователя и не требуют внешнего inference API.
Собственное знание
RAG-контур объединяет энциклопедическую базу и частные документы внутри защищённой среды.
Наблюдаемость
Состояние узла и продуктовых процессов контролируется через отдельную панель мониторинга.
Следующие кейсы
Продолжить просмотр
Нужен похожий проект?
Разберём задачу, покажем релевантный подход и предложим первый измеримый этап.