Сбор
Проверенные RSS- и Atom-ленты регулярно поступают в очередь кандидатов.
AI · Media · Automation
AI News Feed
Русскоязычная медиаплатформа, которая собирает новости об искусственном интеллекте, сохраняет контекст источников и превращает поток анонсов в компактную редакционную ленту.
Задача
Сделать AI-повестку обозримой
Новости о моделях, агентах, инфраструктуре, исследованиях и регулировании распределены по десяткам источников. Нужен был единый русскоязычный слой без потери происхождения фактов.
Архитектура
Публичный FastAPI-сервис и планировщик-агрегатор работают раздельно. Это изолирует сбор источников от публикации и позволяет независимо обновлять каждый контур.
Редакционная дисциплина
Каждый кандидат обрабатывается отдельным LLM-вызовом. Ошибка одной новости не влияет на соседние и не смешивает их факты.
Что реализовано
- RSS/Atom-сборщик и контролируемый реестр источников;
- нормализация canonical URL и дедупликация по story key;
- короткие русскоязычные новости, теги и факты;
- публичный JSON API и RSS;
- authenticated ingest API;
- Docker, CI/CD, health checks и Prometheus-метрики.
Система
От источника до публикации
Нормализация
URL, источник, время, тема и дубли приводятся к единой модели.
LLM-редактура
Модель готовит краткую заметку, факты и теги для одного материала.
Доставка
Портал публикует страницу, API-запись и элемент RSS-ленты.
Интерфейс
Коротко, но не безлико
Публичная часть ориентирована на быстрое чтение: факты и контекст видны сразу, а первоисточник остаётся доступным. Stable URL и метаданные позволяют распространять и индексировать каждую новость отдельно.
Технологии
Python, FastAPI, SQLite, feedparser, httpx, Pydantic, LLM pipeline, Docker, GHCR, Traefik, Prometheus.
Результат
Из потока ссылок — в работающий media intelligence layer
Единая картина
Официальные, исследовательские, продуктовые и медийные сигналы собраны в одном месте.
Контроль качества
Изолированная обработка и диагностика делают автоматизацию наблюдаемой.
Дистрибуция
Публичные страницы, RSS и API обслуживают людей и downstream-инструменты.
Нужна собственная отраслевая лента?
Настроим источники, редакционный pipeline, публичную платформу и эксплуатационный контур.