Петабайтное архивирование

Инфраструктура архивирования петабайтного масштаба Техническая архитектура управления архивом Documenos

1. Масштабируемая инфраструктура:

• Разработка на базе ASP.NET Core
• Совместимость с СУБД PostgreSQL (v15 и новее)
• Архитектура, поддерживающая горизонтальное и вертикальное масштабирование
• Поддержка кластеров
• Бесперебойный доступ за балансировщиком нагрузки
• Каждый сервер может подключаться к одной и той же базе данных.
• Мощность можно наращивать горизонтально, увеличивая количество серверов.

2. Многоуровневое архивирование и поток данных
С помощью фоновых служб:

• Автоматическая загрузка из файловой системы в архив
• Загрузка данных с FTP в архив
• Перенос между уровнями архива
• Массовое извлечение данных
• Физическая очистка удалённых данных
• Службами можно управлять на уровне каждого сервера.

3. Службы обработки контента
Для архивного контента:

• Обработка изображений (миниатюры, изменение размера, извлечение EXIF/IPTC)
• Индексация текста PDF
• Задачи OCR
• Преобразование речи в текст в видеофайлах (более 100 языков)
• Преобразование речи в текст в аудиофайлах (более 100 языков)
• Полученные тексты сохраняются в поисковых индексах.

4. Модель данных и ёмкость метаданных
Поддержка 1,4 млрд таблиц в динамических наборах данных
Для каждой таблицы в динамических наборах данных:

• Рекомендуемое использование: 250 полей
• Технический предел: 1600 полей
• Ёмкость хранения ~4,2 млрд строк данных

Наборы данных:

• Видимость на основе прав доступа
• Загрузка / выгрузка Excel
• Автоматическое обновление данных по триггерам событий

5. Безопасность и контроль доступа

• Интеграция с LDAP
• Встроенная система паролей
• Многофакторная аутентификация (OTP, электронная почта, SMS)
• Ограничения доступа по IP-адресу
• Авторизация на основе групп
• Заявление об отсутствии в программном обеспечении каких-либо бэкдоров