Петабайтное архивирование

Инфраструктура архивирования петабайтного масштаба Техническая архитектура управления архивами Documenos

1. Масштабируемая инфраструктура:

• Разработка на основе ASP.NET Core
• Совместимость с базой данных PostgreSQL (версия 15 и выше)
• Архитектура, подходящая для горизонтального и вертикального расширения
• Поддержка кластеров
• Бесперебойный доступ через балансировщик нагрузки
• Каждый сервер может подключаться к одной и той же базе данных.
• Горизонтальная пропускная способность может быть расширена за счет увеличения количества серверов.

2. Многоуровневое архивирование и поток данных
С фоновыми службами:

• Автоматическая загрузка из файловой системы в архив
• Загрузка данных в архив с FTP
• Передача между слоями архива
• Пакетные операции извлечения
• Физическая очистка удаленных данных
• Управление услугами на уровне сервера.

3. Услуги обработки контента
Для архивированного контента:

• Обработка изображений (миниатюры, изменение размера, извлечение EXIF/IPTC)
• Индексирование текста в PDF
• Задачи OCR
• Преобразование речи в текст в видеофайлах (60 языков)
• Преобразование речи в текст в аудиофайлах (60 языков)
• Сгенерированные тексты сохраняются для поиска индексы.

4. Модель данных и емкость метаданных
Поддержка 1,4 миллиарда таблиц в динамических наборах данных
Для каждой таблицы в динамических наборах данных:

• Рекомендуемое использование: 250 полей
• Технический верхний предел: 1600 полей
• Емкость хранилища данных: ~4,2 миллиарда строк

Наборы данных:

• Видимость на основе авторизации
• Загрузка/скачивание Excel
• Автоматическое обновление данных с помощью триггера событий

5. Безопасность и контроль доступа

• Интеграция с LDAP
• Встроенная система паролей
• Многофакторная аутентификация (OTP, электронная почта, SMS)
• Ограничения доступа на основе IP-адреса
• Авторизация на основе групп
• Заявление об отсутствии бэкдоров в программном обеспечении