Сделать персистентный механизм #38
Description
Очередь принимает envelope. Исходя из того какой провайдер записывает в соотвествующий источник перед отправкой в очередь в памяти. конверту присваиваться ID, который дальше становится основным объектом очереди в памяти. Дальше процессинг этого конверта будет через хранилище. При это жизненный цикл конверта будет доступен для пользователя.
Пока не нужно делать асинхронную запись и чтение для оптимизации. Первый шаг - это последовательная обработка и сохранение на диск в кажом воркере.
Нужно определить интерфейс провайдера и дать возможность его определять пользователям. Определить основные БД как провайдеры. Спроектироать метрики для этого механизма. Подумать о UI для локального мониторинга и отладки по необходимости, через браузер.
Можно сделать:
- файловый провайдер в ОС и\или
- провайдер SqlLite
- провайдер BadgerDB, boldDB
- Postgres
- Redis
- Mysql