Платформа данных и ночной конвейер автоматизации
Одна база для всей системы, расписание, описанное в коде, и ночь, после которой к 7:00 всё скопировано, проверено и собрано в одну сводку.
Схемы нарисованы по расписанию и отчёту, без адресов и внутренних имён.
Задача
Десятки скриптов писали данные в файлы и отдельные базы, задания запускались вразброс в течение дня, а отчёты приходили до полудня. Резервные копии были, но никто не проверял, восстанавливаются ли они.
Решение
Общая база с отдельным доступом для каждой службы и изменениями схемы в репозитории. Расписание описано в коде и сверяется с сервером, чтобы заметить ручные правки. Роутер, виртуализация и ОС сервера тоже в коде (Terraform, Ansible) и каждую ночь сверяются с тем, что работает. У ночи постоянный порядок: копии, проба восстановления, окно обслуживания с проверкой после каждого шага, обзор кода, отчёты и одна сводка утром. Копии уходят в три места.
Результат
- Каждую ночь проба восстановления случайных файлов и базы, вся копия проверяется за неделю
- В воскресенье полные учения восстановления в изоляции
- Копии в трёх местах, архив базы с точкой во времени
- Обслуживание ночью без ручного подтверждения, первая ошибка останавливает остальное
- В воскресенье контейнер задач собирается с нуля из кода в изоляции, первый раз за 5 минут
Моя роль
Архитектура, схема базы и миграции, расписание, копии и их проверка.