Platforma danych i nocny potok automatyzacji
Jedna baza dla całego systemu, harmonogram opisany w kodzie i noc, po której o 7:00 wszystko jest skopiowane, sprawdzone i zebrane w jednym podsumowaniu.
Schematy narysowane na podstawie harmonogramu i raportu, bez adresów i nazw wewnętrznych.
Zadanie
Kilkadziesiąt skryptów zapisywało dane w plikach i osobnych bazach, zadania uruchamiały się rozproszone przez cały dzień, a raporty spływały do południa. Kopie zapasowe istniały, ale nikt nie sprawdzał, czy dają się odtworzyć.
Rozwiązanie
Wspólna baza z osobnym dostępem dla każdej usługi i zmianami schematu w repozytorium. Harmonogram opisany w kodzie i porównywany z serwerem, żeby wykryć ręczne zmiany. Router, wirtualizacja i system operacyjny serwera też są w kodzie (Terraform, Ansible) i co noc porównywane z tym, co działa. Noc ma stały porządek: kopie, próba odtworzenia, okno konserwacji z kontrolą po każdym kroku, przegląd kodu, raporty i jedno podsumowanie rano. Kopie trafiają w trzy miejsca.
Wynik
- Co noc próba odtworzenia losowych plików i bazy, cała kopia sprawdzona w ciągu tygodnia
- W niedzielę pełne ćwiczenie odtworzenia w izolacji
- Kopie w trzech miejscach, archiwum bazy z punktem w czasie
- Konserwacja w nocy bez ręcznego potwierdzania, pierwszy błąd zatrzymuje resztę
- W niedzielę kontener zadań budowany od zera z kodu w izolacji, pierwszy raz w 5 minut
Moja rola
Architektura, schemat bazy i migracje, harmonogram, kopie i ich weryfikacja.