Operator bloku energetycznego przekonał się na własnej skórze, jak drobna, pozornie niewidoczna usterka potrafi wywrócić wszystko do góry nogami. Tam awaria nie zostaje tylko wewnątrz zakładu, ale odbija się echem w całej okolicy.
Zgłoszenie brzmiało: system redundancji nie przełączył się tak, jak powinien. Konieczne było znalezienie przyczyny źródłowej problemu. Nie można było zgadywać, wiec sięgnęliśmy po dane. Dzięki archiwizacji danych w systemie SCADA mogliśmy dokładnie przeanalizować zapisy z okresu poprzedzającego zdarzenie. Rejestry pokazały, że w normalnych warunkach przełączanie silników aplikacyjnych przebiegało prawidłowo.
Problem ujawnił się dopiero po głębszej analizie logów. Przez kilka dni przed zdarzeniem jeden z serwerów pary redundantnej sygnalizował kłopoty – niewystarczające zasoby do działania. Scheduler, który miał pilnować przełączeń, przestał dostawać wiarygodne dane. A potem ktoś z zespołu UR – chcąc naprawić sytuację – zrestartował serwer, który… akurat był zdrowy. Drugi, ten z problemami, nie był w stanie przejąć sterowania. Klasyczny przypadek „winny był błąd, ale nie ten, o którym myśleliśmy”.
Gdyby nie archiwum SCADA, do dziś krążylibyśmy wokół domysłów. Dzięki zapisom zobaczyliśmy nie tylko co się stało, ale i dlaczego.