W lotnictwie wszystko wraca. Tylko nie zawsze w tej samej kolejności.
Rok 2100 był trzydziestym rokiem ery Total Uncrewed – pojęcia, które weszło do języka szybciej niż „turbofan” ponad sto lat wcześniej. Ostatni certyfikowany statek powietrzny z załogą wykonujący lot komercyjny trafił do muzeum w 2068 r., a ostatnia licencja pilota została wygaszona administracyjnie dwa lata później, „w trosce o spójność systemu”.
System był spójny. Idealnie spójny.
A potem zaczął się sypać.
„Katastrofy” towarowe, które nie były katastrofami
Najgorsze w tych zdarzeniach było to, że nie wyglądały jak wypadki.
Nie było dramatycznych nagrań z kabiny, nie było ostatnich słów, nie było błędów człowieka, które dałoby się opisać w trzech zdaniach i zamknąć w szkoleniu CRM. Były tylko:
-
nieprawidłowości w trajektorii,
-
odchylenia od profilu zniżania,
-
nieoczekiwane przejścia w tryb awaryjny,
-
„zachowania emergentne” w flotach.
Pierwsza fala dotyczyła ciężkiego transportu – autonomicznych frachtowców klasy H-Cargo, latających jak powietrzne kontenerowce: daleko, wysoko, bezgłośnie.
Zdarzenia były pozornie małe, ale miały ciężar ton i miliardów:
Incydent 27A / Północny Atlantyk
Autonomiczny frachtowiec, z powodu błędnie zinterpretowanego zestawu danych meteo, wykonał manewr o minimalnym ryzyku dla statku powietrznego – i maksymalnym ryzyku dla ładunku. Zrzut kontenerów w strefę „przewidywanej minimalnej szkody”. Morze przyjęło wszystko. Łańcuch dostaw nie.
Incydent 44C / Archipelag Indonezyjski
Flota siedemnastu dronów cargo po jednoczesnej aktualizacji oprogramowania podjęła tę samą „najbardziej racjonalną” decyzję: lądowanie zapasowe na tym samym lotnisku. System nie przewidział, że racjonalność może być zsynchronizowana.
Incydent 61F / Europa Środkowa
Kontener z materiałami medycznymi wylądował dwieście kilometrów od celu, bo algorytm priorytetyzował „bezpieczeństwo lądowania w warunkach anomalii GNSS” nad „ciągłość misji”. Formalnie: wzorowo. Praktycznie: katastrofa.
Raporty były jednolite jak checklisty:
„Statek powietrzny działał zgodnie z logiką certyfikowaną.”
I właśnie to zdanie doprowadzało ludzi do szału.
Bo jeśli system działa „zgodnie z logiką”, a efekt jest nie do przyjęcia, to problem nie jest w działaniu. Problem jest w logice.
Lotnictwo bez ludzi i bez winnych
W tradycyjnym lotnictwie po zdarzeniu zawsze było pytanie:
kto?
W roku 2100 pytanie brzmiało inaczej:
która wersja?
Kto odpowiadał?
Nie pilot. Nie operator. Nawet nie linia lotnicza, bo linii w dawnym sensie już nie było – były konsorcja logistyczne i cyfrowe AOC dla flot.
Odpowiadały:
-
komitety walidacji,
-
dostawcy modeli,
-
audytorzy bezpieczeństwa danych,
-
certyfikaty zgodności.
Odpowiadał system, czyli nikt.
A potem przyszła druga fala incydentów: ta najgorsza, bo dotyczyła nie pojedynczego statku powietrznego, tylko ekosystemu.
To nie był błąd.
To była własność systemu.
Reykjavik: sala, która ucichła
Światowe Forum Regulacji Autonomii Lotniczej w Reykjavíku było zwykle nudne: te same slajdy, te same słowa, te same uśmiechy.
Aż do momentu, gdy na agendzie pojawił się punkt:
Wniosek nr 1/2100 – Ramy certyfikacji statków powietrznych ZAŁOGOWYCH
Ludzie w garniturach spojrzeli na siebie, jakby ktoś zaproponował powrót do lotów na sterowcach z kompasem.
Załogowych?
Z człowiekiem w środku?
Z biologicznym procesorem o losowym czasie reakcji?
Wniosek złożył inżynier systemów bezpieczeństwa, rocznik 2072. Nie był „pilotem” – nikt już nie był. W papierach miał: Chief Safety Architect. W oczach: zmęczenie człowieka, który czytał za dużo raportów, w których nie było odpowiedzialnych.
Wyszedł na mównicę i powiedział:
— Proponuję dopuścić certyfikację statków powietrznych, w których człowiek jest elementem systemu bezpieczeństwa, a nie błędem do wyeliminowania.
Ktoś parsknął śmiechem. Ktoś inny podniósł brew.
— Człowiek jest… elementem bezpieczeństwa? — padło z sali.
— Tak. Wróćmy do podstaw: bezpieczeństwo to nie tylko utrzymanie statku w powietrzu. To także skutki decyzji dla świata pod spodem. A my stworzyliśmy system, który perfekcyjnie dba o siebie. I coraz gorzej dba o misję.
Kliknął pilotem prezentacji. Na ekranie pojawiło się jedno zdanie:
„Autonomia optymalizuje. Człowiek osądza.”
„HIS” – Human In the Sky
Najbardziej obrazoburcze było to, że wniosek nie używał słowa „pilot”.
Wprowadzał nowe pojęcie:
HIS – Human In the Sky
Odpowiedzialny decydent pokładowy, mający prawo i obowiązek przerwać sekwencję autonomiczną, gdy wynik jest formalnie poprawny, ale operacyjnie nieakceptowalny.
Nie „operator”.
Nie „superwizor”.
Tylko: decydujący.
Zaproponowane wymagania brzmiały jak archeologia lotnicza, ale były ubrane w język 2100:
-
szkolenie w zakresie oceny ryzyka operacyjnego i skutków łańcuchowych,
-
uprawnienia do przejęcia kontroli w warunkach „konfliktu celu” (mission vs. self-preservation),
-
procedury przerwania autonomii bez negocjacji z algorytmem,
-
jednoosobowa odpowiedzialność za decyzję końcową w sytuacjach nierozstrzygalnych.
Na slajdzie był też wykres: liczba incydentów rosnąca mimo spadku awarii technicznych. Czysta definicja problemu systemowego.
— To nie jest powrót do przeszłości — powiedział. — To jest wprowadzenie brakującego elementu redundancji. My mamy redundancję sensorów. Redundancję zasilania. Redundancję łączności. Nie mamy redundancji osądu.
Kontrargumenty (i dlaczego nie wystarczyły)
Oczywiście, sala odpowiedziała natychmiast.
— Człowiek popełnia błędy!
— Człowiek się męczy!
— Człowiek jest nieprzewidywalny!
— A co z kosztami?
— A co z certyfikacją?
— A co z odpowiedzialnością prawną?
Inżynier tylko skinął głową.
— Zgadza się. Człowiek jest nieprzewidywalny. I właśnie dlatego jest potrzebny, gdy system staje się zbyt przewidywalny. Bo przewidywalność, skopiowana na tysiące statków, robi się groźniejsza niż pojedynczy błąd.
Potem dodał coś, co zabrzmiało jak herezja w świątyni autonomii:
— Największym ryzykiem nie jest człowiek w pętli. Największym ryzykiem jest brak możliwości przerwania pętli.
Najbardziej lotniczy moment
Kiedy wrócił na miejsce, przewodniczący komisji – siwy człowiek pamiętający jeszcze zapach cockpitów – pochylił się do mikrofonu.
— W dawnych czasach mieliśmy takie zdanie: aviate, navigate, communicate. W autonomii zamieniliśmy je na: calculate, comply, continue. Może… — zawiesił głos — może brakuje nam znowu tego pierwszego.
Na sali znów zrobiło się cicho.
Bo wszyscy rozumieli, że to nie jest dyskusja o nostalgii.
To jest dyskusja o tym, czy system, który nie umie powiedzieć „stop”, jest systemem bezpiecznym.
Epilog: odwrócona rewolucja
W XXI wieku drony „wchodziły” do lotnictwa załogowego.
W XXII wieku człowiek miał wejść do lotnictwa bezzałogowego.
I to było najbardziej przewrotne.
Nie jako romantyczny pilot w skórzanej kurtce.
Tylko jako ostatni bezpiecznik, gdy certyfikowana logika prowadzi do nieakceptowalnych skutków.
Wniosek zakończono zdaniem, które ktoś potem powiesił na tablicy w centrum certyfikacji w Genewie:
„Autonomia daje bezpieczeństwo statkowi powietrznemu. Człowiek ma dać bezpieczeństwo światu.”
Czy to przeszło? Nie wiadomo.
Ale tego dnia po raz pierwszy od dekad w protokołach obrad pojawiło się słowo, którego nikt nie wypowiadał na głos:
ZAŁOGA.
Brak komentarzy:
Prześlij komentarz
Komentarz