Per l’aereo caduto in Etiopia si fa un’ipotesi agghiacciante, e cioè che l’incidente sia stato causato da un software programmato per evitare che accadano incidenti. La possibilità è stata presa in considerazione perché un incidente dalle modalità del tutto simili si è verificato per un aereo, identico come fabbricante e come modello, caduto in Indonesia.
Un aeroplano di solito viaggia in orizzontale. Poi, quando deve atterrare, magari cento chilometri prima, comincia a perdere quota, tenendo l’aereo col muso verso il basso, come un’automobile che proceda in discesa. Quando invece decolla, tiene il muso verso l’alto, come abbiamo visto tutti in migliaia di filmati. L’aereo ha interesse a raggiungere al più presto una certa altezza, sia per evitare gli ostacoli a fine pista, sia perché prima arriva ad alta quota, prima comincerà a consumare meno carburante. Ma ecco il problema: fino a che punto l’aereo può cabrare, cioè impennarsi?
Un autobus che procede in salita può superare certe pendenze, ma oltre una certa inclinazione il motore non sarebbe più capace di fare andare avanti il veicolo e questo si fermerebbe. La stessa cosa avviene per un aereo. Se l’angolo verso l’alto è eccessivo, l’aeroplano non avrà più la forza di proseguire l’ascesa e si “fermerà”. Purtroppo la sua strada è l’aria, e giunto a questo momento, chiamato “stallo”, non sarebbe più governabile. Infatti i suoi impennaggi non fenderebbero abbastanza aria per rispondere ai comandi del pilota e l’aeroplano probabilmente cadrebbe a vite, come una foglia morta. E sarebbe la fine per tutti.
Ciò potrebbe verificarsi perché il pilota è inesperto, perché ha perso i sensi, perché vuole suicidarsi o per qualunque altra ragione e dunque, per la sicurezza dei passeggeri, il fabbricante sogna di rendere l’errore “impossibile” e inventa un software automatico che obbliga l’aereo a calare il muso, in modo da evitare lo stallo, quand’anche il pilota volesse opporsi. E qui sorge un nuovo problema. E se fosse il software, a guastarsi? In questo caso, il computer “penserebbe” che l’aeroplano rischia lo stallo, mentre in realtà procede in orizzontale, lo obbligherebbe a rimettersi in quella che crede sia la posizione corretta, ma in realtà lo farebbe puntare verso il suolo, con le disastrose conseguenze che abbiamo visto.
Il problema non riguarda soltanto gli aeroplani ma tutti i sistemi di sicurezza. Quando si vuole essere sicuri che non accada una cosa, si rischia che ne capiti un’altra, altrettanto grave o peggiore. Prima dell’abbattimento delle Torri Gemelle di New York, la cabina di pilotaggio era aperta. Poi dei terroristi hanno potuto prendere il controllo di quattro aerei contemporaneamente e abbiamo avuto il più grande attentato che si ricordi. Allora si è rinforzata e chiusa la porta della cabina, in modo che nessun estraneo possa entrare in essa, se i piloti la chiudono. Solo che poi, sulle Alpi, un pilota tedesco, rimasto momentaneamente solo, ha deciso di suicidarsi mandando l’aereo a sbattere contro una montagna. E nessuno, neanche il comandante, momentaneamente uscito dalla cabina, ha potuto fermarlo. La cabina, come da programma, è rimasta inaccessibile, fino alla strage senza superstiti. E allora, come la teniamo, aperta o chiusa, quella porta?
Torniamo all’episodio recente. Se oggi creassero un software che impedisce al pilota di puntare diritto verso la terra, e poi questo meccanismo si guastasse, il computer potrebbe impedire all’aereo di atterrare, o addirittura farlo andare in stallo. Il risultato sarebbe lo stesso: la morte per tutti. Né si può permettere al pilota d’intervenire, perché un pilota può anche volersi suicidare, mentre un computer non avrà mai questa tentazione.
Il problema è finalmente chiaro. La sicurezza di cui sogna la gente non esiste. La vita non è mai a rischio zero e non c’è una soluzione definitiva. Si può soltanto scegliere quale rischio correre e bisogna prepararsi a perdonare chi si occupa di queste cose. Sia che si tratti di chi prepara software che impediscono incidenti, sia che si tratti degli operatori che, per sbaglio, provocano disastri. Anche nell’epoca dell’intelligenza artificiale la coperta rimane troppo corta, per prevedere tutto.
Gianni Pardo, giannipardo1@gmail.com
18 marzo 2019
L’INSICUREZZA DELLA SICUREZZA
L’INSICUREZZA DELLA SICUREZZAultima modifica: 2019-03-18T10:11:58+01:00da
Reposta per primo quest’articolo
Man mano che un sistema diventa piu’ complesso, diventa obbligatorio affidarsi a piu’ intermediazioni per la trasmissione dei comandi e delle retroazioni, con tutto cio’ che ne consegue. Anche nella politica.
Con l’invenzione e lo sviluppo tumultuoso dei calcolatori, la tendenza di affidarsi sempre di piu’ alle macchine avviene anche nella gestione e controllo delle societa’ umane, macchine che man mano che diventano piu’ complicate, meno sono prevedibili nei loro comportamenti.
Sta pero’ inoltre avvenendo un salto di qualita’, non che non e’ piu’ solo quantitativo, in tale complessita’: il discutere ultimamente di intelligenza artificiale negli ambienti tecnici, e’ attorno al fatto che essa non e’ piu’ un “algoritmo” nel senso classico, cioe’ una procedura predefinita immodificabile e prevedibile per quanto complicata, ma funziona attraverso le cosiddette “reti neurali” che apprendono per tentativi ed errori dall’esperienza, esattamente come noi umani: solo che l’AI puo’ farlo basandosi su moli di dati virtualmente infinite, e capacita’ di elaborazione per il momento sconosciute. Alcuni dicono che gli esiti dei sistemi piu’ avanzati sono sconcertanti, non manca molto al momento in cui il famoso test di turing fatto per distinguere un uomo da una macchina dalle sue risposte, faccia sembrare l’uomo la macchina (del resto a leggere i commenti su internet, l’impressione di aver a che fare con una stupida macchina dalle risposte prefissate con molti personaggi “robotici” si provava fin dall’inizio, da ben prima che dilagassero quelli veri attuali, cioe’ i bot di discussione automatica, che pare siano gia’ usati per indirizzare l’opinione pubblica in rete – non so se si tratti di una bufala, lo sembra).
Credo che i grossi sistemi di previsione del tempo che girano sui supercalcolatori, e sui cui vaticinii si basano tutte le previsioni che arrivano al pubblico attraverso i vari “media”, funzionino gia’ cosi’ da molto tempo, non c’e’ piu’ un colonnello Bernacca, o meglio quel colonnello oggi dirige un team che assiste un supercalcolatore nei suoi vaticinii.
In economia sta succedendo da molto tempo lo stesso, man mano che il sistema economico diventa piu’ complesso e ingovernabile direttamente, i governi cercano in tutti i modi di poter raccogliere dati a scopo di previsione e controllo ogni movimento di denaro, attraverso la fatturazione elettronica, le social card, il denaro elettronico, l’incentivazione/disincentivazione fiscale, proprio allo scopo, nella migliore delle ipotesi, di riuscire a prevedere ed evitare gli “stalli”. Per i piu’ giovani, e’ partito tutto dal registratore di cassa e dalla bolla di accompagnamento del non molto compianto senatore repubblicano degli anni ’70, Visentini. Il parlare che si fa oggi di controllo del tasso di interesse al fine di controllare l’economia, alzandolo quando essa corre troppo, abbassandolo quando rallenta, e’ un esempio, goffo nella sua genericita’, di queste tecniche, ma che fa presagire il futuro.
Credo non ci voglia un nostradamus per prevedere in futuro un rigetto viscerale verso queste tecniche di comando e controllo sempre piu’ invasive e raffinate, rigetto che sta gia’ manifestandosi seppure in modo scomposto e indiretto.
Caro Winston Diaz,
grazie per i suoi commenti, sempre interessanti. Posso però pregarla di essere un po’ più sintetico? Un testo lungo può scoraggiare qualche lettore.
Cordialmente, G.P.
Scoraggia il lettore che dice cose banali o stupide, però; non in questo caso. Benché, suppongo, la maggior parte dei Suoi lettori siano persone già informate di molte cose e abbastanza “mature”.
Sul punto specifico, quello che sorprende è la progressiva eliminazione dell’uomo in quanto “imperfetto”.
In prospettiva, per poter “contare” e avere un ruolo sulla superficie terrestre, occorrerà per forza essere “perfetti”?
Sarà concesso spazio, ad esempio, agli “artisti” (notoriamente “imperfetti”) o saranno rinchiusi in recinti, tenuti a bada dall’IA?
Forse ci stiamo preoccupando troppo. Le cose che da principio sembrano immense novità, poi divengono routine. Oggi chi si pone problemi riguardo al telefono?
“Oggi chi si pone problemi riguardo al telefono?”
Telefono?
Oggi, caro Gianni, c’e’ un sacco di gente che e’ presa dal terrore dalla semplice presenza di un avviso di raccomandata nella cassetta delle lettere, e che preferisce scavalcare la recinzione pur di non passarci davanti.
Per non parlare della PEC (che lei forse neppure sa cos’e’), il cui avviso di ricevimento sonoro adeguato sarebbe nelle note del “destino che bussa alla porta”.
Il mondo civile e razionale, per un sacco di gente normale, e’ diventato una giungla oscura, incomprensibile e pericolosa, cui reagire con la fuga, per i piu’ fortunati reale, per gli altri purtroppo solo nel mondo fatato dell’immaginazione.
Cosi’ forse si puo’ comprendere, prima di commentarla, aspetti della realta’ fattuale politica di oggi che altrimenti puo’ sembrare incomprensibile.
Io ho incontrato una signora che sosteneva di non ritirare le raccomandate per evitare guai. L’ho informata che di questo passo potrebbe trovarsi condannata per omicidio da innocente, senza nemmeno essere stata avvertita del processo. Ma forse non l’ho convinta. E comunque un ergastolo per stupidità se lo merita.
Le riporto un esempio pratico.
Un mio amico che ha lavorato per conto della sua regione come esperto di know how forestatale, trasferito in sardegna una ventina d’anni fa, dotato di grandi capacita’ simpatetiche e di sensibilita’ e adattamento umano, mi diceva che da quelle parti l’uso comune quando si prendeva una multa era di non pagare mai subito, farsi notificare, per contare poi sul fatto che a quella notifica MAI sarebbe seguito alcun atto formale di recupero del credito.
Cosi’ come mi diceva che nei paesini dell’entroterra dove soggiornava per il suo lavoro, la prassi era di bruciare l’auto personale del carabiniere nuovo che fosse entrato in servizio, a mo’ di benvenuto.
Quindi quella signora forse aveva piu’ assenatezza e spirito pratico di quell’altro signore che deve esserle sembrato ben strambo per averle pronosticato un futuro da ergastolana omicida per non aver ritirato una raccomandata.
Le nostre vite dipendono molto di piu’ dalla realta’ umana in cui siamo immersi, che dalla realta’ “vera”, che poi di solito di vero ha solo che e’ quella che piace a noi.