"Errare è umano; per rovinare davvero le cose è necessario un computer. ”William E. Vaughan ha fatto questa osservazione nel 1969. Dare il controllo a un sistema automatizzato comporta la possibilità che il sistema si rovini e causi gravi danni prima che venga controllato.
L'automazione non è nuova, ma sta diventando molto più diffusa grazie all'integrazione di sistemi digitali e fisici. Il vantaggio dell'automazione su larga scala è la grande efficienza. Ma il rovescio della medaglia di fare affidamento su un sistema imposta-e-dimentica-è che qualcuno potrebbe non riuscire a impostarlo correttamente.
Con un sistema che segue semplicemente senza alcun intervento e nessun modo di fermare il macchinario, puoi avere effetti distruttivi. Di conseguenza, la tecnologia può creare il tipo di situazione illustrata in "L'apprendista stregone", quando ciò che sembra rendere la vita più semplice in realtà esaurisce il controllo.
