Jag kan avslöja redan nu att jag avser besvara frågan med ett ”nej”…

Utgångspunkten är en händelse i Arizona, 18 mars 2016. En självkörande Volvo XC90 körde under mörker på en människa med en hastighet av 70 kilometer i timmen. Offret, en 49-årig kvinna som ledde en cykel, kastades iväg 20 meter och dog. Olyckan har utretts under 20 månader av US National Safety Transportation Board, NTSB och det hela har naturligtvis uppmärksammats. Detta inlägg bygger på två artiklar (länkar finns i slutet av detta inlägg).

Bilen var en av Ubers app-taxibilar. Den hade dels en radar som upptäckte kvinnan drygt 5 sekunder före olyckan, dels en s.k. lidarsensor som upptäckte kvinnan något senare. Det gav egentligen gott om tid att undvika olyckan. Systemet gjorde dock först en analys av vad den upptäckt och klassade kvinnan först som ”bil”, sedan som ”övrigt objekt”, sedan tillbaka som ”bil”, tillbaka till ”övrigt objekt”, sedan till ”cykel”, åter till ”övrigt objekt” och slutligen tillbaka till ”cykel”. För varje ny klassning, startades en ny process för att analysera vart det upptäckta objektet var på väg. Dessa olika klassningar ledde till att systemet inte kunde bedöma vart objektet var på väg och till att inbromsning inte var nödvändig.

Att systemet aldrig klassade kvinnan som en människa berodde på att det inte letade efter människor annat än vid övergångsställen. Att människor skulle kunna korsa en väg utanför övergångsställen var inte en möjlighet för systemet som alltså saknade en möjlighet att identifiera kvinnan som människa.

Den som vill kan här återvända till ”Automation Del 1” (länk) för att läsa om vad Fitts list har att säga om vad människan är bra på. Även om en människa kan ha svårt att t.ex. se en mörkklädd person i mörker så har vi god förmåga att uppfatta variationer och mönster. Vi kan också dra slutsatser från våra observationer, vi kan göra bedömningar även utifrån bristande underlag och vi kan improvisera och vara flexibla.

Det verkar som att Uber var så oroliga för falsklarm (onödiga inbromsningar) att man lagt in en fördröjning på en sekund från identifierad risk för kollision till inbromsning. Först 1,2 sekunder före kollisionen förstod systemet att bilen skulle träffa kvinnan, att en undanmanöver inte var möjlig och att nödinbromsning var nödvändig. Med en sekunds fördröjning startade nödinbromsningen alltså 0,2 sekunder innan kollision och ett alarm startade i bilen.

Sista säkerhetsnätet var den säkerhetsförare som fanns ombord. Hon lär dock ha tittat på film och såg inte vad som var på väg att hända. Då alarmet kom, tog hon ratten, kopplade ur automatiken och bromsade. När hennes fötter trampade på bromsen hade det gått nästan en sekund sedan kvinnan som korsade gatan hade träffats av bilen.

Här kan man ju återvända till ”Automation Del 2” (länk) och fundera på vad Bainbridge skrev om automationens ironier. När det gäller Uber-systemet och dess mjukvara så är det naturligtvis design utförd av människor vilket innebär att vi inte slipper problem med mänskliga fel för att vi automatiserar. Det är vanligt då vi automatiserar att vi lämnar övervakningen till människan trots att det inte är något människan är bra på. Därför krävs det alarm. Sådana alarm måste ges i god tid och med tydlig indikation på vad som är fel och vad som ska göras. Bainbridge pekade också på att automation ofta ökar krav på människan och leder till ökat behov av utbildning.

Det var alltså en Volvo som var inblandad i olyckan men Volvos egna säkerhetssystem var avstängt. Istället användes Ubers egna system. Det har påståtts att olyckan kunnat undvikas om Volvos system använts samtidigt som det knappast varit rimligt att låta två olika system hantera säkerheten samtidigt. Uber skriver i ett uttalande att man beklagar olyckan men nu har gjort förbättringar. Bland dessa förbättringar finns en förändrad utbildning av säkerhetsförarna och att man nu har två säkerhetsförare i varje bil! Det antyder ju att man åtminstone i någon mån ser olyckan som ett resultat av den ”mänskliga faktorn”.

Bland slutsatserna från utredningen finns också att Ubers program för självkörande bilar inte hade någon safety manager eller avdelning för operativ safety. Man har numera ändrat sin organisation för safety och infört ett system där anställda kan rapportera safety-händelser anonymt.

Här kan man återvända till Nicklas artikel kring FAA och EASA (länk) och fundera på myndigheternas roll och förmåga. Jag hittar inget som antyder att Uber inte följde myndigheternas krav. Automation och autonomi tågar snabbt in i vår vardag. Kan myndigheterna hantera detta?

Jag tror alltså inte att det är så enkelt att lämna över allt från människa teknik. Jag ser hellre att tekniken hjälper människan än att tekniken ersätter människan. Det får dock bli ämnet för ett senare inlägg.
Källor:

https://www.wired.com/story/ubers-self-driving-car-didnt-know-pedestrians-could-jaywalk/