Kombinace lidského úsudku a AI automaticky neznamená lepší rozhodnutí. Výzkum popsaný INSEAD ukazuje, že když lidé dostanou doporučení AI, mohou věnovat méně pozornosti dalším dostupným informacím a přiblížit svůj úsudek systému. Vedoucí proto musí navrhovat nejen kvalitu modelu, ale také pořadí, v němž člověk a AI vstupují do rozhodování.
Firmy často staví zavádění AI na jednoduchém předpokladu: algoritmus zpracuje velké množství dat a člověk k jeho výstupu doplní zkušenost a kontext. Výsledkem by měla být kombinace silných stránek obou. Ve skutečnosti ale samotná přítomnost doporučení AI může změnit způsob, jakým člověk ostatní informace používá.
INSEAD shrnuje výzkum rozhodování radiologů, kteří posuzovali rentgenové snímky s různým přístupem k predikci AI a ke klinické historii pacienta. Když měli doporučení AI, zůstávali aktivní, ale věnovali méně pozornosti klinickému kontextu a jejich závěry se více přibližovaly predikci systému. Autoři to interpretují jako změnu pozornosti, nikoli jako prosté snížení pracovního úsilí.
Pro firemní rozhodování je tento mechanismus důležitější než konkrétní medicínská oblast. Manažer může mít k dispozici kvalitní data o zákazníkovi, trhu nebo provozu, ale pokud jako první uvidí přesvědčivě formulované doporučení AI, začne další informace podvědomě posuzovat vzhledem k již navrženému řešení.
Praktický návrh procesu proto může být stejně důležitý jako přesnost modelu. U významných rozhodnutí lze například nejprve požádat člověka, aby formuloval vlastní závěr a jeho důvody, a teprve potom mu ukázat doporučení systému. Rozdíl mezi oběma stanovisky se následně stane předmětem kontroly. Tím vytvoříte okamžik, v němž musí člověk skutečně porovnat dva pohledy místo automatického přijetí prvního.
Stejný článek INSEAD připomíná další výzkum skupinového rozhodování. Diskuse mezi lidmi pomáhá lépe kalibrovat vlastní představu o odbornosti a může zlepšit využití znalostí celé skupiny. To naznačuje, že kvalitu rozhodování nelze redukovat na otázku „člověk versus AI“. Důležitá je také struktura spolupráce mezi lidmi před a po zásahu systému.
V praxi proto u rozhodovacích nástrojů sledujte tři věci. Zaprvé, které informace uživatel vidí před doporučením AI. Zadruhé, zda musí vlastní stanovisko nějak zdůvodnit. Zatřetí, zda systém zobrazuje pouze jedno doporučení, nebo také nejistotu, alternativy a informace, které do závěru nezahrnul.
Kvalitní model může být nebezpečně přesvědčivý právě proto, že má většinou pravdu. Člověk si postupně zvykne jeho návrhy potvrzovat, až přestane využívat znalosti, kvůli nimž měl být v rozhodovacím procesu vůbec zachován.
KLÍČOVÉ POJMY
- Vytěsnění kontextu: Situace, kdy doporučení AI snižuje pozornost člověka věnovanou dalším relevantním informacím.
- Kalibrace úsudku: Schopnost realisticky odhadnout správnost vlastního názoru a míru jistoty.
- Pořadí rozhodování: Způsob, jakým jsou člověku postupně předkládány informace, vlastní úsudek a doporučení AI.
- Lidský dohled: Aktivní kontrola výstupu systému, nikoli pouhé formální potvrzení jeho doporučení.