AI can crowd important context out of decision-making. People then supervise the system less than they realize
Combining human judgment with AI does not automatically produce better decisions. Research described by INSEAD shows that when people receive an AI recommendation, they may pay less attention to other available information and move their judgment closer to the system. Leaders therefore need to design not only model quality but also the sequence in which the human and AI enter the decision-making process.
Companies often base AI adoption on a simple assumption: the algorithm processes a large amount of data and the person adds experience and context to its output. The result should combine the strengths of both. In reality, however, the mere presence of an AI recommendation can change how a person uses the other information available.
INSEAD summarizes research into radiologists’ decision-making when assessing X-rays with different access to AI predictions and to patients’ clinical histories. When they had an AI recommendation, they remained active but paid less attention to the clinical context, and their conclusions moved closer to the system’s prediction. The authors interpret this as a shift in attention rather than a simple reduction in work effort.
For business decision-making, this mechanism matters more than the specific medical setting. A manager may have high-quality data about a customer, market or operation, but if the first thing they see is a persuasively worded AI recommendation, they may begin to judge the other information subconsciously in relation to the already proposed solution.
The design of the process can therefore be just as important as the accuracy of the model. For significant decisions, for example, a person can first be asked to formulate their own conclusion and the reasons for it, and only then be shown the system’s recommendation. The difference between the two positions then becomes the subject of review. This creates a moment in which the person has to genuinely compare two views instead of automatically accepting the first one.
The same INSEAD article recalls additional research on group decision-making. Discussion among people helps them calibrate their own view of expertise more accurately and can improve the use of the group’s collective knowledge. This suggests that decision quality cannot be reduced to the question of “human versus AI.” The structure of collaboration among people before and after the system intervenes also matters.
In practice, therefore, monitor three things in decision-support tools. First, which information the user sees before the AI recommendation. Second, whether they must justify their own position in some way. Third, whether the system displays only one recommendation or also uncertainty, alternatives and information it did not incorporate into its conclusion.
A high-quality model can be dangerously persuasive precisely because it is usually right. A person can gradually get used to confirming its proposals until they stop using the knowledge that was the reason for keeping them in the decision process in the first place.
KEY TERMS
- Context displacement: A situation in which an AI recommendation reduces the attention a person gives to other relevant information.
- Judgment calibration: The ability to estimate realistically whether one’s own view is correct and how certain one should be.
- Decision sequence: The order in which information, the person’s own judgment and the AI recommendation are presented to the decision-maker.
- Human oversight: Active review of a system’s output rather than merely formal confirmation of its recommendation.
AI může při rozhodování vytlačit důležitý kontext. Lidé pak systém kontrolují méně, než si sami uvědomují
Kombinace lidského úsudku a AI automaticky neznamená lepší rozhodnutí. Výzkum popsaný INSEAD ukazuje, že když lidé dostanou doporučení AI, mohou věnovat méně pozornosti dalším dostupným informacím a přiblížit svůj úsudek systému. Vedoucí proto musí navrhovat nejen kvalitu modelu, ale také pořadí, v němž člověk a AI vstupují do rozhodování.
Firmy často staví zavádění AI na jednoduchém předpokladu: algoritmus zpracuje velké množství dat a člověk k jeho výstupu doplní zkušenost a kontext. Výsledkem by měla být kombinace silných stránek obou. Ve skutečnosti ale samotná přítomnost doporučení AI může změnit způsob, jakým člověk ostatní informace používá.
INSEAD shrnuje výzkum rozhodování radiologů, kteří posuzovali rentgenové snímky s různým přístupem k predikci AI a ke klinické historii pacienta. Když měli doporučení AI, zůstávali aktivní, ale věnovali méně pozornosti klinickému kontextu a jejich závěry se více přibližovaly predikci systému. Autoři to interpretují jako změnu pozornosti, nikoli jako prosté snížení pracovního úsilí.
Pro firemní rozhodování je tento mechanismus důležitější než konkrétní medicínská oblast. Manažer může mít k dispozici kvalitní data o zákazníkovi, trhu nebo provozu, ale pokud jako první uvidí přesvědčivě formulované doporučení AI, začne další informace podvědomě posuzovat vzhledem k již navrženému řešení.
Praktický návrh procesu proto může být stejně důležitý jako přesnost modelu. U významných rozhodnutí lze například nejprve požádat člověka, aby formuloval vlastní závěr a jeho důvody, a teprve potom mu ukázat doporučení systému. Rozdíl mezi oběma stanovisky se následně stane předmětem kontroly. Tím vytvoříte okamžik, v němž musí člověk skutečně porovnat dva pohledy místo automatického přijetí prvního.
Stejný článek INSEAD připomíná další výzkum skupinového rozhodování. Diskuse mezi lidmi pomáhá lépe kalibrovat vlastní představu o odbornosti a může zlepšit využití znalostí celé skupiny. To naznačuje, že kvalitu rozhodování nelze redukovat na otázku „člověk versus AI“. Důležitá je také struktura spolupráce mezi lidmi před a po zásahu systému.
V praxi proto u rozhodovacích nástrojů sledujte tři věci. Zaprvé, které informace uživatel vidí před doporučením AI. Zadruhé, zda musí vlastní stanovisko nějak zdůvodnit. Zatřetí, zda systém zobrazuje pouze jedno doporučení, nebo také nejistotu, alternativy a informace, které do závěru nezahrnul.
Kvalitní model může být nebezpečně přesvědčivý právě proto, že má většinou pravdu. Člověk si postupně zvykne jeho návrhy potvrzovat, až přestane využívat znalosti, kvůli nimž měl být v rozhodovacím procesu vůbec zachován.
KLÍČOVÉ POJMY
- Vytěsnění kontextu: Situace, kdy doporučení AI snižuje pozornost člověka věnovanou dalším relevantním informacím.
- Kalibrace úsudku: Schopnost realisticky odhadnout správnost vlastního názoru a míru jistoty.
- Pořadí rozhodování: Způsob, jakým jsou člověku postupně předkládány informace, vlastní úsudek a doporučení AI.
- Lidský dohled: Aktivní kontrola výstupu systému, nikoli pouhé formální potvrzení jeho doporučení.