Lesson framing
這個 lesson 會把前言收斂成一個設計判斷: 當 AI 會改變使用者對情境的理解、決策順序與介入時機時,UX 會直接成為系統安全的一部分。
先把問題看成互動問題
書的前言用 Lion Air JT 610 的 MCAS 事故開場,效果非常強,因為它把「AI 失敗」從抽象的模型誤差,拉回到真實的人機對抗情境。書中最值得注意的地方,在於人類飛行員沒有被有效地告知 AI 正在做什麼、系統為何這樣做、以及要用什麼最低摩擦的方式接手。
這張圖是本 lesson 的主教學圖。它把抽象的『人與 AI 爭奪控制權』變成可視證據,也讓後續的人機互動討論有具體支點。
Source in book: Introduction
為什麼這不是單純的模型問題
從前言的鋪陳來看,事故最值得設計者注意的焦點,在於整個情境同時出現多個認知負擔:警報、錯誤判斷、程序查找、控制權衝突,以及高壓環境下的時間限制。這使得人類必須在最差的情況下回想正確程序,介面卻沒有提供足夠直接的辨識線索。
AI 不應該是「沉默但致命」的
作者引用的觀點非常直接:許多自動化系統會在背景中運作,卻沒有和負責安全的人充分溝通。對產品設計來說,這代表 AI 狀態、信心、介入方式與可接手節點,都要被刻意設計出來。
很多自動化之所以危險,原因常在於它在背景中自行行動,卻沒有讓真正負責後果的人清楚理解。
這對 AI 產品代表什麼
把這個前言轉成產品語言,至少會導出三個要求:
- AI 的存在感要和它的風險等級相稱。
- 人工接手點不能依賴記憶與猜測。
- 使用者要有機會理解現在是誰在做決定,以及系統根據什麼做決定。
從前言收斂出的學習結論
前言的任務是建立一個非常強的前提:如果 AI 已經碰到高風險任務,那麼「互動如何被理解」會和「模型是否準確」一樣重要,甚至在使用者端更先被感受到。