Lesson 1

Why UX for AI

從 MCAS 事故看見 AI 已經進入工作流時,人機協作關係需要被明確設計。

Lesson framing

這個 lesson 會把前言收斂成一個設計判斷: 當 AI 會改變使用者對情境的理解、決策順序與介入時機時,UX 會直接成為系統安全的一部分。

先把問題看成互動問題

書的前言用 Lion Air JT 610 的 MCAS 事故開場,效果非常強,因為它把「AI 失敗」從抽象的模型誤差,拉回到真實的人機對抗情境。書中最值得注意的地方,在於人類飛行員沒有被有效地告知 AI 正在做什麼、系統為何這樣做、以及要用什麼最低摩擦的方式接手。

MCAS forcing the crash chart.
Figure I.1 MCAS AI forcing the crash

這張圖是本 lesson 的主教學圖。它把抽象的『人與 AI 爭奪控制權』變成可視證據,也讓後續的人機互動討論有具體支點。

Source in book: Introduction

為什麼這不是單純的模型問題

從前言的鋪陳來看,事故最值得設計者注意的焦點,在於整個情境同時出現多個認知負擔:警報、錯誤判斷、程序查找、控制權衝突,以及高壓環境下的時間限制。這使得人類必須在最差的情況下回想正確程序,介面卻沒有提供足夠直接的辨識線索。

AI 不應該是「沉默但致命」的

作者引用的觀點非常直接:許多自動化系統會在背景中運作,卻沒有和負責安全的人充分溝通。對產品設計來說,這代表 AI 狀態、信心、介入方式與可接手節點,都要被刻意設計出來。

很多自動化之所以危險,原因常在於它在背景中自行行動,卻沒有讓真正負責後果的人清楚理解。

Paraphrased from the Introduction

這對 AI 產品代表什麼

把這個前言轉成產品語言,至少會導出三個要求:

  1. AI 的存在感要和它的風險等級相稱。
  2. 人工接手點不能依賴記憶與猜測。
  3. 使用者要有機會理解現在是誰在做決定,以及系統根據什麼做決定。

從前言收斂出的學習結論

前言的任務是建立一個非常強的前提:如果 AI 已經碰到高風險任務,那麼「互動如何被理解」會和「模型是否準確」一樣重要,甚至在使用者端更先被感受到。

Next Lesson

Pick the Right Use Case

把失敗案例收斂成可判斷的框架,先學會辨認不該做的 AI 題目。