這個 lesson 會把 Chapter 5 收斂成一句很實際的產品判斷： 評估 AI 時，先問真實世界每種結果值多少，再看模型表現；只看 accuracy 會讓團隊選錯方向。
Chapter 5 的開場非常鮮明
這章一開始就直球對決：accuracy 在真實世界裡往往沒那麼有用。作者的意思並非否定數學指標，而是提醒你它們不足以單獨指導產品決策。真正該問的是，每一種 AI 結果會帶來多少成本、多少收益，以及整體 投資報酬 （ROI） 是多少。
Pascal Motors 的例子把問題講得很透
Chapter 5 用汽車保養警示的例子很適合放在 lesson 主頁，因為它先給你三個模型：Conservative、Balanced、Aggressive，然後讓你看見傳統指標與真實世界價值之間的落差。
這張表很適合當起點，因為它呈現出團隊在沒有真實成本模型時，很容易把注意力全放在 precision、recall、accuracy 上。
只看這張表，多數人會想選 Conservative AI。它看起來最準，也最不容易出錯。接著書立刻翻轉這個直覺。
一旦把真實世界的收益與調查成本算進來，最佳選擇立刻改變。這就是 Chapter 5 最重要的轉折。
Confusion matrix 只是中間站
Chapter 5 也花了一段篇幅解釋 confusion matrix。這段在網站裡不需要教得太數學化，但很值得留下它的產品意義：AI 的每次判斷都會落進真陽性、真陰性、假陽性、假陰性其中一格，而每一格都有不同後果。
這張圖把 Chapter 5 的方法具體化了。從這裡開始，模型選擇變成一個價值判斷，而不是單純排名 precision 或 accuracy。
同一個模型，在不同價值假設下會變成不同答案
這章更有意思的地方，在於它進一步證明：只要成本與收益改變，最佳模型也會跟著改變。這比單純說 accuracy 不夠更重要，因為它把 AI 選型拉回使用情境。
當 true positive 的價值大幅提高，原本看起來太激進的模型反而可能變成最佳選擇。這說明模型優劣永遠依附在 use case 上。
Variable AI 的例子把 lesson 推得更遠
Chapter 5 後半談到房價預估這類 continuous variable use case，這很值得保留。因為它提醒我們，很多 AI 面對的不是 yes/no 問題，它們是在猜一個數值。這種情況下，所謂「準不準」更容易誤導團隊。
書裡的關鍵提醒是：高估和低估通常不對稱。房價高估可能導致長時間賣不掉、利息損失與心理壓力；房價低估則是直接少賺。兩邊代價不相等，產品判斷自然不能只聽 accuracy。
UX 在這裡的角色很清楚
Chapter 5 最值得留下來的一點，是它把 UX 的工作重新定義成「幫團隊問對價值問題」。例如：
- 每一種錯誤對使用者與業務各自會造成什麼影響？
- 使用者一天能處理幾個 alerts、suggestions 或 leads？
- 哪些錯誤可以被容忍，哪些會迅速摧毀信任？
- 模型是否會隨使用過程改善，還是會一直重複同一種惱人錯誤？
這個 lesson 在 Part 1 的位置
把 Part 1 串起來看，Value Matrix 很適合作為收尾。前面幾課先定義題目、故事與系統模型，這一課則把最後一道問題補齊：即使前面都成立，這個 AI 在真實世界裡到底值不值得做？