willypipi wrote:另外 我對樓主的準確率分析持保留態度因為統計上講的準確率 是同時扣除"偽陽性"與"偽陰性"的結果而不是樓主那樣分兩次計算
(準確率90% 可以是扣除偽陽性3%與偽陰性7%的結果)
當然 那種幾%的數字通常都是行銷口號 大多數都是沒有統計基礎在亂喊
理工人看的是測試和取樣方法
沒錯，你說的那是統計學上對 Accuracy 的標準定義，偽陽性 3%、偽陰性 7%，合起來得到整體準確率，這點沒有問題。
但在實務上，行銷或對外溝通通常不會這樣講。他們多半只會強調「準確率 93%」，甚至直接說「可以抓到 93% 的問題帳戶」，而不會同時說明偽陽性與偽陰性的結構。
我在文章裡，是刻意把偽陽性與偽陰性都簡化成 10%，只是為了讓一般人比較容易理解整體效果，並不是在嚴格還原某一個模型的參數設定。
不過這篇的重點，其實也不在 Accuracy（準確率），而是在機器學習分類模型中的 Precision（精確率），也就是「被 AI 標記出來的這群人裡，有多少是真的有問題」。
如果照你剛剛的說法來看，我們用同樣的條件試一下：
假設母體中只有 0.1% 是問題帳戶（400 萬裡面 4,000 個），
偽陰性 7%，偽陽性 3%。
那結果會是：
真正被抓到的問題帳戶 = 4,000 × 93% = 3,720
被誤判的正常帳戶 = 3,996,000 × 3% = 119,880
最後被標記的總數 = 123,600
其中真正有問題的只有 3,720 個。
換句話說，被 AI 抓出來的名單裡：
大約只有 3% 是真的，97% 都是誤判。
所以即使宣稱的準確率很高，在低基準率的情境下，實務結果還是會完全失真。
這也是我這篇想強調的地方。
