LLM的風控牆

不曉得大家在用LLM時，有沒有發現風控牆的存在，模型會去爬大量的法規與教科書，模型在遇到法規、政策、教科書等權威性資料時，會把「合規 / 安全」信號加權。語言模型會一反常態去反駁你的說法。

舉例，規定一卡通是不能搭普悠瑪的，但你搭錯車，人在月台，要在限定時間內往回走，眼下只有普悠瑪能準時到達目的地，LLM會叫你去搭下一班，因為觸碰到風控牆，但沒買票只是補票貴了50%，在只有幾站的距離下，損失很小，但可以及時到達目的地。當你問一些問題，永遠問不到最佳答案時，往往就是撞風控牆了。

這顯示了，語言模型無法取代破壞性決策，既然它的資料來源是現有文字，那提供的就是安全的、守舊的SOP。提示詞能讓模型鬆綁一些風控偏好，但它永遠無法完全跳脫訓練資料與權重分布的限制——它可以幫你看得更遠，但真正的破壞性決策還是要人自己做。

 但經常在風控牆旁邊做事，單一次風險不大，常常如此總有一天會出事，例如一個故事，有個新鮮人在面試鐵道公司，公司去查了他的搭乘紀錄，發現他有兩次補票紀錄，大數據顯示漏票會抓到的機會很低，期望值其實是正的，但是高層認為他既然有兩次補票紀錄，表示經常漏票，被認為不誠信而沒有錄取。