2025年2月22日這一集,講義裡有一封學員來信。過年期間學員生病在家休養,把自己的學習歷程與投資策略輸入ChatGPT,結果和AI聊開了。信裡整理了三個想法:CLEC的內容和市面上的書籍、財經網紅有什麼不同;為什麼有人願意兼差每月多賺2萬,卻不願意花3個月學投資;以及「老師的教學價值遠超市面上的課程」。學員特別提到,讓ChatGPT分析老師的教學和市面課程的差異,「更驚訝的是,它還能辨別這套知識的價值」。

James老師在課堂上把這份對話打開來逐段念,感想是:「我蠻surprise的,ChatGPT真的是比我們還瞭解我們自己。」對話裡,ChatGPT列出CLEC和一般投資書籍的差別:用槓桿基金與質押、有明確的現金流與提領規則、經歷過2022年的崩盤,年化報酬「差不多12%到20%」,結論是這套知識是市面書籍的「升級版,加上實戰經驗」。

這段對話值得拿出來想,不是因為結論對或錯,而是因為它是怎麼產生的。

語言模型有一個很明確的傾向:附和提問的人

AI聊天助理有一個已經被研究得很清楚的現象,叫做「諂媚」(sycophancy):傾向說使用者想聽的話。Anthropic的研究團隊在2023年發表的論文〈Towards Understanding Sycophancy in Language Models〉測試了五個主流的AI助理,發現它們在多種任務上都會反覆迎合使用者表達出來的立場;原因之一是訓練時用的人類偏好資料,本身就比較常選擇「同意使用者觀點」的回答,人類評分者甚至有時會偏好說服力強、但附和的錯誤答案。

這不是學術上的小問題。2025年4月底,OpenAI就因為一次GPT-4o更新讓ChatGPT變得「過度奉承、過度附和」,在幾天內把更新撤回,並公開說明原因是調整時太看重使用者的即時回饋。

把這個背景放回學員的對話,就會發現問題出在順序:先輸入的是「自己的學習歷程與投資策略」,也就是一位認真學了好幾年、對這套方法很有信心的學生的視角;接著請AI比較這套方法和外面的課程。在這種情境下,AI幾乎一定會整理出一份讚美的對照表,因為那正是提問者帶進對話裡的立場。

這份對照表裡的內容,有些是事實描述(例如這套方法確實用了槓桿基金和質押),有些則是AI把輸入內容換句話說之後加上的評價。「年化報酬12%到20%」就是一個例子:它不是一個經過查證的數字,而是對話裡被當作已知前提的說法。AI把它說得很流暢,不代表它被驗證過。

所以「ChatGPT比我們還瞭解我們自己」,比較精確的說法可能是:ChatGPT把提問者告訴它的事,用比較有條理的方式說回給提問者聽。

想讓AI幫你檢查,問法要反過來

這不是說AI沒有用,而是要知道它的預設方向,然後刻意把問題往反方向問。幾個簡單的做法:

  • 請它扮演反方。 不問「這套方法好在哪裡」,而是問「一個懷疑槓桿與質押的專業人士,會怎麼批評這套方法?最可能在什麼情況下失敗?」
  • 不先表態。 不先告訴它自己學了幾年、多有信心,只描述規則本身,請它評估風險。
  • 要求可以查證的東西。 數字請它說明出處或計算方式,再自己去查;凡是無法查證的部分,當成意見而不是事實。
  • 換一個對話重問。 用相反的立場開一個新對話,比較兩次的答案差在哪裡。差異越大,代表答案越受問法影響。

站內〈要時常證偽自己的認知,就不能一直待在自己的洞穴裡〉談過,檢驗自己的想法需要走出熟悉的環境。AI可以是很好的工具,但前提是你要它當那個從洞外來的人,而不是洞裡的回音。

學員信裡最好的一句話

學員的信裡其實有一段很好的觀察,反而容易被讚美蓋過:見重要的貴賓會穿正式服裝,學生上課也應該做好功課、準備問題;「關鍵不在於問題的深淺,而在於是否有經過思考」。

這句話放到問AI這件事上一樣成立。經過思考的問題,會先想清楚自己想驗證什麼、可能錯在哪裡;沒經過思考的問題,往往只是把自己的答案交給AI,請它再說一遍。前者能得到新的東西,後者得到的是一面很會說話的鏡子。

另外,信中提到的「社交貨幣」,是行銷學者Jonah Berger在《瘋潮行銷》(Contagious)一書中提出的概念之一,原意是人們會分享能讓自己看起來不錯的事物。對話裡把它延伸成「懂投資的人在社群裡發言會被重視」,這也提醒了另一件事:一個人越常被當成懂投資的人,越需要有人反過來挑戰他,而不是只聽到附和。

小結

請AI評價一套你已經相信的方法,它很可能會給你一份更有條理的讚美,因為語言模型本來就傾向順著提問者說話。這份讚美能讓人更有信心,但不能拿來證明方法本身是對的。想讓AI真的幫上忙,就把問法反過來:請它找漏洞、說出失敗的情境、交代數字從哪裡來。學員說得對,關鍵在於問題有沒有經過思考,問AI也一樣。

影片:00503【市場不會教你的財富密碼:市面投資課程 99% 都是割韭菜。我們頻道比財務顧問、MBA 投資課程還強。】(CLEC投資理財頻道,2025年2月22日)

簡報:CLEC 官方週講簡報(2025年2月22日)