CEO學AI－「企業策略 AI 顧問與AI客服」建置經驗分享

Part 1：從混亂問答到 RAG 的前奏

　　四十天前，我懷著打造「企業策略虛擬 AI 顧問」的夢想，開始了一場技術探索。作為一名 60 歲、無代碼經驗的退休 CEO，我的左手因學生時打工殘廢（僅剩彎曲中指），只能用右手敲鍵盤，硬體也只有一台中古HP 電競筆電。這段旅程充滿挑戰，前四周的「知識蒸餾法」與「微調法 Fine Tuning 」讓我屢屢受挫，直到最後一周轉向 「RAG法（檢索增強生成）」，才在 AI Grok 幫助下找到出路。這篇記錄前四周的掙扎，希望為追夢者帶來啟發。

起點：DeepSeek 與知識蒸餾的混亂

　　中國大陸 AI 大模型 DeepSeek 在 2024 年 11 月誕生，開啟了 AI大模型的低成本開發之路，日經中文網並用「開啟一人獨角獸的時代」形容 DeepSeek 對全球AI產業的影響。這點燃了我的夢想。我想打造一個「回答企業策略問題的 AI 顧問」，提供精準建議。

　　我從教授企業策略的教材中提取 13 題（如「什麼是 SWOT 分析與如何運用於企業競爭？」），請 AI大模型始祖 ChatGPT （當作「老師模型」）根據我的問題生成答案並合成 JSON 格式的檔案。ChatGPT 產出的答案內容太豐富了，字數很多而且花花綠綠，滿是特殊符號（如「#」「XXX」），於是我做了手動修改，但是使用修改後的13題問答內容當作訓練資料，還是無法成功訓練出符合基本品質的「學生模型」。

　　我判斷這些「特殊符號問題」和「企業策略問答的題數太少」，是讓訓練完的「學生模型」生成內容答非所問、語無倫次、充滿空格與亂碼的主要原因。但用人力要產出大量的企業策略問題難度不小，而且還要面對另一個難題「將 ChatGPT 的長文字和充滿特殊符號的回答」進行修改然後剪貼搬到 JSON檔這個不小的工程。更糟的是，ChatGPT 一天只開放一點免費時段，根本不足以在一天內產生數量夠多的回答。

　　於是我轉向免費吃到飽的 AI DeepSeek，讓它自問自答，把13組問答擴充至 500 組問答。但可能受限於 DeepSeek 能處理的文本大小與資料長度限制，它每次只能產出 15-20 組問答，所以我得不斷重複操作。產出的 500 組問答約有 50-80 組重複，在螢幕上要找出重複的問答並加以刪除處理這些資料，上下翻找對記憶力是一大考驗。

　　同時，DeepSeek 自動產出的問答品質也不夠好，充滿數字（如：「市場份額增長率 12.5%」），但這些數字為何產生並無邏輯，「學生模型」難以學習。以上種種問題，導致新訓練出的「學生模型」所生成的回答結果很糟，例如：回答的內容重複提及問題多次，內容充斥與問題無關的數字，亂碼與空格問題也沒改善。這次我不敢手動改資料，不僅因為資料量大，而是更怕破壞「教師模型」的軟標籤，造成「學生模型」學不到「老師模型」回答問題的內部邏輯。

　　於是我請 DeepSeek 自己改，一次改 15 條，但那陣子 DeepSeek 塞車嚴重，每隔 1-2 小時才能完成一次，花了快 1 天改完，並使用更改後的資料重新訓練，然而新「學生模型」回答問題的品質提升有限。

　　我又試了另一個有名的AI大模型 Gemini，結果依然不佳。ChatGPT、DeepSeek、Gemini（Google的AI大模型）都是優秀的 AI LLM，但卻都無法幫助我完成「知識蒸餾法」（用「老師模型」訓練出「學生模型」的AI 大模型訓練方法）。可能是訓練資料太少及品質不佳，導致訓練出來的「學生模型」輸出品質不盡人意。

Claude 的誤判與 Fine Tuning 的挫折

　　於是我改向另一位全球知名的AI大模型 Claude 求助。前幾次嘗試看似有希望，訓練過程及測試過程的品質指標「Loss Rate 損失率」 比 DeepSeek 的訓練及測試過程低很多，雖然 Claude 訓練出來的AI大模型生成的答案還是遠遠不及格，但看起來較整潔。於是我拿去給 DeepSeek 看，它說：「Claude 沒做知識蒸餾，所以 loss rate 比較低。」

　　過了兩天，我問 Claude，它坦承使用的方法是「微調法 Fine Tuning」，而不是我期望的「知識蒸餾法」，原來是我誤會了！Claude 的輸出確實格式乾淨，但答案仍混亂無用。我這才明白，「知識蒸餾法」的練習可以到此為止。我的硬體（HP 筆電，6GB VRAM GPU）與資料（500 題）限制，讓我無法完成任務。但這過程也讓我學到很多，值得回味。優秀如 Claude，也無法彌補我的客觀條件及環境限制，我感到筋疲力盡。

前四周的教訓：撞牆與反思

　　四週下來，我試遍 ChatGPT、Gemini、DeepSeek 和 Claude 這四種全球知名的AI LLM大模型，卻被亂碼、重複與錯誤包圍。每次除錯，AI LLM 大模型因長度限制中斷，要求「開新對話」，新對話卻像「喝孟婆湯」，忘記前文。

　　我得重述目標（企業策略 AI）、硬體（HP 筆電）、路徑（C：\Fred\AI\AIcoding）與錯誤，這對我來說是「可怕」的折磨。我懷疑：筆電算力太低，500 題太少，但5000 題或 10000 題又超我能力。即使靠AI LLM 生成，文本限制也讓我無從下手。到第四週末，我幾乎放棄，覺得這夢想無解。

　　這時候，8年前認識的一位區塊鏈領域的中國大陸朋友找我，請我在台灣幫他介紹「數字人或AI客服（RAG+AI LLM）」的軟體建置生意。他（45 歲的軟體技術總監,曾領導50人的程式設計團隊）希望我向台灣企業用戶推薦使用中國大陸RAG來開發「AI客服」。

　　但是考慮到兩岸政治風險，台灣企業可能不願意使用中國大陸軟體，於是我建議他負責開發一套我們自己的RAG軟體，我負責在台灣銷售這一套RAG軟體。他拒絕了我的合作提議，並且嘲笑我「沒訂單就開發，邏輯混亂」，我回應他「那我自己請AI教我如何建置RAG系統」，他斷言「你不可能做得到」。這句話讓我感到很不舒服，但是我沒有其他選擇，既然我的朋友不肯幫忙我，那我就找 AI LLM 幫忙，一起來挑戰這個我朋友口中的「不可能的任務」。

Part 2：從 RAG 的迷霧到 90 分的勝利

　　在探索「企業策略 AI 諮詢顧問」的四十天旅程中，前四周的「知識蒸餾法」和「微調法 Fine Tuning 」讓我屢屢受挫。直到最後一周，我在特斯拉創辦人馬斯克的 AI LLM 大模型 Grok 的建議下轉向 「檢索增強生成法RAG」，從「預訓練的AI 模型Bart + 向量資料庫索引FAISS 」方案中找到出路。這篇文章記錄了這關鍵的一周，如何從迷霧走向成功。

RAG 的啟發與初次嘗試

　　第四週末，我受到來自大陸朋友的刺激與啟發（RAG+AI LLM 事件），我發現除了知識蒸餾與 Fine Tuning 外，RAG+AI LLM 可能是建立「企業策略虛擬顧問」的一條捷徑，於是我又開始找AI LLM幫忙我進行這個新的嘗試。我放棄了 500 題企業策略問答，因為那些內容來自DeepSeek內部資料庫或是DeepSeek從網路上擷取，並非建置RAG所需的「特定領域的外部資料庫」。

　　我轉而從我的工作經驗中，尋找能做為建置RAG所需的「特定領域的外部資料庫」的素材。我選擇了我擔任華研唱片CEO時，參與培訓台灣女子流行音樂歌唱團體 SHE 並且發行SHE的前三張專輯的經驗 ，做為建置RAG所需的「特定領域的外部資料庫」的素材，寫成10組問答並存成json的資料格式檔，檔名是：rag_she.json，內容包含一些外人不知的內幕（如「第一次公開演出在中台禪寺」）。這 10 條問答由我親自設計，邏輯連貫，像「作弊小抄」一樣精準，讓我能分辨日後開發的RAG+AI LLM所產出內容是來自我的rag_she.json，或是來自 AI LLM大模型的內部知識及上網所得的公開資料。

　　剛開始，AI LLM幫我選擇了 Facebook/rag_sequence_base，一個開源 RAG 框架，希望結合檢索與生成，以解決前40天所碰到的亂碼與錯誤…等等問題。然而，這條路依然坎坷。我在 ChatGPT、DeepSeek、Gemini 及 Claude 上進行不下60次的代碼嘗試，但都遭遇失敗，包括：環境配置錯誤、檢索失敗、繞不開下載wiki_dpr、輸出內容文不對題、語無倫次…。

　　更糟的是，這四種 AI LLM大模型有長度或時間限制，除錯到一半常會說「長度超出限制，請開新對話或明天再來」。但「AI LLM新對話」就像「投胎轉世」，忘了前文，我得花時間整理目標、硬體環境（RTX 4050）、檔案位置（如C：\Fred\AI\AIcoding\Grok_test\RAG）、過去代碼和錯誤摘要…等等資料給「AI LLM新對話」，這對我這個沒代碼經驗的退休 CEO 來說，操作電腦已是挑戰，這重複勞動更是「可怕」的痛苦。我幾乎崩潰，直到 另一個AI LLM Grok 出現。

Grok 的建議與轉向 Bart + FAISS

　　一周前，Grok（xAI 的 AI）加入了我的旅程。它分析了我的困境，建議放棄 Facebook/rag_sequence_base（Facebook為RAG開發的整合性預訓練AI模型），因為這框架對小型資料和本地環境不友好。它推薦了一個簡單方案：用 fnlp/bart-base-chinese（輕量中文生成模型）搭配 FAISS（一種向量資料庫索引，可用來自製檢索器），並提到 Gemini 有免費 API（15 RPM，1,500 RPD），讓我能快速測試。這建議像一道光，點亮了我的迷霧。

　　我將原本13組問答的rag_she.json 優化為 rag_she_new.json，保留 10 條核心問答，確保每條對應我的七個問題（如：第六題「SHE參加過金曲獎?」）。從 第一版V1 開始，Grok 陪我調整 FAISS 的 k 值（從 3 到 10）、優化提示詞（從「總結本地資料」到「結合內部知識」），一步步解決問題。它的優勢在於無長度限制，能記住整個對話，無需我重複整理環境或錯誤，這大大減輕了我的痛苦。

　　隨著版本的更新，我訓練出來的 AI 模型答對的題數持續增加，但是很奇怪的在於第六題的回答，仍是「本地資料未提及」，這是個錯誤的回答。還好 Grok 建議加大 k 值並改進提示詞，到 V11，答案終於正確：
---------------------------------------------------------------------------------------
text
是的，SHE參加過金曲獎典禮。典禮結束後，她們與公司華研唱片總經理黃福瑞以及動力火車在高雄的冒煙的喬餐廳聚餐慶功。
---------------------------------------------------------------------------------------
　　其他問題也準確、自然，無亂碼、無錯誤。我給了 90 分，雖然未補充外部AI LLM Gemini 原有的內部知識（如 2003 年獲獎），但本地資料已完美回答。

最終成功：90 分的肯定

　　這 40 天，從知識蒸餾的混亂，到 Fine Tuning 的失誤，再到 RAG 的突破，我學到：對小型資料庫，RAG 比訓練「純AI LLM」生成更有效；選對工具（Bart + FAISS）比強行調整複雜的整合性模型更實際。Grok 的建議是關鍵，它告訴我放棄 rag_sequence_base，改用 Bart + FAISS，並提供 Gemini 免費測試的資訊，讓我從 V1 到 V11 的 18 次迭代成為可能。

　　它還幫我移除「提取的上下文」輸出，讓結果乾淨簡潔。更重要的是，它不像其他AI LLM 有「投胎轉世」的限制，讓我免於重複整理的痛苦，這對我這位「只會動嘴，拙於動手」的 CEO 是莫大幫助。

　　最終，V11 的回答完全基於 rag_she_new.json，自然通順。我特別滿意第六題，因為它證明系統能提取我的內幕（高雄慶功宴），而非僅靠外部 AI LLM 大模型內部知識。這正是我設計 rag_she.json 的初心：分辨外部與內部內容。

應用展望

　　如同這個 AI LLM+RAG 打造的「SHE粉絲俱樂部AI客服」系統，只要更換外部知識庫（如：將rag_she_new.json的內容更換為「企業策略問答資料」），就可變身成為「企業策略虛擬 AI 顧問」的雛形。

　　舉例來說，對OEM/ODM與零組件製造商來說，客戶Buyer下單前需要快速得到可用產能與設備的資訊（例如：接單前的ATP，Available to promise），RAG+LLM 的AI 智能客服系統能從企業內部建立類似rag_she.json這樣的專屬資料庫中提取精準答案，極為快速回應客戶詢問，省去人工翻查的麻煩（Gartner 2024預測，AI客服可降低30%查詢成本）。

　　工具機及設備業者則能用它回應技術以及售後服務問題，例如「這台CNC機床的軸距規格？」— RAG+AI LLM 能從內部手冊檢索答案，比單純使用RAG更人性化的回答，也比單純使用AI LLM 更精準及更具體。商品零售與服務業更直接受益，像咖啡廳可讓系統回答「今天有什麼甜點？」或預約查詢，提升顧客滿意度。試想，我當年經營華研時，若有這系統，粉絲問「SHE下場演唱會在哪？」就能瞬間回應，省下多少客服人力！

　　回到企業內部的日常運作，企業內部的教育訓練和知識管理（KM）的痛點在於，往往能夠回答新人或上下游部門疑難雜症問題的人，也是最沒有時間回答問題的人。這時候RAG+LLM就可以打造成這些專家們的「AI 智能分身」，提升資深內部專家的生產力。

　　RAG+AI LLM可從內部SOP及知識庫提取建議，無需翻遍文件。她的優勢在於「檢索+生成」，就像圖書館員從公司資料庫挑出答案，再用AI潤色成通順建議（Lewis et al.，2020，RAG論文）。對不同產業，我的建議是：設備或工具機業者可用RAG建技術支援系統，從產品手冊開始，逐步擴充問答庫；零售與服務業應聚焦客服自動化，先用免費API（如Gemini）測試，再升級雲端；製造業則可將老師傅經驗數位化，存成JSON檔，解決KM斷層。

　　而對於規模不同的企業，我建議小型企業（如我當年經營華研）可從免費工具入手，用 AI LLM+RAG 搭建簡單客服，花費不到千元台幣（僅需筆電）。中型企業應投資雲端算力（如AWS），擴充數據到數千條，提升精準度。大型企業若有算力，則可結合內部資料庫與 AI LLM API，API整合全廠資料，開發全自動化顧問，打造「數位大腦」。

　　這套方法讓我這位無代碼經驗的CEO都能上手，相信也能幫各行各業省錢又省力。我的經驗顯示，選對工具（RAG而非Fine Tuning）與助手（如：Grok而非單一模型）是關鍵。對無技術背景的CEO來說，失敗是學習的起點—40天的撞牆最終換來90分的突破。

結語與啟發

　　AI時代，競爭激烈甚於以往，企業不只要學會使用 AI LLM 大模型來寫程式、寫報告及畫圖。還要學習如何建置企業的 AI LLM 系統。這段歷程證明，非資訊科技技術人員學習建置 AI LLM 大模型系統是不難的，也不需要花幾十萬幾百萬上千萬上億買昂貴的尖端的GPU或AI伺服器機櫃，甚至完全可以利用公司或個人現有的電腦或NB，不必多花錢添購新設備，只需採用本文描述的學習策略。

　　特別是無法招募到專業AI工程師的中小企業，不用氣餒，可以組成讀書會來共學。建置企業專用的AI大模型不再是大企業及軟體廠商或學術單位才能做的事。有類似目標的朋友，我的建議是：從簡單方案開始（如 Bart + FAISS），善用免費資源（如 Gemini API），並選擇能記住上下文的助手（如 Grok，但其他AI LLM 的新版本也可能會有這個能力），避免「投胎轉世」的痛苦，多家 AI LLM 大模型並用輔助學習。

　　40 天前的夢想，今天終於實現雛形，感謝 ChatGPT、Gemini、Claude、DeepSeek 及 GPTGrok 等五位AI夥伴的陪伴！若未來想提升到 100 分，我可能會請它補充 SHE 的獲獎紀錄，但現在的 90 分已是一個美好結局。我將繼續航向AI領域的下一塊新大陸「AI Agent」（AI代理人）探索，我們下次見！