企業 AI 知識庫,是讓員工或客人用一句話提問,AI 就從公司自己的 SOP、產品手冊、客服問答與法規文件裡找出相關段落,依這些段落回答,並標出答案出自哪份文件、哪一段。目前最常見的做法叫 RAG(Retrieval-Augmented Generation,檢索增強生成):AI 先「查資料」再「寫答案」,不需要重新訓練模型,文件更新後答案就跟著更新。建置的順序是資料盤點與清理、切段與索引、檢索、回答附出處、權限控管,最後持續評估與更新;真正決定成敗的通常不是模型,而是資料整不整齊、權限有沒有在檢索時就擋住。以奇鋒國際 PeakQi 的標準模組為例,第一階段最快 10 個工作天上線,費用拆成導入費、月費、使用量費三塊,依資料量與範圍報價。
RAG 是什麼?用白話說明
RAG 就是「開書考」:AI 回答前先翻公司的資料,找到相關的幾段,再根據這幾段作答。不用 RAG 的 AI 像閉書考,只能憑訓練時讀過的內容回答,不知道你們公司上週改的退貨規定,也可能一本正經地編出答案。
這個做法出自 Lewis 等人 2020 年發表、獲 NeurIPS 2020 接受的論文〈Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks〉。論文把語言模型本身記住的知識稱為「參數記憶」,把外部可查詢的文件庫稱為「非參數記憶」,RAG 把兩者結合:模型負責理解與表達,文件庫負責提供事實。論文也指出,讓模型說明答案依據、更新它的知識,一直是待解的問題;RAG 的價值正好在這兩點——答案可以附出處,知識改文件就能更新。
一次完整的問答,背後是四個動作:
- 理解問題:使用者問「客人買了 20 天想退貨可以嗎?」
- 檢索:系統在文件庫裡找出最相關的幾段,例如退換貨辦法第 3 條、客服話術第 12 題。
- 生成:AI 只根據這幾段寫出回答。
- 附出處:回答下方列出文件名稱與段落,使用者點開就能核對。
RAG、微調、直接問通用 AI 差在哪
三種做法的差別在「公司知識放在哪裡」:直接問通用 AI,知識不在系統裡;微調是把知識訓練進模型;RAG 是把知識留在文件庫,每次回答時才去查。對大多數企業知識庫來說,RAG 是起步的首選,因為文件常改、需要出處、需要權限。
| 直接問通用 AI | 微調(Fine-tuning) | RAG 知識庫 | |
|---|---|---|---|
| 公司知識在哪 | 不在系統裡,靠員工自己貼 | 訓練進模型參數 | 留在文件庫,回答時檢索 |
| 文件更新後 | 每次重新貼 | 要重新整理資料、重新訓練 | 更新文件、重建索引即可 |
| 能不能附出處 | 不能 | 很難 | 可以,指到文件與段落 |
| 權限控管 | 靠員工自律 | 模型學到就分不開 | 檢索時依身分過濾 |
| 主要風險 | 機密資料貼到個人帳號、版本混亂 | 成本高、知識過期、仍可能編造 | 資料髒或切段不好就答錯 |
| 適合 | 個人查詢、寫作草稿 | 固定語氣、特殊格式、專門用語 | SOP、手冊、客服問答、法規查詢 |
微調適合調整「說話方式」,例如固定的回覆格式或產業術語;要讓 AI「知道最新的事實」,RAG 比較便宜也好維護。兩者可以並用。
還有一個常被忽略的選項:資料量很小時,可以不做檢索。Anthropic 在 2024 年 9 月的〈Introducing Contextual Retrieval〉提到,知識庫小於約 20 萬個 token(約 500 頁)時,可以把整份資料直接放進提示裡讓模型讀。只有一本 30 頁員工手冊的公司,先不用急著建 RAG。
哪些資料與情境適合做企業 AI 知識庫
適合做成 AI 知識庫的資料有三個特徵:有人常問、答案寫在文件裡、答錯會有代價。四種最常見:
- SOP 與內部規章:請假、報帳、出貨、門市開關店流程。
- 產品手冊與規格:型號差異、保固條件、安裝步驟。業務與客服回答前要翻好幾份 PDF。
- 客服問答:歷年整理過的常見問題、標準回覆、退換貨規定。可以接到 LINE 官方帳號對外回答,做法見LINE AI 客服串接 CRM。
- 法規與合約條款:勞基法相關規定、產業法規、公司合約範本。重點是答案一定要能指回條號。
先不要做的情況:答案根本沒寫下來、只在資深員工腦袋裡;文件互相矛盾、沒人知道哪份是最新版;問題其實是「查數字」(庫存、訂單狀態),那該串資料庫,不是做知識庫。
奇鋒國際交付的掌櫃 AI裡,「外場招呼」助手的做法就是同一個概念:依店家上傳的菜單與店規回答常見問題;缺價格、日期這類硬事實時先問店家,不自己補。
企業 RAG 建置六個步驟
企業 RAG 的建置順序是:先整理資料,再談模型。六個步驟依序是資料盤點與清理、切段與索引、檢索、回答附出處、權限、評估與更新。

- 資料盤點與清理:列出要納入的文件、負責人、版本與生效日。刪掉舊版與重複檔,矛盾的地方先由人決定哪個算數。這一步很難完全交給外部,因為只有你們知道哪份才是對的。
- 切段與索引:把長文件切成一段一段(例如一個條文、一個問答一段),每段建立索引。切太長會混進無關內容,切太短會失去上下文。Anthropic 的 Contextual Retrieval 做法是替每一段補一句「這段出自哪份文件、在講什麼」再建索引;在他們的測試裡,前 20 個檢索結果漏掉正確段落的比例,從 5.7% 降到 3.7%(減少 35%),再加上關鍵字比對(BM25)降到 2.9%(減少 49%),再加上重新排序(reranking)降到 1.9%(減少 67%)。
- 檢索:使用者提問時找出最相關的幾段。只靠語意比對容易漏掉型號、條號這類精確字詞,所以實務上會同時用語意與關鍵字兩種比對。
- 回答附出處:要求 AI 只能根據檢索到的段落回答,每句話標出來源;找不到依據就說找不到,並轉給負責的人。
- 權限:依部門、職級、對內對外決定每個人能檢索哪些文件。必須在檢索時就過濾,不能等 AI 回答後才擋。
- 評估與更新:用真實問題定期測試,文件改版就重建索引,答錯的題目回頭修資料或切段。
整套從盤點開始的做法,可以對照企業 AI 導入怎麼開始的六個階段。
企業 AI 知識庫常見的四個坑
知識庫上線後出問題,原因多半不在 AI 不夠聰明,而在下面四件事。
- 資料過期:舊版 SOP 沒下架,AI 照舊規定回答。解法是每份文件標版本、生效日與負責人,改版時舊版移出索引,並在回答出處顯示版本日期。
- 權限外洩:所有文件放進同一個庫,門市人員問得到薪資辦法或客戶合約金額。AI 看得到的就可能說出來,所以權限要在檢索層處理,對外的客服知識庫和內部知識庫最好分開。
- 沒有出處:回答看起來很合理,但沒人知道依據是什麼,出錯也查不到原因。每個回答都要能點回原文;奇鋒國際在新北市 AI 黑客松做的估價審查系統,就是每條算式都附查估辦法條號或作業手冊頁碼,審查人員點開就能核對。
- PDF 表格與掃描檔:PDF 裡的表格抽成文字後,欄與列常常錯位,價目表、規格表最容易出事;掃描檔還要先做文字辨識。關鍵表格建議整理成試算表或資料庫,用查詢取值,數字計算交給程式,不讓語言模型自己算。
怎麼評估成效、成本怎麼估
評估 AI 知識庫要分開看兩件事:有沒有找到對的段落(檢索)和有沒有根據段落答對(回答)。只看「使用者滿不滿意」,出錯時分不清是資料、檢索還是回答的問題。
上線前從客服紀錄、內部群組裡挑一批真實問題,每題標好正確答案與應該引用的文件,當成固定測試集。每次改資料或設定後重跑一次,看這幾個指標:
| 指標 | 看什麼 |
|---|---|
| 檢索命中 | 正確段落有沒有出現在找到的結果裡 |
| 回答正確 | 答案和標準答案是否一致 |
| 出處正確 | 標的出處是否真的能佐證這個答案 |
| 該拒答時拒答 | 文件裡沒有的問題,有沒有說找不到並轉人工 |
| 轉人工比例 | 上線後每週追蹤,看哪類問題常答不出來 |
成本的部分,PeakQi 的費用結構和其他 AI 導入一樣分三塊:一次性導入費(資料盤點與清理、切段與索引、權限設定、串接與測試)、平台月費(系統使用與維運,文字類 AI 標準用量含在月費內)、AI 使用量費(圖片、影片這類高成本生成,依用量計費)。對外客服的知識問答,通常可從方案說明裡的「A・接住詢問」開始;文件量大、權限複雜的內部知識庫,則依範圍另外評估。全部依需求報價。
會讓知識庫報價變高的,主要是這幾項:
- 資料量與髒度:文件多、版本亂、要大量清理或遷移歷史資料。
- 格式:掃描檔、圖片、複雜表格比純文字費工。
- 權限角色:部門與職級越多,權限設計與測試越多。
- 串接來源:資料散在雲端硬碟、既有系統、LINE 官方帳號,每多一個來源就多一份串接。
- 更新頻率:每天都在改的資料,要做自動同步。
時程上,標準模組第一階段最快 10 個工作天上線;資料要大量清理、遷移或跨部門權限的,另行評估。費用三塊怎麼拆、哪些情況會變貴,詳見AI 自動化費用與時程拆解;知識庫若還要讓 AI 動手做事(查訂單、填表),就進入 AI Agent 的範圍。我們實際交付過的系統在案例,想知道公司哪些文件適合先做成 AI 知識庫,歡迎約個時間聊聊。
常見問題
Q:RAG 和 ChatGPT 上傳檔案有什麼不同? 上傳檔案適合個人臨時查詢,檔案散在每個人的帳號裡,版本與權限沒人管。企業 RAG 知識庫由公司統一維護文件版本,依身分決定誰能查什麼,每個回答都附出處,也能接到 LINE 或內部系統讓多人使用。
Q:AI 知識庫會不會亂編答案? 風險無法歸零,但可以大幅降低:要求 AI 只根據檢索到的段落回答、每句附出處、找不到依據就說找不到並轉人工,再用固定測試集定期檢查。對外回覆的內容,也可以先進待審區由人核可。
Q:資料要整理到什麼程度才能開始? 不用全部整理好。先挑一個問題最集中的範圍,例如客服常見問題或一份 SOP,確認哪份是最新版、誰負責更新,就可以開始;其他文件等第一段驗證有效再逐步加入。
Q:公司文件很少,需要做 RAG 嗎? 不一定。Anthropic 2024 年的說明提到,知識庫小於約 20 萬 token(約 500 頁)時,可以把整份資料直接放進提示讓模型讀。文件少、更新也少的公司,先用簡單做法,等文件變多或需要權限控管再改成 RAG。
Q:建一個企業 AI 知識庫要多久? 以 PeakQi 標準模組為例,第一階段最快 10 個工作天上線;資料需要大量清理、遷移,或有多部門權限的,依範圍另行評估。上線後前幾週還要依真實提問修資料與切段。
作者:PeakQi 奇鋒國際團隊。RAG 的定義引用 Lewis 等人〈Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks〉(NeurIPS 2020),檢索失敗率數字引用 Anthropic〈Introducing Contextual Retrieval〉(2024 年 9 月);費用結構與時程以 PeakQi 的方案說明與導入方法為準,不同廠商做法可能不同;案例內容以站上已公開的案例頁為準。發布:2026-11-16。
