企業 AI 知識庫怎麼做?RAG 是什麼、建置步驟與成本|奇鋒國際 PeakQi 跳到主要內容
← 回到觀點 AI 導入

企業 AI 知識庫怎麼做?RAG 是什麼、建置步驟與成本

企業 AI 知識庫多用 RAG:先從公司文件找出相關段落,再讓 AI 依段落回答並附出處。整理建置步驟、常見坑與成本。

2026 年 11 月 16 日 · 11 分鐘閱讀

封面:三份疊放的公司文件,最上面一份切成三段、其中一段被檢索放大鏡挑出,連到一個附有出處標籤的 AI 回答框

企業 AI 知識庫,是讓員工或客人用一句話提問,AI 就從公司自己的 SOP、產品手冊、客服問答與法規文件裡找出相關段落,依這些段落回答,並標出答案出自哪份文件、哪一段。目前最常見的做法叫 RAG(Retrieval-Augmented Generation,檢索增強生成):AI 先「查資料」再「寫答案」,不需要重新訓練模型,文件更新後答案就跟著更新。建置的順序是資料盤點與清理、切段與索引、檢索、回答附出處、權限控管,最後持續評估與更新;真正決定成敗的通常不是模型,而是資料整不整齊、權限有沒有在檢索時就擋住。以奇鋒國際 PeakQi 的標準模組為例,第一階段最快 10 個工作天上線,費用拆成導入費、月費、使用量費三塊,依資料量與範圍報價。

RAG 是什麼?用白話說明

RAG 就是「開書考」:AI 回答前先翻公司的資料,找到相關的幾段,再根據這幾段作答。不用 RAG 的 AI 像閉書考,只能憑訓練時讀過的內容回答,不知道你們公司上週改的退貨規定,也可能一本正經地編出答案。

這個做法出自 Lewis 等人 2020 年發表、獲 NeurIPS 2020 接受的論文〈Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks〉。論文把語言模型本身記住的知識稱為「參數記憶」,把外部可查詢的文件庫稱為「非參數記憶」,RAG 把兩者結合:模型負責理解與表達,文件庫負責提供事實。論文也指出,讓模型說明答案依據、更新它的知識,一直是待解的問題;RAG 的價值正好在這兩點——答案可以附出處,知識改文件就能更新。

一次完整的問答,背後是四個動作:

  1. 理解問題:使用者問「客人買了 20 天想退貨可以嗎?」
  2. 檢索:系統在文件庫裡找出最相關的幾段,例如退換貨辦法第 3 條、客服話術第 12 題。
  3. 生成:AI 只根據這幾段寫出回答。
  4. 附出處:回答下方列出文件名稱與段落,使用者點開就能核對。

RAG、微調、直接問通用 AI 差在哪

三種做法的差別在「公司知識放在哪裡」:直接問通用 AI,知識不在系統裡;微調是把知識訓練進模型;RAG 是把知識留在文件庫,每次回答時才去查。對大多數企業知識庫來說,RAG 是起步的首選,因為文件常改、需要出處、需要權限。

直接問通用 AI微調(Fine-tuning)RAG 知識庫
公司知識在哪不在系統裡,靠員工自己貼訓練進模型參數留在文件庫,回答時檢索
文件更新後每次重新貼要重新整理資料、重新訓練更新文件、重建索引即可
能不能附出處不能很難可以,指到文件與段落
權限控管靠員工自律模型學到就分不開檢索時依身分過濾
主要風險機密資料貼到個人帳號、版本混亂成本高、知識過期、仍可能編造資料髒或切段不好就答錯
適合個人查詢、寫作草稿固定語氣、特殊格式、專門用語SOP、手冊、客服問答、法規查詢

微調適合調整「說話方式」,例如固定的回覆格式或產業術語;要讓 AI「知道最新的事實」,RAG 比較便宜也好維護。兩者可以並用。

還有一個常被忽略的選項:資料量很小時,可以不做檢索。Anthropic 在 2024 年 9 月的〈Introducing Contextual Retrieval〉提到,知識庫小於約 20 萬個 token(約 500 頁)時,可以把整份資料直接放進提示裡讓模型讀。只有一本 30 頁員工手冊的公司,先不用急著建 RAG。

哪些資料與情境適合做企業 AI 知識庫

適合做成 AI 知識庫的資料有三個特徵:有人常問、答案寫在文件裡、答錯會有代價。四種最常見:

  • SOP 與內部規章:請假、報帳、出貨、門市開關店流程。
  • 產品手冊與規格:型號差異、保固條件、安裝步驟。業務與客服回答前要翻好幾份 PDF。
  • 客服問答:歷年整理過的常見問題、標準回覆、退換貨規定。可以接到 LINE 官方帳號對外回答,做法見LINE AI 客服串接 CRM。
  • 法規與合約條款:勞基法相關規定、產業法規、公司合約範本。重點是答案一定要能指回條號。

先不要做的情況:答案根本沒寫下來、只在資深員工腦袋裡;文件互相矛盾、沒人知道哪份是最新版;問題其實是「查數字」(庫存、訂單狀態),那該串資料庫,不是做知識庫。

奇鋒國際交付的掌櫃 AI裡,「外場招呼」助手的做法就是同一個概念:依店家上傳的菜單與店規回答常見問題;缺價格、日期這類硬事實時先問店家,不自己補。

企業 RAG 建置六個步驟

企業 RAG 的建置順序是:先整理資料,再談模型。六個步驟依序是資料盤點與清理、切段與索引、檢索、回答附出處、權限、評估與更新。

流程圖:企業 RAG 知識庫分成建置與問答兩段。建置段依序是資料盤點與清理、切段並補上下文、建立索引;問答段是使用者提問、依權限過濾、檢索相關段落、AI 依段落回答並附出處,找不到就轉人工;底部一條評估與更新的回饋線連回資料盤點
流程圖:企業 RAG 知識庫分成建置與問答兩段。建置段依序是資料盤點與清理、切段並補上下文、建立索引;問答段是使用者提問、依權限過濾、檢索相關段落、AI 依段落回答並附出處,找不到就轉人工;底部一條評估與更新的回饋線連回資料盤點
  1. 資料盤點與清理:列出要納入的文件、負責人、版本與生效日。刪掉舊版與重複檔,矛盾的地方先由人決定哪個算數。這一步很難完全交給外部,因為只有你們知道哪份才是對的。
  2. 切段與索引:把長文件切成一段一段(例如一個條文、一個問答一段),每段建立索引。切太長會混進無關內容,切太短會失去上下文。Anthropic 的 Contextual Retrieval 做法是替每一段補一句「這段出自哪份文件、在講什麼」再建索引;在他們的測試裡,前 20 個檢索結果漏掉正確段落的比例,從 5.7% 降到 3.7%(減少 35%),再加上關鍵字比對(BM25)降到 2.9%(減少 49%),再加上重新排序(reranking)降到 1.9%(減少 67%)。
  3. 檢索:使用者提問時找出最相關的幾段。只靠語意比對容易漏掉型號、條號這類精確字詞,所以實務上會同時用語意與關鍵字兩種比對。
  4. 回答附出處:要求 AI 只能根據檢索到的段落回答,每句話標出來源;找不到依據就說找不到,並轉給負責的人。
  5. 權限:依部門、職級、對內對外決定每個人能檢索哪些文件。必須在檢索時就過濾,不能等 AI 回答後才擋。
  6. 評估與更新:用真實問題定期測試,文件改版就重建索引,答錯的題目回頭修資料或切段。

整套從盤點開始的做法,可以對照企業 AI 導入怎麼開始的六個階段。

企業 AI 知識庫常見的四個坑

知識庫上線後出問題,原因多半不在 AI 不夠聰明,而在下面四件事。

  • 資料過期:舊版 SOP 沒下架,AI 照舊規定回答。解法是每份文件標版本、生效日與負責人,改版時舊版移出索引,並在回答出處顯示版本日期。
  • 權限外洩:所有文件放進同一個庫,門市人員問得到薪資辦法或客戶合約金額。AI 看得到的就可能說出來,所以權限要在檢索層處理,對外的客服知識庫和內部知識庫最好分開。
  • 沒有出處:回答看起來很合理,但沒人知道依據是什麼,出錯也查不到原因。每個回答都要能點回原文;奇鋒國際在新北市 AI 黑客松做的估價審查系統,就是每條算式都附查估辦法條號或作業手冊頁碼,審查人員點開就能核對。
  • PDF 表格與掃描檔:PDF 裡的表格抽成文字後,欄與列常常錯位,價目表、規格表最容易出事;掃描檔還要先做文字辨識。關鍵表格建議整理成試算表或資料庫,用查詢取值,數字計算交給程式,不讓語言模型自己算。

怎麼評估成效、成本怎麼估

評估 AI 知識庫要分開看兩件事:有沒有找到對的段落(檢索)和有沒有根據段落答對(回答)。只看「使用者滿不滿意」,出錯時分不清是資料、檢索還是回答的問題。

上線前從客服紀錄、內部群組裡挑一批真實問題,每題標好正確答案與應該引用的文件,當成固定測試集。每次改資料或設定後重跑一次,看這幾個指標:

指標看什麼
檢索命中正確段落有沒有出現在找到的結果裡
回答正確答案和標準答案是否一致
出處正確標的出處是否真的能佐證這個答案
該拒答時拒答文件裡沒有的問題,有沒有說找不到並轉人工
轉人工比例上線後每週追蹤,看哪類問題常答不出來

成本的部分,PeakQi 的費用結構和其他 AI 導入一樣分三塊:一次性導入費(資料盤點與清理、切段與索引、權限設定、串接與測試)、平台月費(系統使用與維運,文字類 AI 標準用量含在月費內)、AI 使用量費(圖片、影片這類高成本生成,依用量計費)。對外客服的知識問答,通常可從方案說明裡的「A・接住詢問」開始;文件量大、權限複雜的內部知識庫,則依範圍另外評估。全部依需求報價。

會讓知識庫報價變高的,主要是這幾項:

  1. 資料量與髒度:文件多、版本亂、要大量清理或遷移歷史資料。
  2. 格式:掃描檔、圖片、複雜表格比純文字費工。
  3. 權限角色:部門與職級越多,權限設計與測試越多。
  4. 串接來源:資料散在雲端硬碟、既有系統、LINE 官方帳號,每多一個來源就多一份串接。
  5. 更新頻率:每天都在改的資料,要做自動同步。

時程上,標準模組第一階段最快 10 個工作天上線;資料要大量清理、遷移或跨部門權限的,另行評估。費用三塊怎麼拆、哪些情況會變貴,詳見AI 自動化費用與時程拆解;知識庫若還要讓 AI 動手做事(查訂單、填表),就進入 AI Agent 的範圍。我們實際交付過的系統在案例,想知道公司哪些文件適合先做成 AI 知識庫,歡迎約個時間聊聊。

常見問題

Q:RAG 和 ChatGPT 上傳檔案有什麼不同? 上傳檔案適合個人臨時查詢,檔案散在每個人的帳號裡,版本與權限沒人管。企業 RAG 知識庫由公司統一維護文件版本,依身分決定誰能查什麼,每個回答都附出處,也能接到 LINE 或內部系統讓多人使用。

Q:AI 知識庫會不會亂編答案? 風險無法歸零,但可以大幅降低:要求 AI 只根據檢索到的段落回答、每句附出處、找不到依據就說找不到並轉人工,再用固定測試集定期檢查。對外回覆的內容,也可以先進待審區由人核可。

Q:資料要整理到什麼程度才能開始? 不用全部整理好。先挑一個問題最集中的範圍,例如客服常見問題或一份 SOP,確認哪份是最新版、誰負責更新,就可以開始;其他文件等第一段驗證有效再逐步加入。

Q:公司文件很少,需要做 RAG 嗎? 不一定。Anthropic 2024 年的說明提到,知識庫小於約 20 萬 token(約 500 頁)時,可以把整份資料直接放進提示讓模型讀。文件少、更新也少的公司,先用簡單做法,等文件變多或需要權限控管再改成 RAG。

Q:建一個企業 AI 知識庫要多久? 以 PeakQi 標準模組為例,第一階段最快 10 個工作天上線;資料需要大量清理、遷移,或有多部門權限的,依範圍另行評估。上線後前幾週還要依真實提問修資料與切段。


作者:PeakQi 奇鋒國際團隊。RAG 的定義引用 Lewis 等人〈Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks〉(NeurIPS 2020),檢索失敗率數字引用 Anthropic〈Introducing Contextual Retrieval〉(2024 年 9 月);費用結構與時程以 PeakQi 的方案說明與導入方法為準,不同廠商做法可能不同;案例內容以站上已公開的案例頁為準。發布:2026-11-16。