行動通訊標準透過協調技術協定以促進不同供應商的網路和設備之間的互通性，在電信生態系統中發揮著至關重要的作用。隨著這些標準的發展，電信公司面臨著管理複雜性和數量的持續挑戰。
透過利用生成式人工智慧，電信公司可以自動解釋和應用技術標準。這減少了瀏覽、分析和實施大量規範中的規則和協議所需的時間和精力。為了展示生成式人工智慧在處理標準文件方面的強大功能，我們為 O-RAN（開放式無線電存取網路）標準開發了一個聊天機器人演示。
O-RAN 提供了一組規範，旨在透過使用開放介面和模組化硬體和軟體來促進電信網路的無線存取網路 (RAN) 元件的互通性、開放性和創新。
這篇文章詳細介紹了我們的方法，該方法使用NVIDIA NIM微服務和檢索增強生成 (RAG)來有效產生對涉及大量技術規範和工作流程的複雜查詢的回應。這證明了生成式人工智慧在改變產業實踐和有效管理複雜標準方面的潛力。
O-RAN 聊天機器人 RAG 架構
為了部署 O-RAN 聊天機器人，我們使用了專為雲端原生、端對端 RAG 應用程式設計的 NIM 微服務。具體來說，我們使用NVIDIA NeMo Retriever文字嵌入 NIM NV-Embed-QA-Mistral-7B-v2將 O-RAN 文件和使用者查詢中的段落轉換為向量表示。此外，我們還實作了基於相關性的 NeMo Retriever 文字重新排序 NIM，以對檢索到的段落進行重新排序，從而改善語義排序。
為了管理資料流並確保組件之間的無縫交互，我們使用 LangChain 框架整合了各種聊天機器人元素。我們選擇 GPU 加速的 FAISS 向量資 香港電話號碼數據 料庫來 儲存嵌入，並使用大型語言模型 (LLM)的 NIM 微服務來產生答案。我們使用 Streamlit 實作了一個前端，使用戶能夠直接與聊天機器人互動。此外，我們也部署了NVIDIA NeMo Guardrails，以確保提供的答案既相關又真實，並進一步增強使用者體驗。圖 1 展示了該架構。若要下載參考程式碼，請存取NVIDIA/GenerativeAIExamples GitHub 儲存庫。
圖 1. O-RAN 聊天機器人 RAG 元件概述
幼稚的 RAG 挑戰
一旦我們建立了沒有增強功能的基本 RAG 架構（Naive RAG），我們注意到回應中存在一些問題。首先，提供的答案往往過於冗長，而且聊天機器人的語氣與預期的上下文不符。我們能夠透過適當的提示調整來改進這些方面。
其次，我們觀察到基本的 RAG 管道無法檢索一些相關文檔，導致響應不準確或具有誤導性。此外，管道很難準確回答最複雜的問題，通常會導致部分正確的答案或幻覺。
雖然及時調整成功解決了語氣和冗長問題，但需要採用不同的方法來應對檢索和回應準確性方面的挑戰。為了解決這些問題，我們首先嘗試了高階檢索策略，然後評估了不同的語言模型。這些努力旨在優化機器人的整體質量，這將在以下部分中詳細介紹。
優化檢索策略
為了解決檢索準確性問題，我們仔細檢查了檢索內容不完整的查詢。我們發現，問題經常出現是因為答案的相關部分分佈在不同的文件中，導致檢 如何利用 chatgpt 來最大化您的小型企業 索系統無法存取所有必要的上下文。為了應對這項挑戰，我們透過試驗兩種進階檢索方法（高級 RAG 和 HyDE）來探索對基本 RAG 的增強，這可能會提高效能。
高級RAG
我們嘗試的第一個增強功能是實作查詢轉換技術，稱為Advanced RAG，它使用 LLM 從初始查詢產生多個子查詢。該方法旨在透過擴展搜尋空間和 廣告數據 細化檢索文件的相關性來提高檢索準確性。圖 2 說明了高階 RAG 的結構。
圖 2. 高階 RAG 工作流程
海德拉格
接下來，我們探索了另一種稱為 HyDE（假設文件嵌入）RAG 的方法。HyDE透過考慮潛在答案來增強檢索，使系統能夠找到更多上下文相關的文件。這項技術之前已經超越了許多密集型檢索器，並且在各種任務中表現出與微調檢索器相當的性能。圖 3 概述了我們如何實施 HyDE RAG 及其與檢索過程的整合。
圖 3. HyDE RAG 工作流程
獵犬策略評估
在實施高級 RAG 和 HyDE RAG 技術後，我們繼續評估其與基本 Naive RAG 相比的性能。我們的評估將人類專業知識的見解與自動化方法的效率和一致性相結合，充分利用了這兩種方法的優勢。
對於人工評估，我們聘請了 O-RAN 工程師提出了 20 個問題，涵蓋了最新標準版本的各個方面。然後，我們使用所有三種 RAG 方法來產生答案：Naive RAG、Advanced RAG 和 HyDE RAG。專家根據整體品質以及問題答案的相關性，以 1 到 5 的等級來評估每個答案的品質。
對於自動化評估，我們使用了 RAGA，這是一個開源框架，採用最先進的法學碩士作為法官，以實現評估過程的自動化。圖 4 說明了我們的評估方法，顯示如何整合人工評估和自動評估以提供 RAG 技術的全面比較。
NVIDIA LLM NIM 選拔
在確定最佳檢索器策略後，我們的目標是透過評估不同的 LLM NIM 微服務來進一步提高答案準確性。如下面的工作流程所示，我們嘗試了各種模型以確定最準確的模型。使用 Advanced RAG 管道，我們使用不同的 LLM NIM 微服務產生答案並評估其效能。為此，我們採用了 RAGA 框架，使用 LLM-as-a-Judge 來計算兩個關鍵指標：忠誠度和答案相關性。
鑑於我們需要比較大量的 NIM 微服務，我們選擇優先考慮自動評估而不是人工評估，後者既耗時又需要大量的工程資源。圖 6 說明了我們的 LLM NIM 評估流程。
圖 6. NVIDIA LLM NIM 評估流程
根據圖 7 的結果，我們注意到所有法學碩士的表現都相當，顯示它們之間的表現差異很小。這表明檢索優化是關鍵因素。經過完善後，它使所有開源法學碩士都能達到可比的性能。
圖 7. RAGA 對不同 LLM NIM 微服務的 LLM-as-a-Judge 評估結果
結論
我們展示了建立高級 RAG 管道的價值，透過利用 NVIDIA LLM NIM 微服務和 NeMo Retriever 嵌入和重新排序 NIM 微服務，創建能夠理解 O-RAN 技術規範的專家聊天機器人。透過利用先進檢索技術增強的開源法學碩士，我們顯著提高了對複雜技術問題的回答的準確性。
我們的評估框架表明，高級 RAG 方法在檢索準確性和整體響應品質方面始終優於其他方法。 O-RAN 聊天機器人的成功凸顯出，整合 NVIDIA 端對端平台來開發客製化生成式 AI 使電信公司能夠提高處理技術標準的效率，從而在快速發展的電信行業中保持競爭優勢。