近日,商業信息查詢平臺天眼查披露了一項引人注目的專利授權信息。據悉,與知名人物Kimi有所關聯的北京月之暗面科技有限公司,成功獲得了一項名為“一種大語言推理系統及方法”的專利授權。
這項專利的核心內容,圍繞一種創新的大語言推理系統展開。該系統巧妙地融合了多個關鍵組件,包括至少一個預填充計算單元、生成計算單元以及緩存單元,共同協作以優化語言推理過程。
具體而言,預填充計算單元扮演著至關重要的角色。它能夠根據當前的推理請求以及過往的推理資源,進行智能化的預填充操作,從而生成當前推理所需的數據,并將這些數據分別傳遞給生成計算單元和緩存單元。
生成計算單元接收到這些數據后,便開始發揮其核心作用。它利用預設的大語言模型,對當前推理數據進行深度分析,并據此生成當前結果字。隨后,這些結果字被進一步加工成完整的推理結果,并發送至緩存單元存儲,同時,當前結果字也被直接輸出至用戶端,以供查看。
緩存單元在整個系統中同樣不可或缺。它不僅負責保存當前的推理數據、推理請求以及推理結果,還能夠根據推理請求的快速訪問需求,提供高效的數據檢索服務,進一步提升了系統的整體性能。
值得注意的是,這項專利所提出的技術方案,旨在顯著減少推理過程中的計算量,從而在保證推理效率的同時,大幅提升推理結果自然語言的流暢性與連續性。這無疑為人工智能領域的大語言推理技術,帶來了新的突破和發展方向。