- 發布:2026年03月19日
- 43人觀看
圖/本報資料庫商傳媒|何映辰/台北報導全球人工智慧(AI)晶片領導廠商輝達(Nvidia)昨日(17日)發表一項名為「KV快取轉換編碼」(KV Cache Transform Coding, KVTC)的嶄新技術,能大幅降低大型語言模型(LLM)處理對話歷史時的記憶體佔用,最高可達20倍,且不需更改模型權重。這項創新亦能將首個詞元(token)的生成時間加速達8倍,對企業級AI應用效率提升具關鍵意義。 AI多輪對話的記憶體瓶頸 在開發複雜的AI應用,如程式撰寫助理或聊天機器人時,LLM仰賴「鍵值(...









