大型語言模型編譯與最佳化技術

技術內容

大型語言模型的運算力需求高，如何減少運算量，提昇效能，以佈署於邊緣端／裝置端，已成為業界所面臨的挑戰。大型語言模型的編譯與最佳化技術，包括算子融合、排程和量化，可以加速運行效率和性能，藉由這些先進的編譯技術，得以在資源受限的環境中高效運行這些模型，實現邊緣運算，減少雲端傳輸風險，不僅有助於降低計算成本，也能提升數據隱私性。
 

---

單位：電子與光電系統研究所
姓名：陳鼎升  
電話：03-5915499
信箱：justinchen@itri.org.tw