[單元11]AI NPU LLM Llama2 硬體推論加速器-學習筆記
PCIe FPGA實現llama2.c硬體推論加速器-學習筆記
TWD$2000
2 hours 37 mins
作者
ChipSkywalker
章節及內容
1 堂課
28 分鐘
Reading list and Key components of Llama2 Forward logic
28 分鐘
3 堂課
37 分鐘
XRT/Alveo U200 Platform setup
26 分鐘
Vitis FPGA Tool Installation (version 2020.2)
11 分鐘
下載課程Lab_Source壓縮檔案
由link下載 (submission-ck.zip)
2 堂課
62 分鐘
Lab 1 : llama2.c PCIe FPGA Accelerator implementation
45 分鐘
Lab 1 Demo Video
17 分鐘
1 堂課
14 分鐘
Lab 2: llama2.c CPU/GPU/FPGA Performance comparison
14 分鐘
1 堂課
16 分鐘
Future works: LLM H/W logic Improvement & Retarget to Embedded SoC FPGA
16 分鐘
產品介紹
[單元11] AI NPU LLM Llama2 硬體推論加速器-學習筆記
- 課程為一個快速學習筆記
- Andrej Karpathy大神的llama2.c及相關論文開源碼的FPGA硬體加速過程
- 軟體模擬Software Emulation
- 硬體實現Hardware Building
- 實際測試CPU/GPU/FPGA耗電及效能
- 學會使用FPGA做Llama 2 LLM POC, 快速實驗或研究電路架構
建議先修課程 : 單元6/10
課程注意事項
- 課程有效期 : 購買後三年(1095天)
開發板
- 本課程使用AMD/Xilinx Alveo U200
- 可以移植使用其他更大容量的Alveo卡
- 也可租用AWS EC2 F1 (其FPGA與Alveo U200 相同)
- 若無開發板,也可先使用Software Emulation,以軟體驗證功能
Lab 重點介紹
-----------------------------------------------------------------------------------------
Vitis/XRT流程: PCIe FPGA實現llama2.c硬體推論加速器
