最近在嘗試將開(kāi)源大語(yǔ)言模型LLM部署到本地進(jìn)行推理或微調(diào)時(shí)很多開(kāi)發(fā)者朋友可能都面臨一個(gè)現(xiàn)實(shí)問(wèn)題手頭沒(méi)有高端的 NVIDIA GPU。無(wú)論是成本考量還是設(shè)備限制NVIDIA 的 CUDA 生態(tài)似乎成了唯一的“入場(chǎng)券”。然而隨著 Intel 持續(xù)發(fā)力其獨(dú)立顯卡產(chǎn)品線特別是面向工作站的 Arc Pro 系列如 B60、B70一個(gè)新的可能性出現(xiàn)了——能否利用這些 Intel GPU 來(lái)運(yùn)行 LLM本文將圍繞LLM Scaler這一概念深入探討如何為 Intel Arc Pro B60/B70 等 GPU 提供 LLM 支持。我們將從底層原理、環(huán)境搭建、代碼實(shí)戰(zhàn)到性能調(diào)優(yōu)為你提供一套完整的、可落地的解決方案。無(wú)論你是想利用手頭的 Intel 顯卡入門(mén) AI還是在尋找 CUDA 之外的替代方案這篇文章都將為你提供清晰的路徑。1. 背景與核心概念為什么需要 LLM 對(duì) Intel GPU 的支持在深入技術(shù)細(xì)節(jié)之前我們首先要理解幾個(gè)核心概念以及當(dāng)前面臨的挑戰(zhàn)。大語(yǔ)言模型LLM是參數(shù)規(guī)模巨大的深度學(xué)習(xí)模型其訓(xùn)練和推理過(guò)程涉及海量的矩陣和張量運(yùn)算。這些計(jì)算具有高度的并行性因此圖形處理器GPU因其并行計(jì)算架構(gòu)而成為運(yùn)行 LLM 的首選硬件。長(zhǎng)期以來(lái)NVIDIA 的 GPU 憑借其CUDA并行計(jì)算平臺(tái)和豐富的軟件生態(tài)如 cuDNN、TensorRT在 AI 領(lǐng)域占據(jù)了主導(dǎo)地位。Intel Arc Pro B60/B70是 Intel 推出的面向工作站的專業(yè)級(jí)獨(dú)立顯卡。它們基于 Xe HPG 微架構(gòu)支持硬件光線追蹤、AI 加速通過(guò) Xe Matrix Extensions, XMX以及廣泛的媒體編解碼。從硬件規(guī)格上看它們具備進(jìn)行 AI 推理計(jì)算的潛力。那么核心矛盾點(diǎn)在于主流的 LLM 框架如 PyTorch、TensorFlow和模型庫(kù)如 Hugging Face Transformers默認(rèn)深度集成 CUDA為 NVIDIA GPU 提供了“開(kāi)箱即用”的支持。而對(duì)于 Intel GPU則需要一個(gè)“橋梁”或“適配層”來(lái)將模型的運(yùn)算指令映射到 Intel GPU 的硬件指令集上。這就是LLM Scaler或類(lèi)似工具需要解決的問(wèn)題——它不是一個(gè)單一的軟件而是一套技術(shù)棧的組合旨在擴(kuò)展 LLM 生態(tài)對(duì) Intel GPU 的支持能力。為什么這件事很重要硬件多樣性打破 NVIDIA 的壟斷為開(kāi)發(fā)者和企業(yè)提供更多硬件選擇有助于降低成本并促進(jìn)競(jìng)爭(zhēng)。利用現(xiàn)有資源許多工作站已經(jīng)配備了 Intel Arc Pro 顯卡若能用于 AI 計(jì)算則能充分利用現(xiàn)有硬件投資。軟件生態(tài)建設(shè)推動(dòng) Intel oneAPI 等開(kāi)放、跨廠商的軟件生態(tài)發(fā)展符合行業(yè)長(zhǎng)期利益。接下來(lái)的章節(jié)我們將一步步拆解如何搭建這個(gè)“橋梁”。2. 環(huán)境準(zhǔn)備與版本說(shuō)明在開(kāi)始之前請(qǐng)確保你擁有以下環(huán)境。本文以Windows 11/WSL2 Ubuntu 22.04和Intel Arc Pro B60/B70顯卡為例進(jìn)行說(shuō)明原理同樣適用于其他支持 Intel GPU 的平臺(tái)。2.1 硬件與驅(qū)動(dòng)GPU: Intel Arc Pro B60 或 B70。請(qǐng)確保顯卡已正確安裝并通電。操作系統(tǒng): Windows 10/11 或 Linux推薦 Ubuntu 22.04 LTS。Linux 環(huán)境通常對(duì)開(kāi)發(fā)更友好。驅(qū)動(dòng)程序: 這是最關(guān)鍵的一步。必須安裝 Intel 官方發(fā)布的最新版顯卡驅(qū)動(dòng)。Windows: 從 Intel 官網(wǎng)下載并安裝Intel? Arc? Iris? Xe Graphics - Windows最新版驅(qū)動(dòng)。Linux: 對(duì)于 Ubuntu 22.04建議使用 Intel 提供的Intel? GPU Installer for Linux* OS腳本或添加ppa:intel-graphics/intel-graphicsPPA 源來(lái)安裝最新驅(qū)動(dòng)。確保驅(qū)動(dòng)支持OpenCL和Level ZeroIntel 的低級(jí)別并行計(jì)算接口。2.2 軟件棧與關(guān)鍵組件我們的目標(biāo)是構(gòu)建一個(gè)從 LLM 框架到 Intel GPU 的完整通路。核心軟件棧如下[LLM 應(yīng)用/PyTorch] - [Intel Extension for PyTorch] - [oneAPI 基礎(chǔ)工具包] - [Intel GPU 驅(qū)動(dòng)]Python: 推薦使用 Python 3.9 或 3.10?？梢允褂?Anaconda 或 Miniconda 創(chuàng)建獨(dú)立環(huán)境。conda create -n intel-llm python3.10 conda activate intel-llmPyTorch: 這是運(yùn)行大多數(shù) LLM 的框架。我們需要安裝支持 Intel GPU 的特定版本。重要: 不要直接從 PyTorch 官網(wǎng)安裝默認(rèn)的 CUDA 版本。我們將通過(guò) Intel Extension for PyTorch (IPEX) 來(lái)獲得對(duì) Intel GPU 的支持。Intel Extension for PyTorch (IPEX): 這是核心的“適配層”。它將 PyTorch 的算子擴(kuò)展使其能夠調(diào)用 oneAPI 庫(kù)在 Intel GPU 上執(zhí)行。官方倉(cāng)庫(kù)https://github.com/intel/intel-extension-for-pytorchIntel? oneAPI Base Toolkit: 提供底層的數(shù)學(xué)庫(kù)和運(yùn)行時(shí)環(huán)境例如 oneMKL數(shù)學(xué)核心庫(kù)、oneDNN深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)庫(kù)等。IPEX 依賴于它。2.3 示例項(xiàng)目結(jié)構(gòu)我們將創(chuàng)建一個(gè)簡(jiǎn)單的項(xiàng)目來(lái)演示整個(gè)過(guò)程。intel_llm_demo/ ├── requirements.txt # 依賴列表 ├── check_environment.py # 環(huán)境檢查腳本 ├── model_loader.py # 模型加載與推理腳本 └── README.md3. 核心原理與軟件棧拆解3.1 Intel GPU 計(jì)算接口Level Zero 與 OpenCLIntel GPU 主要通過(guò)兩種接口進(jìn)行通用計(jì)算Level Zero (L0): 英特爾推出的低開(kāi)銷(xiāo)、高性能的底層異構(gòu)計(jì)算接口旨在直接控制硬件提供比 OpenCL 更低的延遲和更高的控制粒度。它是 oneAPI 和 IPEX 的首選后端。OpenCL: 跨廠商的開(kāi)放式計(jì)算標(biāo)準(zhǔn)兼容性更廣但開(kāi)銷(xiāo)可能略高于 L0。對(duì)于 LLM 場(chǎng)景追求極致性能時(shí)Level Zero 是推薦的后端。3.2 Intel Extension for PyTorch (IPEX) 的作用IPEX 扮演了“翻譯官”和“優(yōu)化器”的雙重角色算子擴(kuò)展與映射: 將 PyTorch 的標(biāo)準(zhǔn)算子如torch.matmul,torch.nn.Linear實(shí)現(xiàn)為針對(duì) Intel GPU 優(yōu)化的版本。圖優(yōu)化: 在模型執(zhí)行前對(duì)計(jì)算圖進(jìn)行融合、常量折疊等優(yōu)化減少內(nèi)核啟動(dòng)開(kāi)銷(xiāo)和內(nèi)存訪問(wèn)。自動(dòng)混合精度: 支持torch.bfloat16和float16利用 Intel GPU 的 XMX 矩陣引擎加速計(jì)算這對(duì) LLM 推理至關(guān)重要。設(shè)備管理: 提供了to(xpu)方法類(lèi)比 CUDA 的to(cuda)用于將張量和模型移動(dòng)到 Intel GPU 上。3.3 與 CUDA 生態(tài)的對(duì)比理解差異有助于避坑特性NVIDIA CUDA 生態(tài)Intel oneAPI 生態(tài) (通過(guò) IPEX)核心運(yùn)行時(shí)CUDA Driver RuntimeIntel GPU Driver Level Zero/OpenCL數(shù)學(xué)庫(kù)cuBLASoneMKL深度學(xué)習(xí)庫(kù)cuDNNoneDNNPyTorch 集成原生torch.cuda需安裝intel_extension_for_pytorch設(shè)備標(biāo)識(shí)‘cuda‘或‘cuda:0‘‘xpu‘或‘xpu:0‘主流支持度極高默認(rèn)選項(xiàng)快速增長(zhǎng)需額外配置4. 完整實(shí)戰(zhàn)在 Intel Arc Pro GPU 上運(yùn)行 LLM現(xiàn)在讓我們開(kāi)始動(dòng)手將一個(gè)開(kāi)源 LLM 運(yùn)行在 Intel Arc Pro 顯卡上。我們以 Hugging Face 上的Qwen/Qwen2.5-1.5B-Instruct模型為例這是一個(gè)參數(shù)規(guī)模適中、對(duì)硬件要求相對(duì)友好的模型。4.1 創(chuàng)建并激活 Conda 環(huán)境conda create -n ipex-llm python3.10 -y conda activate ipex-llm4.2 安裝關(guān)鍵依賴創(chuàng)建requirements.txt文件torch2.1.0 intel-extension-for-pytorch2.1.0 transformers4.38.0 accelerate0.27.0 sentencepiece # 某些模型的分詞器需要安裝命令 根據(jù)你的操作系統(tǒng)安裝命令有所不同。以下是針對(duì)Linux的安裝方式這是最直接的方式。Windows 用戶可能需要通過(guò) pip 安裝 wheel 包請(qǐng)參考 IPEX 官方文檔獲取對(duì)應(yīng)的 Windows wheel 文件鏈接。# 首先安裝 PyTorch (CPU版本即可IPEX會(huì)覆蓋其GPU部分) pip install torch2.1.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 安裝 Intel Extension for PyTorch # 請(qǐng)?jiān)L問(wèn) https://github.com/intel/intel-extension-for-pytorch 查看最新安裝命令 # 以下命令適用于 Linux 和 IPEX 2.1.0 pip install intel-extension-for-pytorch2.1.0 --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/cpu/us/ # 安裝其他依賴 pip install -r requirements.txt4.3 編寫(xiě)環(huán)境檢查腳本創(chuàng)建check_environment.py驗(yàn)證環(huán)境是否正確配置。# check_environment.py import torch import intel_extension_for_pytorch as ipex print(fPyTorch version: {torch.__version__}) print(fIPEX version: {ipex.__version__}) # 檢查 XPU (Intel GPU) 是否可用 if torch.xpu.is_available(): device_count torch.xpu.device_count() print(f\n? Intel GPU (XPU) is available! Number of devices: {device_count}) for i in range(device_count): device_name torch.xpu.get_device_name(i) print(f Device {i}: {device_name}) props torch.xpu.get_device_properties(i) print(f Total memory: {props.total_memory / 1024**3:.2f} GB) else: print(\n? Intel GPU (XPU) is NOT available. Please check your driver and installation.) print(常見(jiàn)原因) print(1. Intel GPU 驅(qū)動(dòng)未正確安裝或版本太舊。) print(2. 未安裝 oneAPI Base Toolkit 或 Level Zero 運(yùn)行時(shí)。) print(3. 在虛擬環(huán)境如VMware中運(yùn)行未啟用GPU直通。) # 檢查當(dāng)前設(shè)備 device torch.device(xpu if torch.xpu.is_available() else cpu) print(f\nCurrent device will be: {device})運(yùn)行該腳本python check_environment.py如果輸出顯示識(shí)別到了你的 Intel Arc Pro 顯卡如Intel(R) Arc(TM) Pro B60并且內(nèi)存大小正確那么恭喜你環(huán)境配置成功了一大半。4.4 編寫(xiě)模型加載與推理腳本創(chuàng)建model_loader.py。# model_loader.py import torch from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline import intel_extension_for_pytorch as ipex import time def load_model_on_intel_gpu(model_idQwen/Qwen2.5-1.5B-Instruct): 將 Hugging Face 模型加載到 Intel GPU 上并進(jìn)行優(yōu)化。 print(fLoading model: {model_id}) # 1. 加載分詞器 tokenizer AutoTokenizer.from_pretrained(model_id, trust_remote_codeTrue) # 設(shè)置 padding token如果模型沒(méi)有 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token # 2. 加載模型先加載到CPU model AutoModelForCausalLM.from_pretrained( model_id, torch_dtypetorch.bfloat16, # 使用 bfloat16 以節(jié)省顯存并利用XMX加速 trust_remote_codeTrue, device_mapauto, # 對(duì)于多設(shè)備但這里我們先手動(dòng)管理 ) # 3. 檢查并移動(dòng)到 Intel GPU (XPU) if torch.xpu.is_available(): device torch.device(xpu:0) model model.to(device) print(fModel moved to Intel GPU: {torch.xpu.get_device_name(0)}) else: device torch.device(cpu) print(Warning: Intel GPU not available, falling back to CPU.) # 4. 使用 IPEX 進(jìn)行優(yōu)化 (重要) # ipex.optimize 會(huì)對(duì)模型進(jìn)行圖優(yōu)化提升在XPU上的性能。 model ipex.optimize(model, dtypetorch.bfloat16) return model, tokenizer, device def generate_text(model, tokenizer, device, prompt, max_new_tokens100): 使用模型生成文本。 # 將輸入編碼并移動(dòng)到對(duì)應(yīng)設(shè)備 inputs tokenizer(prompt, return_tensorspt, paddingTrue, truncationTrue) inputs {k: v.to(device) for k, v in inputs.items()} # 生成 with torch.no_grad(): # 推理階段不需要計(jì)算梯度 start_time time.time() outputs model.generate( **inputs, max_new_tokensmax_new_tokens, do_sampleTrue, # 使用采樣而非貪婪解碼使輸出更多樣 temperature0.7, top_p0.9, pad_token_idtokenizer.pad_token_id, eos_token_idtokenizer.eos_token_id, ) generation_time time.time() - start_time # 解碼輸出 generated_text tokenizer.decode(outputs[0], skip_special_tokensTrue) return generated_text, generation_time if __name__ __main__: # 加載模型 model, tokenizer, device load_model_on_intel_gpu() # 測(cè)試提示詞 test_prompt 請(qǐng)用中文解釋一下什么是大語(yǔ)言模型。 print(f\nInput prompt: {test_prompt}) # 生成文本 generated_text, gen_time generate_text(model, tokenizer, device, test_prompt, max_new_tokens150) print(f\nGenerated text:\n{generated_text}) print(f\n?? Generation time: {gen_time:.2f} seconds) print(f Device used: {device})4.5 運(yùn)行與驗(yàn)證運(yùn)行腳本python model_loader.py首次運(yùn)行會(huì)從 Hugging Face 下載模型需要一定時(shí)間和網(wǎng)絡(luò)。下載完成后模型會(huì)被加載到 Intel GPU 內(nèi)存中并進(jìn)行推理。預(yù)期輸出 你會(huì)看到模型加載的日志然后輸出生成的文本以及推理時(shí)間。如果一切順利輸出將類(lèi)似于Loading model: Qwen/Qwen2.5-1.5B-Instruct Model moved to Intel GPU: Intel(R) Arc(TM) Pro B60 Input prompt: 請(qǐng)用中文解釋一下什么是大語(yǔ)言模型。 Generated text: 大語(yǔ)言模型Large Language Model, LLM是一種基于深度學(xué)習(xí)的人工智能模型它通過(guò)在海量文本數(shù)據(jù)上進(jìn)行訓(xùn)練學(xué)會(huì)了理解和生成人類(lèi)語(yǔ)言。這類(lèi)模型通常擁有數(shù)十億甚至數(shù)千億個(gè)參數(shù)能夠執(zhí)行各種復(fù)雜的自然語(yǔ)言處理任務(wù)例如回答問(wèn)題、翻譯、寫(xiě)作、總結(jié)和對(duì)話等。其核心能力來(lái)自于對(duì)語(yǔ)言統(tǒng)計(jì)規(guī)律的掌握能夠根據(jù)上下文預(yù)測(cè)下一個(gè)詞或句子從而生成連貫、相關(guān)的文本。 ?? Generation time: 2.34 seconds Device used: xpu:0恭喜你已成功在 Intel Arc Pro GPU 上運(yùn)行了一個(gè) LLM5. 常見(jiàn)問(wèn)題與排查思路在實(shí)際部署中你可能會(huì)遇到以下問(wèn)題。這里提供一個(gè)排查清單。問(wèn)題現(xiàn)象可能原因解決思路torch.xpu.is_available()返回False1. 驅(qū)動(dòng)未安裝或版本舊。2. oneAPI Base Toolkit 未安裝或環(huán)境變量未設(shè)置。3. 系統(tǒng)未識(shí)別到 Intel GPU如虛擬機(jī)內(nèi)。1. 前往 Intel 官網(wǎng)下載最新驅(qū)動(dòng)并安裝重啟系統(tǒng)。2. 安裝 Intel? oneAPI Base Toolkit并確保其setvars.sh(Linux) 或setvars.bat(Windows) 腳本已執(zhí)行。3. 在物理機(jī)上測(cè)試或?yàn)樘摂M機(jī)配置 GPU 直通如 VMware 的 vGPU。運(yùn)行時(shí)報(bào)錯(cuò)SYCL kernel compilation failedIntel GPU 驅(qū)動(dòng)或編譯器環(huán)境問(wèn)題。1. 更新顯卡驅(qū)動(dòng)至最新。2. 確保安裝了完整的 oneAPI 開(kāi)發(fā)環(huán)境。3. 嘗試設(shè)置環(huán)境變量SYCL_CACHE_PERSISTENT1和SYCL_CACHE_DIR指向一個(gè)可寫(xiě)目錄。模型加載時(shí)內(nèi)存不足 (OOM)模型太大超出 Intel GPU 顯存。Arc Pro B60/B70 顯存有限通常為 6-12GB。1.量化使用bitsandbytes(需確認(rèn)其對(duì)IPEX的支持) 或 IPEX 自帶的動(dòng)態(tài)量化功能加載 8-bit 或 4-bit 模型。2.選擇更小模型嘗試參數(shù)更少的模型如 1.5B、3B 參數(shù)的版本。3.使用 CPU 卸載將部分層保留在 CPU 內(nèi)存僅將活躍層放在 GPU。可使用accelerate庫(kù)的device_map‘a(chǎn)uto‘進(jìn)行嘗試。推理速度非常慢1. 未使用ipex.optimize進(jìn)行優(yōu)化。2. 未使用混合精度bfloat16。3. 模型首次運(yùn)行需要編譯內(nèi)核。1. 確保調(diào)用了model ipex.optimize(model, dtypetorch.bfloat16)。2. 加載模型時(shí)指定torch_dtypetorch.bfloat16。3. 首次運(yùn)行后的推理速度會(huì)變快因?yàn)閮?nèi)核已被緩存。提示‘XPU‘后端不支持某些操作IPEX 尚未覆蓋 PyTorch 的所有算子。1. 檢查 IPEX 版本是否最新。2. 該操作可能默認(rèn)在 CPU 上執(zhí)行導(dǎo)致性能下降?？梢試L試尋找替代實(shí)現(xiàn)或回退到 CPU 執(zhí)行該部分。3. 在 IPEX GitHub 倉(cāng)庫(kù)提交 issue。與transformers庫(kù)的pipeline兼容性問(wèn)題pipeline可能自動(dòng)檢測(cè) CUDA。手動(dòng)管理設(shè)備和模型如本文示例而不是依賴pipeline(..., device‘xpu‘)因?yàn)槠渲С挚赡懿煌晟啤?. 性能優(yōu)化與最佳實(shí)踐要讓 LLM 在 Intel GPU 上發(fā)揮最佳性能除了正確安裝還需要進(jìn)行一系列優(yōu)化。6.1 充分利用混合精度 (BF16/FP16)Intel GPU 的 XMX 矩陣引擎對(duì)bfloat16 (BF16)和float16 (FP16)有硬件加速支持。務(wù)必在模型加載和優(yōu)化時(shí)指定torch.bfloat16。model AutoModelForCausalLM.from_pretrained(..., torch_dtypetorch.bfloat16) model ipex.optimize(model, dtypetorch.bfloat16)6.2 使用 IPEX 的optimize函數(shù)這是最重要的性能優(yōu)化步驟。ipex.optimize會(huì)執(zhí)行算子融合、常量傳播等圖級(jí)優(yōu)化顯著減少內(nèi)核啟動(dòng)次數(shù)和內(nèi)存搬運(yùn)。# 在模型移動(dòng)到設(shè)備并轉(zhuǎn)換為對(duì)應(yīng)精度后調(diào)用 model ipex.optimize(model, dtypetorch.bfloat16)6.3 批處理推理與 CUDA 一樣批處理能極大提高 GPU 利用率。確保你的輸入是批量的。prompts [問(wèn)題1, 問(wèn)題2, 問(wèn)題3] inputs tokenizer(prompts, return_tensorspt, paddingTrue, truncationTrue).to(device) outputs model.generate(**inputs, ...)6.4 模型量化對(duì)于顯存有限的 Arc Pro 顯卡量化是運(yùn)行更大模型的關(guān)鍵。IPEX 支持動(dòng)態(tài)量化Post-Training Dynamic Quantization。# 示例對(duì)模型進(jìn)行動(dòng)態(tài)量化 (以 int8 精度運(yùn)行) from intel_extension_for_pytorch.quantization import prepare, convert # ... 加載模型后 ... # 注意量化需要校準(zhǔn)步驟這里僅為展示流程具體請(qǐng)參考IPEX量化文檔。 quantized_model ipex.quantization.convert(model, inplaceFalse)6.5 監(jiān)控 GPU 使用情況使用 Intel 提供的工具監(jiān)控 GPU 狀態(tài)有助于性能分析和瓶頸定位。Linux: 使用intel_gpu_top命令需安裝intel-gpu-tools。Windows: 使用 Intel PresentMon 或 GPU-Z 查看負(fù)載。6.6 軟件版本對(duì)齊保持整個(gè)軟件棧的版本兼容性至關(guān)重要。定期查看 IPEX 官方文檔確認(rèn)其與 PyTorch、oneAPI 以及驅(qū)動(dòng)版本的匹配關(guān)系。使用不兼容的版本是許多奇怪錯(cuò)誤的根源。7. 總結(jié)與展望通過(guò)本文的實(shí)踐我們成功地將開(kāi)源 LLM 部署到了 Intel Arc Pro B60/B70 GPU 上。整個(gè)過(guò)程的核心在于搭建PyTorch - IPEX - oneAPI - Intel GPU Driver的軟件棧。我們不僅完成了環(huán)境配置和模型推理還探討了性能優(yōu)化和問(wèn)題排查的實(shí)用技巧。對(duì)于開(kāi)發(fā)者而言這意味著在構(gòu)建本地 AI 應(yīng)用時(shí)多了一個(gè)高性價(jià)比的硬件選擇。雖然 Intel GPU 的 AI 生態(tài)仍在快速發(fā)展中兼容性和性能調(diào)優(yōu)工具鏈可能不如 CUDA 成熟但其開(kāi)放性和對(duì)跨架構(gòu)編程通過(guò) oneAPI的支持代表了重要的行業(yè)方向。下一步可以探索的方向微調(diào)實(shí)踐嘗試使用peft庫(kù)在 Intel GPU 上對(duì) LLM 進(jìn)行 LoRA 微調(diào)。多卡推理如果你的工作站有多塊 Intel GPU研究如何使用 IPEX 或accelerate庫(kù)進(jìn)行模型并行推理。與其他推理引擎集成探索將模型轉(zhuǎn)換為 ONNX 格式并使用 OpenVINO? Toolkit 進(jìn)行進(jìn)一步的優(yōu)化和部署這可能在某些場(chǎng)景下獲得更好的性能。探索更大的模型結(jié)合模型量化如 GPTQ、AWQ技術(shù)嘗試在有限的顯存下運(yùn)行 7B 甚至 13B 參數(shù)的模型。Intel GPU 為 LLM 的本地化部署開(kāi)辟了一條新的路徑。隨著軟件生態(tài)的不斷完善和硬件性能的持續(xù)提升未來(lái)我們有望看到更多復(fù)雜、高效的 AI 應(yīng)用運(yùn)行在這套開(kāi)放的平臺(tái)上。希望這篇教程能成為你探索之旅的一塊堅(jiān)實(shí)墊腳石。如果在實(shí)踐中遇到新的問(wèn)題不妨多查閱 Intel Extension for PyTorch 和 oneAPI 的官方文檔與社區(qū)那里的資源正在日益豐富。