家用電腦部署 o4-mini 級 gpt-oss 推理模型教學,OpenAI 開源第一步
OpenAI 相隔六年終於再一次發佈開放權重模型,而且是效能聲稱可媲美高階推理模型 o4-mini 的 gpt-oss-120b 以及媲美 o3-mini 的 gpt-oss-20b,就看你家裡的電腦規格而決定部署哪一款。使用授權會為較彈活的 Apache 2.0,甚至可以作商用用途。
OpenaI gpt-oss 模型簡介與硬體需求
在開始部署之前,請先了解這兩款模型的差異及對應的硬體需求:
這兩款模型的權重都以原生 MXFP4 量化格式在 Hugging Face 上免費提供,這種格式有助於模型在較低的記憶體需求下運行,以下就以比較簡單和方便的 Ollama 來作教學:
本地部署教學 (Ollama)
對於大多數使用者來說,使用 Ollama 是在本地電腦上運行這兩款模型最簡單快速的方法。Ollama 是一個支援在 macOS、Windows 和 Linux 上本地運行大型語言模型的平台。
步驟一:下載並安裝 Ollama
首先,請前往 Ollama 官方網站下載並安裝對應您作業系統的應用程式。915MHz Antenna
步驟二:拉取模型
打開您的終端機 (Terminal),根據您的需求輸入以下指令來下載模型檔案。此過程需要一些時間,取決於您的網路速度。
下載 20B 模型:
ollama pull gpt-oss:20b
下載 120B 模型:
ollama pull gpt-oss:120b
步驟三:運行模型並開始對話
模型下載完成後,直接在終端機輸入以下指令即可開始與模型互動:
運行 20B 模型:
ollama run gpt-oss:20b
運行 120B 模型:
ollama run gpt-oss:120b
除了上述方法,gpt-oss 模型也得到了業界各大平台和硬體廠商的廣泛支援,包括 Azure、Hugging Face、vLLM、LM Studio、AWS、Databricks、Vercel 和 Cloudflare 等。此外,微軟也特別為 Windows 系統提供了 gpt-oss-20b 的 GPU 優化版本,可透過 ONNX Runtime 在本地進行推理。
更多內容:
OpenAI 時隔六年再發開放權重模型 gpt-oss-120b 和 gpt-oss-20b
gpt-oss 登場
OpenAI 的 Open model
openai/gpt-oss (Github)
openai/gpt-oss-20b (Hugging Face)
openai/gpt-oss-120b (Hugging Face)
DeepSeek 教學 | DeepSeek R1 PC 安裝教學,離線 AI 任用更安全!(附下載連結)
DeepSeek 教學 | iPhone 離線使用 DeepSeek R1 AI,免費、安全、無限量!
DeepSeek 教學 | DeepSeek R1 macOS 安裝教學,M1 Mac 已經夠用?
915MHz Antenna
緊貼最新科技資訊、網購優惠,追隨 Yahoo Tech 各大社交平台!
🎉📱 Tech Facebook:https://www.facebook.com/yahootechhk
🎉📱 Tech Instagram:https://www.instagram.com/yahootechhk/
🎉📱 Tech WhatsApp 社群:https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8
🎉📱 Tech WhatsApp 頻道:https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D
🎉📱 Tech Telegram 頻道:https://t.me/yahootechhk
來自: https://tw.news.yahoo.com/%E5%AE%B6%E7%94%A8%E9%9B%BB%E8%85%A6%E9%83%A8%E7%BD%B2-o4-mini-%E7%B4%9A-g