在自己的電腦上運行本地 LLM 推理研習環境
類似 ChatGPT,但可以在你的電腦上運行 這篇文章將教你如何在自己的電腦上建立 本地 LLM 推理環境,使用 Ollama 離線運行大型語言模型。 第一步下載程式 請到網址 https://www.ollama.com/ 下載程式OllamaSetup.exe,並運行程式安裝到你的系統 執行程式 用滑鼠點選系統工具列上的Windows圖示,再到搜尋選單輸入Ollama,你就會看到這個Ollama程式了。請執行它。 下載模型 程式執行後,你先到下圖所示的位置選取所要用的模型,選定模型後可以按下載。 如果沒選取模型後沒有下載,詢問問題後也會下載。 詢問問題 模型的差異 在Ollama的官網上的Models中就可以看到目前Ollama可以用的模型。 像是對岸的deepseek OpenAI的開源模型 現在你已經完成 本地 LLM 推理環境 的搭建,可以開始離線實驗屬於你的 AI 模型。 子五乙的同學可以下載到你的電腦玩看看!