在自己的電腦上運行本地 LLM 推理研習環境

類似 ChatGPT,但可以在你的電腦上運行

這篇文章將教你如何在自己的電腦上建立 本地 LLM 推理環境,使用 Ollama 離線運行大型語言模型。

第一步下載程式

請到網址 https://www.ollama.com/ 下載程式OllamaSetup.exe,並運行程式安裝到你的系統

Ollama 本地 LLM 推理環境安裝教學畫面

執行程式

用滑鼠點選系統工具列上的Windows圖示,再到搜尋選單輸入Ollama,你就會看到這個Ollama程式了。請執行它。

如何執行Ollama

下載模型

程式執行後,你先到下圖所示的位置選取所要用的模型,選定模型後可以按下載。

如果沒選取模型後沒有下載,詢問問題後也會下載。

Ollama的主畫面

詢問問題

Ollama的操作實例

模型的差異

在Ollama的官網上的Models中就可以看到目前Ollama可以用的模型。

像是對岸的deepseek

OpenAI的開源模型

現在你已經完成 本地 LLM 推理環境 的搭建,可以開始離線實驗屬於你的 AI 模型。

子五乙的同學可以下載到你的電腦玩看看!

Spread the love

Leave a Reply

Your email address will not be published. Required fields are marked *