Ollama - 一個屬於自己的 LLM

在 LLAMA 發佈後，入門門檻有點高，而這個專案的出現(ollama)
讓普通人也能夠透過自己的 GPU 快速地建立起自己的 LLM 服務
在地端建立LLM服務，可以避免所謂的 隱私洩漏 問題，並且可以自由地控制服務的運作。

該篇文章與 medium 上的文章原則上講解內容一樣，只有增加一些擴充資訊。

基礎使用 Ollama 的指令:

• ollama pull llama2 拉一個模型回來
• ollama run llama2 啟動一個模型（互動介面）
• ollama rm llama2 刪除模型
• ollama cp llama2 my-llama2 複製一個模型
• ollama list 目前主機上已經擁有的模型列表
• ollama create {model_name} -f ./Modelfile 建立自己的 modelfile 裡面會寫 prompt 或是一些相關參數調整
• ollama run llama2 "Summarize this file: $(cat README.md)" 傳入 prompt
• ollama serve 啟動一個伺服器。

當你是 Mac 使用者時

ollama 啟動時會在背景中啟動，此時應該會有一個 icon 在上方的 status bar 當該 icon 存在時，代表 ollama 本身也有啟動一個 serve 的服務起來，可以透過 http 請求來進行互動… 啟動服務時，監聽的 port 為 11434 ，因此可以透過 http://localhost:11434 來進行互動。

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:7b",
  "prompt":"為什麼天空是藍色的?",
  "stream": false
}'

相關連結:

• ollama: ollama 官方網站
• ollama-search: ollama 搜索可用模型
• ollama-blog: ollama 官方部落格
• ollama-library: ollama 官方列表（與 search 類似）
• （選用）Git Large File Storage(LFS)，因為如果要拉取 HuggingFace 上面的模型需要使用 git lfs 進行大檔案拉取
• HuggingFace: HuggingFace 官方網站