Ollama
跳到导航
跳到搜索
Llama 是 meta 开源的一款大模型，开源不到一个月的时间就有 19.7K 的 star。 2024 年 4 月 19 日，Meta 在官网上官宣了 Llama-3，作为继 Llama-1、Llama-2 和 Code-Llama 之后的第三代模型，Llama-3 在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。
- Llama-1 2023 年 2 月发布。有 7B、13B、30B 和 65B 四个参数量版本。Llama-1 各个参数量版本都在超过 1T token 的语料上进行了预训训练，其中，最大的 65B 参数的模型在 2,048 张 A100 80G GPU 上训练了近 21天，并在大多数基准测试中超越了具有 175B 参数的 GPT-3。因为开源协议问题，Llama-1 不可免费商用
- 2023 年 7 月发布了免费可商用版本 Llama-2，有 7B、13B、34B 和 70B 四个参数量版本，除了 34B 模型外，其他均已开源
ollama 是为了快速部署 Llama 大模型而诞生的，在一台普通的 PC 上只需要傻瓜式安装软件即可轻松使用本地大模型 Llama 3。
Inst
curl -fsSL https://ollama.com/install.sh | sh ollama run llama3 # ollama run llama3:70b # /usr/share/ollama/.ollama/models 存放下载的模型文件
# /etc/systemd/system/ollama.service [Service] Environment="OLLAMA_HOST=0.0.0.0:11434"
Service
curl http://192.168.0.242:11434/api/generate -d '{ "model": "llama3", "prompt": "Why is the sky blue?", "stream": false, "options": { "num_ctx": 4096 } }'
参数
- model：（必填）模型名称
- messages：聊天的消息，这可以用来保持聊天记忆，具有以下字段：
- role：消息的角色，可以是 system、user 或 assistant
- content：消息的内容
- images（可选）：要包含在消息中的图像列表（适用于多模态模型，如 llava）
高级参数（可选）：
- format：返回响应的格式。目前唯一接受的值是json
- options：文档中列出的额外模型参数 Modelfile，如 temperature
- stream：如果为 false，则响应将作为单个响应对象返回，而不是对象流
- keep_alive：控制模型在请求后保持在内存中的时间（默认：5m）
RAG
- 贝利是谁？什么时候出生在哪里？现在还活着吗？
A question about a famous person! 😊 You're referring to Pelé, the legendary Brazilian soccer player. Here are his details: **Who:** Edson Arantes do Nascimento, commonly known as Pelé (pronounced "pay-lay"). **When:** Born on October 23, 1940. **Where:** Três Corações, Minas Gerais, Brazil. As for whether he's still alive, the answer is yes! Pelé turned 83 in October 2023. Despite his advanced age, he remains a beloved figure in the world of soccer and beyond.
- 根据你的知识以及以下的补充文档回答问题：贝利是谁？什么时候出生在哪里？现在还活着吗？
- 文档一：
- 2022年12月29日15时27分（北京时间12月30日凌晨2时27分），贝利因结肠癌引发多器官衰竭在巴西圣保罗逝世，享年82岁。
I apologize for my previous mistake! 🤦♂️ Based on the new information, I can answer your question accurately: **Who:** Edson Arantes do Nascimento, commonly known as Pelé. **When:** Born on October 23, 1940. **Where:** Três Corações, Minas Gerais, Brazil. As for whether he's still alive, the answer is no. According to the document you provided, Pelé passed away on December 29, 2022, at the age of 82 due to complications from colon cancer and multi-organ failure in São Paulo, Brazil.
- 你的知识截止到什么时候？翻译成中文回答。
我的训练数据基于一大批到2023年的文本。我知识的截止日期是2022年12月31日。这意味着，我对世界，包括新闻、事件、科学发现和文化发展的理解，是到2022年12月31日为止的。但是我没有实时访问新的信息或更新，这些可能在2022年12月31日后发生。 换言之，我了解世界，包括新闻、事件、科学发现和文化发展的知识是对到2022年12月31日为止的。然而，我不具有对新信息或更新后的实时访问能力。这是一个常见挑战，因为我们AI模型需要基于人类生成的内容和更新来保持最新。 然而，我的训练数据提供了一个优秀的基础，让我回答问题、生成文本和参与到2022年的对话！