牛奶河BBS

Llama 是 meta 开源的一款大模型，开源不到一个月的时间就有 19.7K 的 star。2024 年 4 月 19 日，Meta 在官网上官宣了 Llama-3，作为继 Llama-1、Llama-2 和 Code-Llama 之后的第三代模型，Llama-3 在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。

2024 年 7 月 24 日，Meta 正式发布新一代开源大模型 Llama 3.1 系列，提供 8B、70B 及 405B 参数版本。使用 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面，该模型选择标准的解码器 transformer 模型架构进行调整，而不是混合专家模型，以最大化训练稳定性。采用了迭代的后训练程序，每一轮使用监督微调和直接偏好优化。其上下文长度被提升至 128K，而模型参数也被提高到了 4050 亿规模，是近年来规模最大的大语言模型之一。该模型在通用常识、可引导性、数学、工具使用和多语言翻译等广泛任务中足以对标 GPT-4、Claude 3.5 Sonnet 等领先的闭源模型。



下面是本地部署的 llama3.1:8b 版本，6T CPU, 12G RAM 勉强撑得一个进程访问。
公共用户名：[email protected]， 密码：MyQQ
也可以自己注册，等待 MyQQ 审批。