内容摘要：编纂:杜伟上个周末，Karpathy 花了全部周六来忙一个 Llama2 的幽默名目。这一周来，Meta 开源的 Llama2 火遍了全部 AI 社区。这不，连特斯拉前 AI 总监、年初重回 Open

编纂:杜伟

上个周末，联创Karpathy 花了全部周六来忙一个 Llama2 的爱上幽默名目
。

这一周来，羊驼婴儿Meta 开源的代码 Llama2 火遍了全部 AI 社区。

这不，实现连特斯拉前 AI 总监 、可运年初重回 OpenAI 的行已k星 Andrej Karpathy 也坐不住了。他运用周末光阴，经揽做了一个对于 Llama2 的联创幽默名目 ——「llama2.c」。

GitHub 地址 ：https://github.com/karpathy/llama2.c

详细是爱上甚么呢？他展现「llama2.c」可能让你在 PyTorch 中磨炼一个 baby Llama2 模子，而后运用近 500 行纯 C 、羊驼婴儿无任何依赖性的代码文件妨碍推理 。而且，实现这个预磨炼模子可能在 M1 芯片的可运 MacBook Air 上以 fp32 的浮点精度
、18 tok/s 的行已k星速率对于故事妨碍采样。

Karpathy 介绍称，「llama2.c」的灵感来自 llama.cpp，后者由资深开源社区开拓者 Georgi Gerganov 建树 ，可能在 MacBook 上运用 4-bit 量化运行第一代 LLaMA 模子
。

对于「llama2.c」，它的磨炼代码由 nanoGPT 更正而来，用来磨炼 Llama2 架构的模子 。中间是在如下 run.c 中编写 C 推理引擎，不外它当初并非一个破费级库 。下面是部份推理代码。

残缺代码地址 ：https://github.com/karpathy/llama2.c/blob/master/run.c

服从令 Karpathy 颇为惊惶，你可能在（M1）CPU 的纯复线程 C 语言中以 fp32 的交互速率来推理更小（O (~10MB)）的模子
。

尽管，他展现自己不试验对于最小规模的 Llama2 模子（70 亿参数）妨碍推理 ，他估量速率会颇为慢 。

当初，Karpathy 在 M1 MacBook Air 上 ，可能以 fp32 的浮点精度 、100tok/s 的速率对于 15M 参数的 288 6 层 6 头的模子妨碍推理。

之后，Karpathy 对于名目妨碍了更新，运用「-O3」妨碍编译可能将 M1 MacBook Air 上的 tok/s 从 18 削减到了 98。这还没完，运用「-funsafe-math-optimizations」妨碍编译更是将 tok/s 削减到 315 。他展现
，惟独在 gcc 命令中搜罗更多字符，速率就能提升 17.5 倍  。

概况你要问了 ，这个名目有甚么意思呢？在 Karpathy 看来 
，在一些较窄的规模（如天生故事）中 ，人们可能运用极其小的 Transformers 来做幽默的使命。

因此 ，这种可能移植的纯 C 实现概况颇为实用，咱们可能经由重大的措施高交互速率地运行公平巨细的模子（多少万万参数）。

有网友对于「llama2.c」的开拓历程很感兴趣，良多人都市有这样的想法
，只是在期待适宜的机缘，他们没意见到多少天内就能实现良多使命
。

Karpathy 回覆称
，自己对于运用 float32 权重块及其上的重大推理代码来天生故事颇为感兴趣。以是他花了全部周六的光阴（从起床不断到睡觉）来写代码，而后让名目使命。

此外
，Karpathy 还展现自己将出教学视频。

名目概况

到当初为止，「llama2.c」名目已经在 GitHub 上取患了 1.6k 的 Stars，并在快捷削减
。

下面重大介绍一下该名目的运行步骤。

为了运用纯 C 语言运行一个 baby Llama2 模子 ，你需要如下的模子魔难点。下载 TinyStories 数据集上磨炼的一个 15M 参数的模子（约莫 58MB），并将它放入默认魔难点目录中
。

wget https://karpathy.ai/llama2c/model.bin -P out

而后编译并运行 C 代码。

gcc -O3 -o run run.c -lm./run out/model.bin

请留意这只是原始 tokens 流
。遗憾的是，咱们如今必需经由一个重大的转换封装器来运行 C 代码（惟独 30 行）。

pip install sentencepiecepython run_wrap.py

最后你将看到文本流。在 Karpathy 的 M1 MacBook Air 上，运行速率约 100 tok/s ，对于超级原生的 fp32 复线程 C 代码来说还不错
。示例输入如下所示。

更多细节请魔难原名目。