真格基金宣布捐赠开源AI项目vLLM

今天，真格基金高兴地宣布向开源 AI 项目 vLLM 提供捐赠。

开源技术处于 AI 革命的中心。Llama 3、Mistral 等开源大模型迅速追赶 GPT-4，TensorFlow、Pytorch 等开源深度学习框架提供了丰富的库和工具。GitHub 上有 6 万个通用人工智能项目，Hugging Face 上有超过 40 万个模型。每一周，有超过 100 万行代码在开源 AI 领域中创建，开发者像交换礼物一样，从全世界的各个角落为开源项目作出贡献。

2022 年，一个加州大学伯克利分校的 3 人团队从一个加速 OPT-175B 训练推理的 demo 项目开始，在两年的时间里搭建出了全球范围内最受欢迎的开源大模型推理加速框架 vLLM。

vLLM(https://github.com/vllm-project/vllm)的目标是，搭建最快速、最易用的开源 LLM 推理服务引擎(Build the fastest and easiest-to-use open-source LLM inference & serving engine)。

与 Hugging Face Transformers 相比，它提供高达 24 倍的吞吐量，而无需进行任何模型架构更改。今天，vLLM 在 GitHub 上的星标数已经突破 21.8k，而距离去年 6 月开源以来只过去了一年。

vLLM 支持几乎所有最新的开源 LLM，包括 Mistral，Llama，Gemma 等 30+ 大模型。一个新的开源大模型，几乎都会在发布前主动接触 vLLM 做好适配优化，确保在上线的第一天，大家就能通过 vLLM 来使用它。

vLLM 不执着于英伟达 GPU。与其它框架相比，这也是 vLLM 一个很大的不同点——支持包括 AMD GPU，Intel CPU/GPU/Habana Gaudi，Google TPU，AWS 在内市面上最全的硬件架构。从项目创立起，vLLM 就希望能广泛支持能够使得推理更快、成本更低也更适用的硬件。

在 ChatGPT 上线、Facebook 成为 Meta 之前，vLLM 诞生于一个名为「Alpa」的自动化并行推理 demo 项目。但在部署过程中，vLLM 团队发现 demo 的速度很慢，GPU 利用率也非常低。这让他们意识到，大语言模型推理本身就是一个非常值得关注的问题。

当时的市面上没有任何大语言模型推理优化的开源系统。于是，团队决定从 0 开始自己动手做一个。面对 GPU 的内存管理带来的瓶颈，团队在多次迭代后，基于操作系统中经典的虚拟内存和分页技术，提出了全新的注意力算法 PagedAttention，并构建了高吞吐量的分布式 LLM 服务引擎 vLLM，几乎做到了 KV 缓存内存零浪费。

2023 年 6 月，创始团队发布 vLLM 开源代码，并一直维护到今天。下一步，团队计划将资金用于 vLLM 的开发、测试和性能提升。

40 年前，世界上最后一个黑客 Richard Stallman 发起自由软件运动，开放、平等、协作、共创的开源精神开始崛起。从 GNU 和 Linux 的结合，到 MySQL 的第一个版本发布，到 Mozilla 项目的成立，到分布式版本控制系统 Git 的雏形面世、Android 的诞生，再到 GitHub 席卷全球，开源带来的创新几乎书写了一部计算机信息技术的历史。

这种创新来自全世界的聚力协作。vLLM 的全职团队只有 3 个博士生，但 20 多名分布于大模型、Infra、硬件等前沿科技公司的软件工程师都在为之努力。

为了吸引更多的贡献者，vLLM 对代码质量要求极高。团队要求代码必须模块化，且非常简洁易读。同时，团队成员会非常认真地做好代码审查（Code Review），甚至会在开发者提交代码更改（Pull Request，PR）后，在 PR 上接着重构后再进行合并。

vLLM 社区的开发者们在过去 4 场线下见面会上，会用网名亲切地称呼彼此。当位于硅谷的 vLLM 团队每天早上醒来，就会发现一位来自英国的工程师在夜里默默解决掉了二三十个问题。

开源短短一年，我们就看见 vLLM 的伯克利团队之外，包括 Anyscale、IBM、AMD、NeuralMagic、Roblox 在内的 300 多名活跃协作者，在以一行代码为颗粒度持续参与贡献。vLLM GitHub 的每 10 条提交记录中，就有 8 条来自社区，而这与 Linux Kernel 在发布 30 年后才达到的比例状态相当。

自从成立，真格基金始终是新技术和创业精神的坚定支持者。我们想成为一直坚定地站在创始人身边的人，陪伴他们引领科技创新并改变这个世界。2022 年，真格基金就曾向开源项目 ControlNet 发起捐赠。

真格基金管理合伙人戴雨森表示，「这次对 vLLM 这一开源项目的捐赠，是因为我们始终致力于推动 AI 的普及，希望新技术能惠及尽可能多的人类。和工业界相比，学术界的优秀工作目前往往受到更多成本和算力的限制。我们相信，改变世界的最好方式是自己创造——如果可以，与全世界的开发者一起创造。而对于创造未来的重要基石，我们愿尽绵薄之力。」

如果你在使用 vLLM 时有任何需求与反馈，欢迎在文章下留言，联系真格基金帮忙对接。真格基金一直持续关注前沿 AI 领域的发展，如果你有好的创业想法，也欢迎和我们聊聊。

文｜Wendi