《大模型推理加速工具vLLM》电子书下载

哈喽！伙伴们，我是小智，你们的AI向导。欢迎来到每日的AI学习时间。今天，我们将一起深入AI的奇妙世界，探索“《大模型推理加速工具vLLM》电子书下载”，并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知，只需唤醒你的潜能！”跟着小智的步伐，我们终将学有所成，学以致用，并发现自身的更多可能性。话不多说，现在就让我们开始这场激发潜能的AI学习之旅吧。

《大模型推理加速工具vLLM》电子书下载：

这篇文章详细介绍了vLLM，这是一个用于加速大语言模型（LLM）推理和服务的开源项目，核心是PagedAttention算法。以下是文章的主要内容：

一、引言

1.1 前言
​​背景​​：随着大语言模型（LLM）的发展，这些模型在改变人类使用AI的方式，但在昂贵硬件上提供服务仍然存在挑战，速度慢。
​​解决方案​​：vLLM由加州大学伯克利分校的研究者开源，主要用于快速LLM推理和服务，核心是PagedAttention算法。
​​优势​​：vLLM比HuggingFace Transformers提供高达24倍的吞吐量，无需任何模型架构更改。

1.2 为什么需要vLLM?
​​定义​​：vLLM是一个开源的LLM推理和服务引擎，利用PagedAttention算法有效管理注意力键和值。
​​优势​​：提供易用、快速、便宜的LLM服务，即使是计算资源有限的小型研究团队也能轻松部署LLM服务。

1.3 vLLM具有哪些特点?
​​高吞吐量​​：最先进的服务吞吐量。
​​PagedAttention​​：有效管理注意力的键和值。
​​动态批处理请求​​：优化好的CUDA内核。
​​无缝集成​​：与流行的HuggingFace模型无缝集成。
​​多种解码算法​​：支持并行采样、beam search等。
​​张量并行​​：支持分布式推理。
​​流输出​​：兼容OpenAI的API服务。

1.4 vLLM支持哪些Huggingface模型?
​​GPT-2​​：gpt2、gpt2-xl等。
​​GPTNeoX​​：EleutherAl/gpt-neox-20b、databricks/dolly-v2-12b等。
​​LLaMA​​：lmsys/vicuna-13b-v1.3、young-geng/koala等。
​​OPT​​：facebook/opt-66b、facebook/opt-iml-max-30b等。

二、vLLM性能如何?
​​比较对象​​：vLLM的吞吐量与HuggingFace Transformers（HF）和HuggingFace Text Generation Inference（TGI）进行比较。
​​实验设置​​：LLaMA-7B（NVIDIA A10G GPU）和LLaMA-13B（NVIDIA A100 GPU 40GB），从ShareGPT数据集中采样输入/输出长度。
​​结果​​：vLLM的吞吐量比HF高24倍，比TGI高3.5倍；vLLM的吞吐量比HF高14倍-24倍，比TGI高2.2倍-2.5倍。

三、vLLM依赖包
​​操作系统​​：Linux
​​Python版本​​：3.8或更高
​​CUDA版本​​：11.0-11.8
​​GPU计算能力​​：7.0或更高（如V100, T4, RTX20xx, A100, L4等）

四、vLLM安装

4.1 构建环境
​​创建新环境​​：conda create -n py310_chat python=3.10
​​激活环境​​：source activate py310_chat

4.2 vLLM安装
​​使用pip安装​​：pip install vllm
​​从github安装​​：
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .（可能需要5-10分钟）

五、vLLM使用

5.1 vLLM离线推理
​​导入包​​：from vllm import LLM, SamplingParams
​​定义输入prompt​​：如“Hello, my name is”
​​设置采样参数​​：sampling_params= SamplingParams(temperature=0.8, top_p=0.95)
​​初始化LLM引擎​​：llm = LLM(model=”facebook/opt-125m”)
​​生成结果​​：outputs = llm.generate(prompts, sampling_params)
​​输出结果​​：遍历outputs并打印生成的文本。

5.2 vLLM在线推理
​​支持的模型架构和示例​​：如BaiChuanForCausalLM（Baichuan）、GPT2LMHeadModel（GPT-2）等。
​​FastAPI服务器示例​​：启动服务python -m vllm.entrypoints.openai.api_server –model lmsys/vicuna-7b-v1.3
​​调用服务​​：使用curl命令或openai python包进行查询。

5.3 OpenAI-Compatible Server
​​启动服务​​：python -m vllm.entrypoints.openai.api_server –model facebook/opt-125m
​​默认地址​​：http://localhost:8000
​​指定地址​​：使用–host和–port参数。
​​兼容性​​：与OpenAI API兼容，可作为临时替代品。

六、vLLM分布式推理与服务
​​分布式张量并行推理和服务​​：支持Megatron-LM’s tensor parallel algorithm，使用Ray管理分布式运行时。
​​安装Ray​​：pip install ray
​​多GPU推理​​：设置tensor_parallel_size参数，如在4个GPU上运行推理：llm = LLM(“facebook/opt-13b”, tensor_parallel_size=4)
​​多GPU服务​​：启动服务器时传入–tensor-parallel-size参数。
​​扩展到单机之外​​：在head节点上启动Ray运行时，设置tensor_parallel_size为所有机器上的GPU总数。
vLLM通过PagedAttention算法显著提升了LLM推理的吞吐量，提供了高效、易用的LLM服务和推理解决方案，支持多种模型架构和分布式推理。

嘿，伙伴们，今天我们的AI探索之旅已经圆满结束。关于“《大模型推理加速工具vLLM》电子书下载”的内容已经分享给大家了。感谢你们的陪伴，希望这次旅程让你对AI能够更了解、更喜欢。谨记，精准提问是解锁AI潜能的钥匙哦！如果有小伙伴想要了解学习更多的AI知识，请关注我们的官网“AI智研社”，保证让你收获满满呦！