环境配置 可以成功安装运行的搭配： 环境 版本 CUDA 11.8 Python 3.10.8 vLLM 0.6.4.post1 PyTorch 2.5.1+c...

本文为论文 Efficient Memory Management for Large Language Model Serving with PagedAttention 的阅读笔记。 问题背景与挑战：大语言模型（LLMs）在高吞吐量的推理场景下，需要一次处理足够多的请求（即批量化）。但目前的系统在这一点上面临困难，原因主要是每个请求的KV缓存占用大量内存，并且其大小是动态变化的。...

vLLM 是一个高性能的大语言模型推理和服务库，专注于提供快速、易用、低成本的LLM服务。它采用PagedAttention 技术高效管理注意力的键值内存，支持连续批处理，并提供了多种优化手段。 使用vLLM 可以通过快速安装可运行版本，也可以使用源码开发模式。本文记录了从源码安装运行 vLLM 的示例，以及一些踩坑教程。 1 环境配置 可以成功安装运行的搭配： ...

本文为论文 FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU 的阅读笔记。 摘要 大语言模型推理需要高计算和内存资源，通常依赖多块GPU。但在对延迟不敏感、可批量处理的应用中，存在在资源有限设备（如单张普通GPU）上实现高吞吐量推理的需求。 论文提出 Flex...

1 从prompt到output 作为一种大型语言模型，LLaMA 的工作原理是接收输入文本（prompt），并预测下一个标记或单词。 举个例子。我们的 prompt 是： Quantum mechanics is a fundamental theory in physics that LLM 会根据它所接受的训练，尝试续写这个句子： provides insights int...

本篇为论文 Mooncake: Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot 的阅读笔记。 摘要 MOONCAKE 是 大语言模型聊天服务 Kimi 的推理平台，其核心任务是 高效地进行 LLM 请求的分布式推理调度与缓存管理。 1. ...

Open source projects are a cornerstone of software development, offering learning resources and a platform for technological advancement and community collaboration. As a newcomer to the open sourc...

In software development, simplifying code is essential for improving code quality and maintainability. C-reduce is a tool designed to reduce code, helping developers quickly pinpoint and fix issues...

This is a note for the paper HDD: Hierarchical Delta Debugging. Abstract During program debugging, failure-inducing inputs are often large and contain irrelevant information, making debugging mor...

1 What is Delta Debugging? Delta Debugging is an automated technique used to simplify large inputs in order to identify the smallest input that triggers an error. It’s especially helpful when debu...