LLM推理优化的核心技术：深入理解KV缓存与分页注意力机制
随着大型语言模型（LLM）的规模和复杂性不断增加，高效的推理变得愈发重要。为优化 LLM 的推理过程，已经出现了两种关键技术，即 KV（键值）缓存和分页注意力。在本文中，我们将详细解释这些概念，理解
阅读全文HF 和 TRT-LLM multinomial 采样解码实现三
SamplingLayer//! \brief Top class for sampling layers.//! It sets up and executes TopKSamplingLayer
阅读全文TensorRT-LLM 0.5.0 源码之十八
cpp_library#include <dlfcn.h>template <typename tSymbolSignature>tSymbolSignature getTrtLLMFunction
阅读全文TensorRT-LLM 0.5.0 源码之十七
sessoin.py@contextlib.contextmanagerdef _scoped_stream(): '''Create a scoped cuda stream, and sy
阅读全文HF 和 TRT-LLM multinomial 采样解码实现二
invokeBatchApplyPenaltytemplate void invokeBatchApplyPenalty(InvokeBatchApplyPenaltyParams<float> c
阅读全文TensorRT-LLM 0.5.0 源码之十六
ammo.pytry: import ammo.torch.quantization as atq from ammo.torch.export import export_model_
阅读全文flashinfer.sampling 实现二
bench_sampling# https://github.com/flashinfer-ai/flashinfer/blob/48966b603ebabcd003f7272e8dc161ce05
阅读全文TensorRT-LLM 0.5.0 源码之十四
LLaMADecoderLayerclass LLaMADecoderLayer(Module): def __init__(self, layer_id,
阅读全文Ruff：打造无错误、高可维护性Python代码的现代化代码检查工具
在这里插入图片描述代码检查是编写整洁、可读且可共享代码的关键环节。Ruff这类代码检查工具能分析代码，排查语法错误、风格问题和可疑的代码结构。在提交并共享代码前，通过代码检查可以提前解决问题，提升代
阅读全文HF 和 TRT-LLM multinomial 采样解码实现一
HF logits_procssGenerationConfigclass GenerationConfig(PushToHubMixin): # no-format """ Cl
阅读全文TensorRT-LLM 0.5.0 源码之十四
LLaMADecoderLayerclass LLaMADecoderLayer(Module): def __init__(self, layer_id,
阅读全文什么是氛围编程（Vibe Coding）？
定义氛围编程是一种新兴的软件开发模式：开发者借助人工智能（AI），通过自然语言提示生成可运行代码，大幅提升开发效率，同时降低编程门槛，尤其适合编程基础薄弱的人群快速搭建应用。该概念由AI研究者安德烈
阅读全文入门MPI必看！一文搞懂分布式并行编程的核心基础
分布式计算早就不是什么“高冷技术”了——它就像我们每天用的手机、电脑一样普及，而你能刷到这篇MPI教程，本身就说明你已经走在了并行编程的路上。不管你是为了课程作业、工作需求，还是单纯对并行/分布式
阅读全文MPI Hello World 教程：从代码解析到运行实操
这节课将通过一个基础的 MPI Hello World 程序，带大家掌握 MPI 程序的基本结构，同时详细讲解如何编译、运行 MPI 程序，核心涵盖 MPI 环境初始化、进程管理等基础知识点，帮大
阅读全文MPI 组与通讯器详解
在之前的教程中，我们一直使用默认通讯器 MPI_COMM_WORLD。对于简单程序而言，这已经足够满足需求——毕竟这类程序的进程数量较少，通信场景也相对简单，通常只需与单个进程对话，或与所有进程同
阅读全文TensorRT-LLM 0.5.0 源码之十三
QuantModefrom enum import IntFlag, auto 这行代码让你能够创建支持位运算（如按位或 |、按位与 &）的枚举类型，并能自动为成员分配值。这在管理一组可以组合使用的
阅读全文BS::thread_pool 一个快速、轻量级、现代且易于使用的线程池库
IntroductionMotivation多线程技术对于现代高性能计算至关重要。自 C11 版本以来，C 标准库就引入了使用诸如 std:：thread 这样的构造函数来实现内置的底层多线程支持。
阅读全文MiMo-V2-Flash技术报告
摘要本文提出MiMo-V2-Flash，一款总参数量3090亿、激活参数量150亿的混合专家（MoE）大语言模型，专为高效强推理与智能体能力设计。该模型采用滑动窗口注意力（SWA）与全局注意力交替的
阅读全文TensorRT-LLM 0.5.0 源码之十二
attention.pyclass RotaryScalingType(IntEnum): none = 0 linear = 1 dynamic = 2class Positio
阅读全文AI原生开发中的MCP与CLI对比
摘要CLI与MCP的选择，本质取决于你处于开发流程的哪个环节。CLI适配开发内循环：快速、本地、零开销。MCP服务适配开发外循环：对接外部系统、共享基础设施、提供结构化访问。绝大多数团队需要两者结合
阅读全文flashinfer.sampling 实现一
jit.sampling# jit/env.py_package_root: pathlib.Path = pathlib.Path(__file__).resolve().parents[1]FL
阅读全文TensorRT-LLM 0.5.0 源码之九
embedding.pyclass Embedding(Module): """ The embedding layer takes input indices (x) and the
阅读全文TensorRT-LLM 0.5.0 源码之八
activation.pyclass Mish(Module): def forward(self, input): return input * tanh(softplus(i
阅读全文C++ 中 ... 符号
在 C 模板语法中，`template` 中的 `...` 是 **参数包展开运算符**，用于声明**可变参数模板**（Variadic Template）。它的核心作用是让模板能够接受**任意数量
阅读全文Qwen3-TTS 技术报告
摘要本报告提出Qwen3-TTS 系列模型，这是一套先进的多语言、可控制、高鲁棒、流式文本转语音模型家族。Qwen3-TTS 支持当前最优的 3 秒语音克隆与基于文本描述的语音控制，既可生成全新音色
阅读全文Vibe Coding 氛围编程最佳实践
Vibe Coding 核心是依托氛围进入心流，以创意、快速迭代为目标，常结合AI辅助完成原型开发、创意编程，区别于传统严谨工程化开发，以下是完整最佳实践：一、核心原则1. 先跑通逻辑，再追求规范
阅读全文Paged Attention, IFB, and Request Scheduling
In-flight BatchingTensorRT LLM 支持请求的在途批量处理（也称为连续批量处理或迭代级别批量处理），以提高服务吞吐量。通过此功能，上下文阶段的序列可以与生成阶段的序列一起进
阅读全文