TensorRT-LLM 0.5.0 源码之五

functional.pydef constant(ndarray: np.ndarray) -> Tensor: ''' Add a constant layer. Tensor

如何让AI听懂你的“话外音”？GOAT-SLM模型实现更懂情感的语言交互

Abstract端到端语音语言模型（SLM）的最新进展显著提升了人工智能系统进行自然语音交互的能力。然而，大多数现有模型仅仅将语音视为语言内容的载体，常常忽略了人类语音中蕴含的丰富副语言和说话者特征

TensorRT-LLM 0.5.0 源码之四

builder.pyclass _BuildingFlag: def __enter__(self): os.environ['IS_BUILDING'] = '1' de

TensorRT-LLM 开发环境构建

看了 0.17.0 的 release note 得知基础镜像为 nvcr.io/nvidia/pytorch:25.01-py3, TensorRT 依赖 10.8.0， CUDA 依赖 12.8

TensorRT-LLM 构图

trtllm 使用 Module 模块实现 Layer 的构图。class Module(object): def __init__(self) -> None: self._m

torch.multinomial 近似实现

BF16 模型在 softmax + multinomial后结果不一致BF16 模型在 softmax + multinomial 后结果不一致的问题，很可能源于 BF16 精度较低导致的数值计算

Optimize Prompts

在使用人工智能模型时，精心设计提示语是一项至关重要的技能。即使是经验丰富的用户也可能无意中引入矛盾、模糊或不一致之处，从而导致结果不够理想。这里展示的系统能够识别并解决常见问题，从而生成更可靠和有效

大模型部署必看：LLM 推理（Inference）优化 技术，适配高并发、低延迟场景

推理优化是应用于生产环境的生成式人工智能应用中的关键部分。在大规模范围内高效使用大型语言模型是一个挑战，过去几年里已经开发出了许多技术来加快推理速度并降低成本。在本文中，我们将回顾这些技术。A Fo

这是什么草

黄河黄河

LLM Serving Benchmark Metrics

End-to-End (E2E) Latency从提交请求到最终接收到响应数据包这一完整过程所耗费的总时间。Time to First Token (TTFT)从发送请求到首次生成输出标记所经过的时

160. 相交链表

给你两个单链表的头节点 headA 和 headB ，请你找出并返回两个单链表相交的起始节点。如果两个链表不存在相交节点，返回 null 。# Definition for singly-linke

TensorRT-LLM 0.5.0 源码之三

_common.pynet = None # Newwork()_inited = Falsedef _init(log_level=None): global _inited if _

告别语音克隆烦恼：VoxCPM用Token-Free方案，打造真实会“思考”的AI语音

Abstract语音合成的生成模型面临着一个根本性的权衡：离散标记能确保稳定性但会牺牲表现力，而连续信号能保留声学丰富性但会因任务纠缠而产生误差累积。这一挑战促使该领域朝着依赖预训练语音标记器的多阶

142. 环形链表 II

给定一个链表的头节点 head ，返回链表开始入环的第一个节点。 如果链表无环，则返回 null。如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。 为了表示给定链表中

VSCode如何配置LF

在 VS Code 中将默认换行符统一设置为 LF (\n) 是个好习惯，能有效避免跨平台协作时的换行符冲突。你可以通过以下几种方法进行配置，我会先用一个表格总结它们，方便你快速选择。方法适用场景特

c10::intrusive_ptr_target 和 c10::intrusive_ptr

c10::intrusive_ptr_target 是 PyTorch C++ 代码库中侵入式智能指针系统的基础类。任何希望通过 c10::intrusive_ptr 进行引用计数管理的类，都必须继

std::move_only_function 用法

std::move_only_function 是 C++23 标准引入的一种仅支持移动语义的可调用包装器，旨在替代 std::function 的部分场景，尤其适用于处理不可复制的可调用对象。以下

OpenCharacter: 利用大规模合成人物角色训练可定制化角色扮演语言模型

Abstract在大型语言模型（LLM）中可定制的角色扮演，也称为角色泛化，因其在开发和部署角色扮演对话代理方面的灵活性和成本效益而备受关注。本研究探索了一种大规模数据合成方法，以使 LLM 具备角

Pygame RPG Series – Code Review 4

这是我们Pygame RPG系列的第四次也是最后一次代码回顾。这样，我们就完成了基本的RPG Fighter。你可以在这里找到书面形式的代码，也可以在页面底部下载，并结合我们游戏中使用的所有图像和声音

​FlashAttention与PagedAttention详解：拯救GPU显存，让大模型飞起来的核心技术

注意力机制极大地革新了深度学习模型，尤其是那些为现代大型语言模型提供动力的transformer。然而，存在一个关键问题：自注意力机制在计算能力和内存使用方面都会随着序列长度的增加而呈平方级增长。但

Pygame RPG Tutorial 25 – Improving Performance

在本教程中，我们将通过各种优化来提高Pygame RPG的性能。为了正确衡量性能的提高，我们取消了FPS限制。显然，我们的游戏相当小且简单（相对而言），所以我们不应该遇到性能问题（除非我们搞砸了）。然

为什么别人的 Python 代码跑得比你快 10 倍？秘密就在 asyncio 和 await 里

在这里插入图片描述在现代软件开发领域，能够高效并行执行任务是一项至关重要的技能。Python 3.3 版本中引入的 asyncio 库使异步编程变得更加容易，尤其适用于处理 I/O 密集型任务以及创

Introducing CUDA UnBound (CUB)

CUB – a configurable C++ template library of high-performance CUDA primitives每一代新的 NVIDIA 图形处理器（GPU

查找二进制数中最长连续0序列

def longest_consecutive_zeros(n): count = 0 max_count = 0 while n > 0: if n & 1 ==

torch.multinomial 随机性与高敏感性

在 Qwen2.5 模型推理精度对齐中发现，context 前向后最后一个 token的 logits 分布基本一致（排序一致，小数点1e-1绝对误差（BF16））。经过Temperature/T

Meta Prompting: A Guide to Automated Prompt Optimization

欢迎来到我们的“元提示”烹饪指南！在这份指南中，我们将探讨如何对一个基本提示进行优化，以提高语言模型生成输出的质量。我们将以总结新闻报道为例来说明这个过程。“元提示”是一种利用大型语言模型生成或改进

Pygame RPG Tutorial 24 – Music and Sound

是时候给Pygame RPG添加一些音乐和声音元素了。如果没有合适的配乐，你就不可能创造出一款具有沉浸感和吸引力的游戏。同样地，游戏中的各种功能和行动如果没有突出行动的良好音效，也会显得平淡无奇。Mu

CUDA 中如何使用虚函数

CUDA handbook18.5.11. Classes18.5.11.1. Data MembersStatic data members are not supported except fo

Transformers generate logits 为什么会有 -inf

为什么do_sample=True后，generate 生成的logits中会有 -inf在Qwen2.5-0.5B模型生成文本时，scores 中出现 -inf（负无穷）是一个预期内的正常现象，它