TensorRT-LLM 0.5.0 源码之二
Benchmark for Python Runtime这份文档详细说明了如何在单个 GPU、单个节点配备多块 GPU 或多个节点配备多块 GPU 的环境中对 TensorRT-LLM 所支持的模型
阅读全文std::in_place的用法
std::in_place 是 C++17 中引入的一组标签类型，主要用于 std::optional、std::variant 和 std::any 这类包装器类型。它的核心目的是实现原位构造，允
阅读全文DeepSpeed的ZeRO技术具体是如何实现显存优化的？
DeepSpeed的ZeRO（Zero Redundancy Optimizer）技术通过分片（Sharding）策略消除分布式训练中的显存冗余，实现显存占用的线性降低。其核心是将模型状态（参数、梯
阅读全文Pygame RPG Tutorial 22 – Enemy Turning Tutorial
这是我们在Pygame RPG中创造新敌人的前一教程的续作。这一次我们的目标是完善敌人职业，并添加判断玩家位置并指向正确方向的能力。简而言之，我们将在这篇Pygame RPG教程中赋予敌人一个转身能力
阅读全文std::tuple的比较运算
在C++中，std::tuple的比较运算通过逐元素递归比较实现，其核心逻辑依赖于元素类型的比较操作符（如==和<）。以下是详细解析：一、支持的比较运算符std::tuple支持以下6种比较运算符：
阅读全文查找二进制数中最长连续0序列
def longest_consecutive_zeros(n): count = 0 max_count = 0 while n > 0: if n & 1 ==
阅读全文LM-as-a-judge：LLM评估指南
LM-as-a-judge 是一种常见的评估基于 LLM（语言模型）技术的产品的方法。它之所以受欢迎是有原因的：在评估开放式文本输出时，它是一种相较于昂贵的人工评估而言切实可行的替代方案。评判生成文
阅读全文LLM Sequence Packing
训练大型语言模型（LLMs）是一项计算量极大的任务。这需要大量的数据、强大的硬件以及巧妙的优化技术。其中有一种不太常被提及的技术，那就是使用压缩序列，以便在每次训练步骤中充分利用所选的上下文长度。想
阅读全文深入了解SmoothQuant：大模型高效量化背后的数学原理
在这里插入图片描述@torch.no_grad()def smooth_gemm(gemm_weights, act_scales, la
阅读全文Pygame RPG Tutorial 21 – Creating a new Enemy type
只有一种敌人类型的游戏注定是乏味的。在这个Pygame RPG教程中，我们将在游戏中添加一种新的敌人类型。它不仅看起来会完全不同，我们还会改变它的攻击方式，从近战到远程。我创造了下面的敌人，比第一个敌
阅读全文中文LLM指令微调动态机制
指令调优是一种新兴的方法，正以其独特的魅力激发着大型语言模型（LLM）的无限智能潜能。此前，众多学者围绕数据量、模型规模等要素，对英语模型展开了深入剖析。然而，指令调优在其他语言领域的拓展特性，却
阅读全文Pygame RPG Tutorial 19 – Magic Attacks
还记得我们之前在教程中创造的魔法系统吗？现在我们将使用它，在Pygame RPG中植入Magic Attacks。其理念是使用魔法攻击需要固定数量的法力值。正如我们之前在系列中所解释的，我们通过击败敌
阅读全文Pygame RPG Tutorial – Code Review 3
正如承诺的那样，我们每6个教程都会举行一次代码审查，在那里我们将所有代码编译在一起供您查看。您还可以在页面底部找到一个下载链接，其中包含一个文件，其中包含到目前为止我们使用的所有代码+图像和动画。尝试
阅读全文理解 memory order
在C++多线程编程中，a.load(std::memory_order_acquire) 和 a.store(is_last, std::memory_order_release) 这一对操作的核心
阅读全文VSCode C++插件
下载安装离线安装包到下面的URL中下载 VSIX：https://github.com/microsoft/vscode-cpptools/releasesVSCode打开插件中心，通过 insta
阅读全文TensorRT-LLM 0.5.0 源码
安装依赖# .gitmodules[submodule "3rdparty/cutlass"] path = 3rdparty/cutlass url = https://github.
阅读全文ART·E: How We Built an Email Research Agent That Beats o3
OpenAI 的 Deep Research 版本展示了强化学习（RL）在教导智能体完成特定任务方面的有效性。与之前的智能体相比，这是在效果上迈出的一大步。在我们的新项目“ART·E”中，我们将这种
阅读全文Pygame RPG Tutorial 18 – Pause button
不管你事先做了多少计划，总有一些问题只有在你开发游戏的过程中才会暴露出来。同样地，当我们开发这款游戏时，我注意到它缺少一些功能。最明显的是，我们目前缺乏中途暂停游戏的能力，也没有任何方法让我们在进入地
阅读全文Pygame RPG Tutorial 17 – Item Drops
我们已经成功地创造了一个非常基本的RPG环境，包括敌人、关卡通关提示和状态栏等。然而，我们忽略了一个非常“RPG”的元素，即道具掉落。道具掉落是一个非常棒的功能，因为它可以带来灵活性和广泛的功能。从恢
阅读全文std::jthread 和 std::stop_token
#ifdef __cpp_lib_jthread/** * @brief The type of threads to use. In C++20 and later we use `std::jt
阅读全文Windows 安装 ubuntu VMware 开发环境
安装 WMwavre 和 Ubuntu在 https://github.com/skrik2/VM-download?tab=readme-ov-file 中下载 17.6.3 的 WM Work
阅读全文Pygame RPG Tutorial 16 – Stage Clear Display
我们很好地添加了“Next Stage”显示，即在我们按下“n”按钮后继续进行下一阶段。我们这么做的原因当然是为了给下一阶段的进展添加一些视觉指示。但我们仍然缺少一个视觉指标。在这篇Pygame RP
阅读全文[[nodiscard]] 的用法
在 C++17 及更高版本中，[[nodiscard]] 是一个编译器属性，用于标记不应被忽略的函数返回值、类或枚举类型。其核心作用是提升代码健壮性，避免因忽略关键返回值导致的逻辑错误或资源泄漏。以
阅读全文用了shared_ptr为何还会内存泄漏？你可能需要weak_ptr这把钥匙
std::weak_ptr 是 C++ 标准库中一个非常重要的智能指针，用于解决 std::shared_ptr 的循环引用问题，并作为共享资源的观察者而不影响其生命周期 。下面这个表格帮你快速把握
阅读全文Pygame RPG Tutorial 15 – Status Bar
在上一篇教程中，我们在游戏中引入了两个新的“系统”，Mana和Experience。目前，法力值和经验值只会在后台累积，没有任何视觉指示；也没有任何实际使用的法力和经验，我们收集。这是我们计划在接下来
阅读全文如何在 docker 中配置 CST 时间
问题：docker中date的时间是UTC，怎么用UTC+8的呢？在Docker中设置UTC+8（中国标准时间）时区，可通过以下方式实现，具体选择取决于使用场景和需求：FROM ubuntu:lat
阅读全文intro to GRPO an efficient policy optimization method
Introduction强化学习（RL）在大型语言模型（LLMs）完成初始训练后，已成为提升其性能的强大工具，尤其在需要大量推理的任务中表现突出。DeepSeek 公司近期推出的 DeepSeek-
阅读全文