胖东来与京东联手了

教娃编程系列｜RPG 游戏 – Player Movement

Introduction这个Pygame RPG教程和下一个教程都专注于执行移动和物理，允许我们的玩家可以移动，跳跃并与他所站的地面互动的完整系统。本教程的全部内容都是基于我们需要在Player类中创

这儿没人

教娃编程系列｜PRG - The Player Class

这个RPG教程中最重要的类是Player类。这个类负责几乎所有与玩家相关的事情，包括移动、攻击、碰撞检测、渲染、状态跟踪等等。由于它的总大小和许多概念，我们将在教程系列的其余部分慢慢构建Player类

LLM 中 tool 和 RAG 怎么融入到对话数据中？

在这里插入图片描述整理开源数据的时候，看到一种融入检索 tool 或 RAG 的方式，看着挺简单的，可以供参考：{ "role":"user", "content":"电脑屏幕被

Qwen3 在五一节前发布了！

今天，阿里宣布推出 Qwen3，这是 Qwen 系列大型语言模型的最新成员。我们的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3

RLHF 入门，高手勿进！

LLM Training: RLHF and Its Alternatives在讨论语言模型（LLM）时，无论是研究新闻还是教程中，我都会频繁提及一种被称为“带有人类反馈的强化学习”（RLHF）的过

最佳的指令数据应当是什么样的？

Abstract高质量的监督微调（SFT）数据对于激发预训练大型语言模型（LLM）的强大能力至关重要。通常情况下，指令会与从其他 LLM 中采样的多个响应配对，而这些响应往往偏离了要微调的目标模型的

Pygame RPG Tutorial 2 – Building the World

背景和视觉效果是任何游戏不可或缺的组成部分，无论其大小和类型如何。游戏世界的互动性和动态性越强越好。在本教程中我们不会深入讨论，但将在本系列后面讨论如何更改视觉效果。Creating the Back

Qwen 的训练数据是怎么做的？

QwenPRE-TRAINING DATA数据量大小已被证明是开发强大大型语言模型的关键因素，这一点在之前的研究中中得到了强调。为了创建一个有效的预训练数据集，确保数据的多样性并涵盖各种类型、领域和

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsan

Prefill-Decode分离

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述A request going through an LLM serving engine with dis

我们如何为 DeepSeek-R1 对 vLLM 进行优化

DeepSeek 和 vLLM 的优化一直是我们的团队以及整个 vLLM 社区的首要任务，我们很高兴能深入分享我们的工作成果。在本文中，我们将介绍我们所取得的关键推理改进，详细说明 DeepSeek

MCP（模型上下文协议）是什么以及它是如何运作的

What is MCP?MCP（模型上下文协议）是一种开放、通用的协议，它规范了应用程序如何向大型语言模型（LLM）提供上下文信息。简单来说，正如 HTTP 协议允许不同的网站和浏览器按照相同的规则交

Model Context Protocol (MCP)

虽然模型上下文协议（MCP）目前主要是在工具集成方面进行讨论，但其上下文管理能力却是该协议中同样重要（甚至可能是更为基础）的一个方面。在 MCP 中的上下文管理解决了几个关键问题：•上下文窗口的限制方

CosyVoice 2：基于大型语言模型的可扩展流式语音合成技术

Abstract在我们之前的工作中，我们推出了 CosyVoice 这一多语言语音合成模型，其基于有监督的离散语音标记。通过采用带有两种流行生成模型（语言模型（LMs）和流匹配）的渐进式语义解码技术

CosyVoice：一种基于监督式语义标记的可扩展多语言 Zero-Shot 语音合成器

Abstract近年来，基于大型语言模型（LLM）的文本转语音（TTS）技术呈现出一种主流化的趋势，这是因为其具有高度自然性和zero-shot能力。在这种模式下，语音信号被离散化为标记序列，这些序

LLM中的RAG检索内容，是如何应用的呢？需要在SFT阶段加入到answer中训练吗？

LLM中的RAG检索内容，是如何应用的呢？需要在SFT阶段加入到answer中训练吗？Think嗯，用户问的是RAG在LLM中的应用，特别是是否需要将检索的内容在SFT阶段加入回答中进行训练。我需要

使用 Transformers， Accelerate和bitsandbytes 进行8-bit矩阵乘法

Introduction语言模型一直在变得越来越大。在撰写本文时，PaLM有540B个参数，OPT、GPT-3和BLOOM有大约176B个参数，我们正在趋向于更大的模型。下图显示了一些最新语言模型的

Pygame RPG Tutorial 1 – Building the Base

Introduction这是我们Pygame RPG系列的第一个教程。在本教程中，我们将专注于为Pygame RPG构建整体“base”或“frame”。我们将首先解释我们将创造何种类型的RPG。解释

Pygame RPG Fighter – Game Tutorial

欢迎来到Pygame RPG教程系列。在这里，我们将解释如何使用Python中的Pygame库创建RPG战斗机风格的游戏。本教程系列的目的并不是提供给你一款带有故事，角色和渐进玩法系统的完整RPG游戏

压力测试LLMs——大海捞针实现

Needle In A Haystack - Pressure Testing LLMs一个简单的“大海捞针”分析来测试长上下文llm的上下文检索能力。在这里插入图片描述The Test1. Pla

REINFORCE++: 一种简单而有效的方法来对齐大型语言模型

REINFORCE++: A Simple and Efficient Approach for Aligning Large Language ModelsAbstract基于人类反馈的强化学习（

基于规则的强化学习释放LLM推理

Abstract受DeepSeek-R1成功的启发，我们探索了基于规则的强化学习（RL）在大型推理模型中的潜力。为了分析推理动态，我们使用合成逻辑谜题作为训练数据，因为它们具有可控的复杂性和简单的答

Pygame Platformer VI – Bonus Content (Coins and Images)

在这个Pygame平台游戏的奖励教程中，我们将主要关注在我们的游戏中添加硬币和图像。这将是我们游戏的最终结果，一旦我们完成了本教程。Player and Platform Interaction我们要

Pygame Platformer V – Completing the Game

如果你一直在关注我们的平台游戏教程系列，你就会知道我们的游戏已经接近完成了。在Pygame中，要真正完成一款成功且完整的游戏的概念，还需要添加一些小内容。我们的Pygame平台游戏需要添加哪些内容？G

LLM 训练 Loss Spike 优化

AbstractLoss spikes 经常出现在大型语言模型的预训练过程中。The spikes 会降低大型语言模型的性能，有时还会破坏预训练。由于预训练需要大量的计算预算，我们应该避免这样的 sp

RAG评估：大海捞针测试

检索增强生成（RAG）是当今现实世界中许多LLM应用程序的基础，从生成头条新闻的公司到为小型企业解决问题的独立开发人员。因此，RAG评估已成为开发和部署这些系统的关键部分。一种新的创新方法是“Nee

Partition Algorithm

Introduction分区算法是我最喜欢的算法之一，因为它在实践中非常有效和有用。它也是排序算法(如Quicksort 和partial sort)和线性时间最坏情况选择算法的基本构建块。在这篇博文

Pygame Platformer IV – Improving the game

本节将结合许多小主题或“改进”，所以有时事情可能看起来有点随机。下面是我们将要添加的改进列表。Fixing how the Player lands on a platformImproving th