我们如何为 DeepSeek-R1 对 vLLM 进行优化
DeepSeek 和 vLLM 的优化一直是我们的团队以及整个 vLLM 社区的首要任务，我们很高兴能深入分享我们的工作成果。在本文中，我们将介绍我们所取得的关键推理改进，详细说明 DeepSeek
阅读全文MCP（模型上下文协议）是什么以及它是如何运作的
What is MCP?MCP（模型上下文协议）是一种开放、通用的协议，它规范了应用程序如何向大型语言模型（LLM）提供上下文信息。简单来说，正如 HTTP 协议允许不同的网站和浏览器按照相同的规则交
阅读全文Model Context Protocol (MCP)
虽然模型上下文协议（MCP）目前主要是在工具集成方面进行讨论，但其上下文管理能力却是该协议中同样重要（甚至可能是更为基础）的一个方面。在 MCP 中的上下文管理解决了几个关键问题：•上下文窗口的限制方
阅读全文CosyVoice 2：基于大型语言模型的可扩展流式语音合成技术
Abstract在我们之前的工作中，我们推出了 CosyVoice 这一多语言语音合成模型，其基于有监督的离散语音标记。通过采用带有两种流行生成模型（语言模型（LMs）和流匹配）的渐进式语义解码技术
阅读全文CosyVoice：一种基于监督式语义标记的可扩展多语言 Zero-Shot 语音合成器
Abstract近年来，基于大型语言模型（LLM）的文本转语音（TTS）技术呈现出一种主流化的趋势，这是因为其具有高度自然性和zero-shot能力。在这种模式下，语音信号被离散化为标记序列，这些序
阅读全文LLM中的RAG检索内容，是如何应用的呢？需要在SFT阶段加入到answer中训练吗？
LLM中的RAG检索内容，是如何应用的呢？需要在SFT阶段加入到answer中训练吗？Think嗯，用户问的是RAG在LLM中的应用，特别是是否需要将检索的内容在SFT阶段加入回答中进行训练。我需要
阅读全文使用 Transformers， Accelerate和bitsandbytes 进行8-bit矩阵乘法
Introduction语言模型一直在变得越来越大。在撰写本文时，PaLM有540B个参数，OPT、GPT-3和BLOOM有大约176B个参数，我们正在趋向于更大的模型。下图显示了一些最新语言模型的
阅读全文Pygame RPG Tutorial 1 – Building the Base
Introduction这是我们Pygame RPG系列的第一个教程。在本教程中，我们将专注于为Pygame RPG构建整体“base”或“frame”。我们将首先解释我们将创造何种类型的RPG。解释
阅读全文Pygame RPG Fighter – Game Tutorial
欢迎来到Pygame RPG教程系列。在这里，我们将解释如何使用Python中的Pygame库创建RPG战斗机风格的游戏。本教程系列的目的并不是提供给你一款带有故事，角色和渐进玩法系统的完整RPG游戏
阅读全文压力测试LLMs——大海捞针实现
Needle In A Haystack - Pressure Testing LLMs一个简单的“大海捞针”分析来测试长上下文llm的上下文检索能力。在这里插入图片描述The Test1. Pla
阅读全文REINFORCE++: 一种简单而有效的方法来对齐大型语言模型
REINFORCE++: A Simple and Efficient Approach for Aligning Large Language ModelsAbstract基于人类反馈的强化学习（
阅读全文基于规则的强化学习释放LLM推理
Abstract受DeepSeek-R1成功的启发，我们探索了基于规则的强化学习（RL）在大型推理模型中的潜力。为了分析推理动态，我们使用合成逻辑谜题作为训练数据，因为它们具有可控的复杂性和简单的答
阅读全文Pygame Platformer VI – Bonus Content (Coins and Images)
在这个Pygame平台游戏的奖励教程中，我们将主要关注在我们的游戏中添加硬币和图像。这将是我们游戏的最终结果，一旦我们完成了本教程。Player and Platform Interaction我们要
阅读全文Pygame Platformer V – Completing the Game
如果你一直在关注我们的平台游戏教程系列，你就会知道我们的游戏已经接近完成了。在Pygame中，要真正完成一款成功且完整的游戏的概念，还需要添加一些小内容。我们的Pygame平台游戏需要添加哪些内容？G
阅读全文LLM 训练 Loss Spike 优化
AbstractLoss spikes 经常出现在大型语言模型的预训练过程中。The spikes 会降低大型语言模型的性能，有时还会破坏预训练。由于预训练需要大量的计算预算，我们应该避免这样的 sp
阅读全文RAG评估：大海捞针测试
检索增强生成（RAG）是当今现实世界中许多LLM应用程序的基础，从生成头条新闻的公司到为小型企业解决问题的独立开发人员。因此，RAG评估已成为开发和部署这些系统的关键部分。一种新的创新方法是“Nee
阅读全文Partition Algorithm
Introduction分区算法是我最喜欢的算法之一，因为它在实践中非常有效和有用。它也是排序算法(如Quicksort 和partial sort)和线性时间最坏情况选择算法的基本构建块。在这篇博文
阅读全文Pygame Platformer IV – Improving the game
本节将结合许多小主题或“改进”，所以有时事情可能看起来有点随机。下面是我们将要添加的改进列表。Fixing how the Player lands on a platformImproving th
阅读全文Pygame Platformer III– Level Generation
关卡生成是一个很难在Pygame或任何游戏引擎中完美执行的概念。大多数人尝试通过单独定义每个关卡布局来手动创建关卡。在某些拥有一定数量地图或关卡的冒险游戏中，这是可行的，但在平台游戏中，这是非常有限的
阅读全文vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttentionLLM承诺从根本上改变我们在所有行业使用人工智能的方式。然而，实际上为这些模型提
阅读全文Fully Sharded Data Parallelism (FSDP)
Fully Sharded Data Parallelism (FSDP)在这篇博客中，我们将探索完全分片数据并行（FSDP），这是一种允许以分布式方式高效训练大型神经网络模型的技术。我们将从鸟瞰的
阅读全文TRL 关于 GRPO Trainer 的实现
TRL 关于 GRPO Trainer的实现OverviewTRL支持GRPO Trainer来训练语言模型，如论文 DeepSeekMath: Pushing the Limits of Math
阅读全文Pygame Platformer II– adding Gravity and Jumping
欢迎来到Pygame游戏编程的第2部分。在本节中，我们将讨论两个主要主题，即赋予玩家跳跃的能力和重力的实现。Part 1 – Code下面是第1部分中的代码，我们将使用它作为本文其余部分的参考。重力和
阅读全文Pygame Platformer I– Game Development
欢迎来到Pygame平台游戏开发！在本节中，我们将使用Python游戏库Pygame构建一款2D Platformer游戏。要提醒所有读者的是，本文主要针对已经对Pygame有些熟悉的读者。我们将只略
阅读全文Step-Audio：智能语音的统一理解与生成
实时语音交互作为人机协作的基本接口，具有巨大的潜力。然而，目前的开源模型面临着语音数据采集成本高、动态控制能力弱、智能有限等局限性。为了应对这些挑战，本文介绍了Step-Audio，这是第一个生产就
阅读全文FLOW-MATCHING TTS的时变情绪状态控制
ABSTRACT人们改变声调，通常伴随着非语言发声（NVs, nonverbal vocalizations），如笑和哭，以传达丰富的情感。然而，大多数文本到语音（TTS）系统缺乏生成具有丰富情感的语
阅读全文AutoModelForCausalLMWithValueHead是什么？
Mainly, PPO optimization (a RLHF technique) relies on computing “advantages” associated with taking
阅读全文Emo-DPO: 基于直接偏好优化的可控情绪语音合成
Abstract目前的情感文本到语音（TTS）模型主要通过监督训练来学习从文本和期望的情感到其情感语音的转换，关注每个文本到语音对的单个情感。这些模型只学习正确的情绪输出，而没有完全理解其他情绪特征，
阅读全文Efficient Infinite Context Transformers with Infini-attention
Abstract这项工作介绍了一种有效的方法，将基于transformer的大语言模型（llm）扩展到具有有限内存和计算的无限长输入。我们提出的方法的一个关键组成部分是一种新的注意力技术，称为Infi
阅读全文