REINFORCE++: 一种简单而有效的方法来对齐大型语言模型
REINFORCE++: A Simple and Efficient Approach for Aligning Large Language ModelsAbstract基于人类反馈的强化学习（
阅读全文基于规则的强化学习释放LLM推理
Abstract受DeepSeek-R1成功的启发，我们探索了基于规则的强化学习（RL）在大型推理模型中的潜力。为了分析推理动态，我们使用合成逻辑谜题作为训练数据，因为它们具有可控的复杂性和简单的答
阅读全文Pygame Platformer VI – Bonus Content (Coins and Images)
在这个Pygame平台游戏的奖励教程中，我们将主要关注在我们的游戏中添加硬币和图像。这将是我们游戏的最终结果，一旦我们完成了本教程。Player and Platform Interaction我们要
阅读全文Pygame Platformer V – Completing the Game
如果你一直在关注我们的平台游戏教程系列，你就会知道我们的游戏已经接近完成了。在Pygame中，要真正完成一款成功且完整的游戏的概念，还需要添加一些小内容。我们的Pygame平台游戏需要添加哪些内容？G
阅读全文LLM 训练 Loss Spike 优化
AbstractLoss spikes 经常出现在大型语言模型的预训练过程中。The spikes 会降低大型语言模型的性能，有时还会破坏预训练。由于预训练需要大量的计算预算，我们应该避免这样的 sp
阅读全文RAG评估：大海捞针测试
检索增强生成（RAG）是当今现实世界中许多LLM应用程序的基础，从生成头条新闻的公司到为小型企业解决问题的独立开发人员。因此，RAG评估已成为开发和部署这些系统的关键部分。一种新的创新方法是“Nee
阅读全文Partition Algorithm
Introduction分区算法是我最喜欢的算法之一，因为它在实践中非常有效和有用。它也是排序算法(如Quicksort 和partial sort)和线性时间最坏情况选择算法的基本构建块。在这篇博文
阅读全文Pygame Platformer IV – Improving the game
本节将结合许多小主题或“改进”，所以有时事情可能看起来有点随机。下面是我们将要添加的改进列表。Fixing how the Player lands on a platformImproving th
阅读全文Pygame Platformer III– Level Generation
关卡生成是一个很难在Pygame或任何游戏引擎中完美执行的概念。大多数人尝试通过单独定义每个关卡布局来手动创建关卡。在某些拥有一定数量地图或关卡的冒险游戏中，这是可行的，但在平台游戏中，这是非常有限的
阅读全文vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttentionLLM承诺从根本上改变我们在所有行业使用人工智能的方式。然而，实际上为这些模型提
阅读全文Fully Sharded Data Parallelism (FSDP)
Fully Sharded Data Parallelism (FSDP)在这篇博客中，我们将探索完全分片数据并行（FSDP），这是一种允许以分布式方式高效训练大型神经网络模型的技术。我们将从鸟瞰的
阅读全文TRL 关于 GRPO Trainer 的实现
TRL 关于 GRPO Trainer的实现OverviewTRL支持GRPO Trainer来训练语言模型，如论文 DeepSeekMath: Pushing the Limits of Math
阅读全文Pygame Platformer II– adding Gravity and Jumping
欢迎来到Pygame游戏编程的第2部分。在本节中，我们将讨论两个主要主题，即赋予玩家跳跃的能力和重力的实现。Part 1 – Code下面是第1部分中的代码，我们将使用它作为本文其余部分的参考。重力和
阅读全文Pygame Platformer I– Game Development
欢迎来到Pygame平台游戏开发！在本节中，我们将使用Python游戏库Pygame构建一款2D Platformer游戏。要提醒所有读者的是，本文主要针对已经对Pygame有些熟悉的读者。我们将只略
阅读全文Step-Audio：智能语音的统一理解与生成
实时语音交互作为人机协作的基本接口，具有巨大的潜力。然而，目前的开源模型面临着语音数据采集成本高、动态控制能力弱、智能有限等局限性。为了应对这些挑战，本文介绍了Step-Audio，这是第一个生产就
阅读全文FLOW-MATCHING TTS的时变情绪状态控制
ABSTRACT人们改变声调，通常伴随着非语言发声（NVs, nonverbal vocalizations），如笑和哭，以传达丰富的情感。然而，大多数文本到语音（TTS）系统缺乏生成具有丰富情感的语
阅读全文AutoModelForCausalLMWithValueHead是什么？
Mainly, PPO optimization (a RLHF technique) relies on computing “advantages” associated with taking
阅读全文Emo-DPO: 基于直接偏好优化的可控情绪语音合成
Abstract目前的情感文本到语音（TTS）模型主要通过监督训练来学习从文本和期望的情感到其情感语音的转换，关注每个文本到语音对的单个情感。这些模型只学习正确的情绪输出，而没有完全理解其他情绪特征，
阅读全文Efficient Infinite Context Transformers with Infini-attention
Abstract这项工作介绍了一种有效的方法，将基于transformer的大语言模型（llm）扩展到具有有限内存和计算的无限长输入。我们提出的方法的一个关键组成部分是一种新的注意力技术，称为Infi
阅读全文SuperGPQA 评估
SuperGPQA，这是一个综合基准，旨在评估285个研究生水平学科的大型语言模型（llm）的知识和推理能力。SuperGPQA每个学科至少有50个问题，涵盖了广泛的研究生水平主题，旨在成为LLM评
阅读全文LLM评估集SuperGPQA
Abstract大型语言模型（llm）在数学、物理和计算机科学等主流学术学科中表现出了显著的熟练程度。然而，人类的知识涵盖了200多个专业学科，远远超出了现有基准的范围。LLM在许多这些专业领域的能
阅读全文Refine Retrieval Quality with Rerank
在大规模构建向量搜索或检索增强生成（RAG）时，很难提高检索质量。质量的每一次提升都关系到用户体验的好坏。使用reranker可以在搜索过程中进一步细化检索到的文档，从而增加与用户查询的相关性。在大多
阅读全文Metrics-Driven Agent Development
Retrieval Augmented Generation Assessment（RAGAS）是一个用于量化agent和RAG管道性能的评估框架。通过将评估添加到我们的工作流中，我们可以更可靠地迭代
阅读全文Rerankers and Two-Stage Retrieval
Retrieval Augmented Generation（RAG）是一个重载术语。它向世界承诺，但在开发了RAG管道之后，我们中的许多人都想知道为什么它没有像我们预期的那样工作。与大多数工具一样，
阅读全文Choosing an Embedding Model
我们大多数人都在使用OpenAI的Ada 002进行文本嵌入。原因是OpenAl建立了一个很好的嵌入模型，它比其他任何人都更容易使用。然而，这是很久以前的事了。看看MTEB排行榜，我们就会发现Ada并
阅读全文RAG 中的 web retrieval 与 DeepSeek-R1 RAG Prompt
RAG 中的 web retrieval 与 DeepSeek-R1 RAG Promptenvspip install validators==0.34.0pip install pydantic
阅读全文DeepSeek-R1关于RL中Environment Functions 的理解
1. RL中的环境函数怎么理解？Think嗯，我现在要理解强化学习中的环境函数是怎么回事。刚开始学强化学习，可能有点懵，不过慢慢来。首先，我记得强化学习里有智能体（agent）和环境（environm
阅读全文DeepSeek-R1 对 LLM Post-Training 的思考
DeepSeek-R1 对 LLM Post-Training 的思考1. 一般LLM的聊天，role-play，RAG的是功能是在SFT阶段实现的，如果放到pre-training阶段是否合适，或
阅读全文Vanilla Policy Gradient
Background策略梯度的关键思想是提高导致高回报的action的概率，降低导致低回报的action的概率，直到你达到最优策略。Quick FactsVPG is an on-policy alg
阅读全文