基于 AI 网关和 llmaz,提升 vLLM 推理服务可用性和部署易用性的实践
本文转载至公众号“Se7en的架构笔记”。💡 目录 💡01 前言02 llmaz 和 Higress 介绍03 安装 Higress04 安装 llmaz05 使用 llmaz 部署 vLLM
阅读全文本文转载至公众号“Se7en的架构笔记”。💡 目录 💡01 前言02 llmaz 和 Higress 介绍03 安装 Higress04 安装 llmaz05 使用 llmaz 部署 vLLM
阅读全文以往,一场线下活动的回顾,需要根据演讲嘉宾的分享,整理成文字稿。现在,借助各类 AI 工具,我们可以高效的输出总结内容,包括音视频、文字等。本文将分享2种回顾形式。7分钟音频,基于 NotebookL
阅读全文💡 目录 💡01 从 Nginx Ingress 迁移到 Higress02 对 Higress、Istio 和 Envoy 底层进行优化,网关性能提升近 100 倍Sealos 在 Reddit
阅读全文本文转载至公众号“Kirito 的技术分享”。💡 目录 💡01 Wasm 插件:Higress 的扩展能力与挑战02 Higress Plugin Server:基于 HTTP 的简单、高效分发0
阅读全文💡 目录 💡01 产品工程02 技术工程03 总结近期热度较高的两篇文章[1] [2],不约而同的提到了 AI 发展至今,工程化对 AI 应用的作用被低估了。“比如更好的虚拟机、更长上下文、大量
阅读全文💡 目录 💡01 前言02 Spring AI Alibaba 简介03 快速开始04 Spring AI Alibaba1.0 GA 核心能力05 从聊天机器人、工作流到多智能体06
阅读全文💡 目录 💡01 平台介绍02 项目介绍03 竞赛范围及福利04 比赛小建议05 环境配置说明06 技术支持01平台介绍浙江大学太乙平台是由浙江大学自主研发的开源生态服务系统,联合国内 3
阅读全文💡 目录 💡01 Nacos MCP Router 简介02 应用场景03 多协议支持:支持 stdio、SSE、Streamable HTTP 协议04 一键转换 Stdio、SSE 为 S
阅读全文KubeCon China 2025分论坛 | 阿里云 AI 基础设施技术沙龙日期:2025 年 6 月 9 日(星期一)13:30地点:香港铜锣湾时代广场 1 座 23 楼 Seminar Room
阅读全文在 AI 大模型应用爆发的今天,Model Context Protocol (MCP) 作为连接 AI 大模型与应用的关键协议,正在快速普及。然而,如何在企业级环境中高效部署和管理 MCP 服务,成
阅读全文本文转载至公众号《哈希碎片》。基于 Nacos 和 Higress 实现存量 HTTP 服务转化为 MCP 服务随着 Nacos 3.0 的发布,Nacos 联合 Higress 已经支持实现存量 H
阅读全文"API 管理" 和 "API 网关" 这两个术语经常会被交替使用,在大模型应用上更甚(大模型被认为是 API 经济/货币化的催化剂)。但实际上,它们代表着不同的概念,服务于 API 生命周期的不同阶
阅读全文01写在开头LLM 火热,越来越多的应用在朝着 AI 方向演进。本文通过一个不到100行的代码来实现一个 AI 应用,来探讨 AI Agent 开发模式的发展方向,以及相关联的技术。Demo 应用说明
阅读全文前言:写这篇文章时,一下子就把我的思绪拉到 2018 年的下午,那时候也写过一篇《如何向开源项目做贡献》的文章,由于工作的调整和重心的转移,没有一直持续投入在开源,不过回想起来因为开源结识了很多技术小
阅读全文Nacos 自2019年7月开源以来,已走过6个年头,Star 3w+,广受开发者欢迎。今年4月,Nacos3.0 重磅发布,围绕 MCP Server 管理,推出注册、编排、动态调试、动态发现等能力
阅读全文Higress 作为一款强大的 AI 原生 API 网关,致力于铺设 AI 与现实世界之间最短、最安全、最具成本效益的连接路径。其核心能力之一便是支持将现有的 OpenAPI 规范、无缝地转换为 MC
阅读全文01简介在 AI 应用日益复杂的当下,MCP 工具集成面临三大痛点:单工具部署效率低下,每次仅支持单个工具部署调用方式割裂,无法兼容 OpenAPI 与 MCP动态管理困难,工具增减需重复部署为突破这
阅读全文☀️ 一、开源之夏是什么活动开源之夏是中国科学院软件研究所于 2020 年发起的“开源软件供应链点亮计划”系列暑期活动,旨在鼓励高校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀
阅读全文本文产生自阿里巴巴内部 MCP 实践经验,实现了应用不做代码改动,通过 Higress AI 网关实现 MCP 协议卸载,快速将内部的 HSF 服务转换为 MCP Server ,将现有微服务接入 M
阅读全文日前,MCPMarket.com 公布了全球 Top 100 MCP Servers 榜单,Higress 作为 MCP Hosting 方案入选。MCPMarket.com 是一个专注于 MCP 的
阅读全文本文产生自阿里巴巴内部 MCP 实践经验,实现了应用不做代码改动,通过 Higress AI 网关实现 MCP 协议卸载,快速将内部的 HSF 服务转换为 MCP Server ,将现有微服务接入 M
阅读全文MCP Specification [1] 在2025-03-26发布了最新的版本,本文对9大主要改动进行详细介绍和解释。2025-03-26 版本与 2024-11-05 版本的主要更新对比表格:类
阅读全文01背景MCP(Model Context Protocol,模型上下文协议)是 Anthropic 于2024年11月发布的开源通信标准,其核心目标是通过建立统一的交互范式,消除大型语言模型(LLM
阅读全文NotebookLM 提供中文版了,我们测试了一把,免费使用,推荐各位试试。 操作步骤: 1、选取你希望转制的材料,可以是文章、视频,或者本地 PDF 文件,如果你提供的文章 URL 有访问权限,建
阅读全文作者:于怀、席翁、子葵、正己、濯光Nacos 3.0 正式版本发布啦!升级 MCP Registry,围绕着 MCP 服务管理,MCP 多种类型注册,包含 MCP Server 注册、编排、动态调试和
阅读全文