这是一个专注于大语言模型高性能推理的开源项目。它的核心目标是降低 LLM 推理延迟、提升吞吐量，为生产环境中的 Agent 工作负载提供极致的推理性能。
项目在设计上兼顾了 TensorRT-LLM 级别的性能和 vLLM 级别的易用性，采用本地 SPMD（单程序多数据）设计范式，通过静态编译器生成优化的计算图，实现了高效的并行推理。
项目主要使用 Vue 开发，代码质量高，结构清晰。
开发团队保持高频更新，近一周内有 23 次提交，项目生命力旺盛。
Vue ⭐ 24 stars ⑂ 2 🆕 本周新项目 ⚡ 周更新23次 📜 MIT ai-agents architecture-decision-records architecture-patterns awesome
⚡ 更新非常频繁，开发活跃 📜 使用 MIT 开源许可
✨ 核心功能
🔹 极速推理引擎，支持 TensorRT-LLM 级别的性能
🔹 灵活的调度器，C++ 控制面 + Python 执行面
🔹 可插拔核函数系统，支持自定义算子
🔹 支持 SMG 集成，低开销 CPU 侧请求管理
🔹 多智能体协作与任务编排
🔹 工具调用与 API 集成
💡 推荐理由
新兴项目值得关注，潜力巨大
🎯 适用场景：适合需要快速构建 LLM 应用、RAG 系统或 Agent 的开发者
📊 项目信息
📂 查看完整源码
https://github.com/study8677/awesome-architecture
👆 长按上方链接复制后，在浏览器中打开
数据来源：GitHub API · 综合评分推荐