评估不同LLM模型性能
LLM评估NAGI
⭐ 8 · HTML
运行LLM模型的Elixir绑定，支持Metal、CUDA、Vulkan或C
ElixirLLMCUDA
⭐ 7 · Elixir
Rust实现的GGUF推理运行器
ggufllmrust
⭐ 7 · Rust
🛠
开源AI工具：OpenAI兼容LLM网关
AI工具
7.5
ai-firewall是一款开源的AI工具，使用Redis exact缓存和Rust语言开发，降低OpenAI API成本。它提供了一个可安装的LLM网关，支持OpenAI兼容的LLM模型。
ai-cost-optimizationai-gatewayai-infrastructure
⭐ 7 · Rust
Agent工作流
ai-agentchatbotjava21
⭐ 7 · Java
🔌
开源MCP工具：Secure memory & context optimization
MCP工具
7.5
SecureContext是开源的MCP工具，用于优化Claude Code的内存和上下文管理，提供安全的替代方案。
mcpai-agent-memoryclaude-code
⭐ 7 · TypeScript
KVBoost是一款开源AI工具，通过块级KV缓存重用来加速LLM推理。它可以显著提高LLM的性能和效率，适用于各种LLM应用场景。
installablekv-cachellm
⭐ 7 · Python
ACL2026可扩展的多LLM协作系统
ACL2026LLM协作系统
⭐ 7 · Python
从零实现基础的Transformer的Decoerder-Only模型，并进行模型升级，构建专属于自己的LLM模型。
decoder-modelllmnlp
⭐ 7 · Python
为VPet提供聚合LLM接口的开源AI工具
AILLMC#
⭐ 7 · C#
基于Rust开发的MCP服务器，集成jieba中文分词引擎，为AI智能体提供多源交叉验证的记忆管理能力。支持中文自然语言处理，特别适合需要长期记忆和知识积累的AI应用开发者和研究人员。
MCP服务器记忆管理中文NLP
⭐ 7 · Rust
支持本地和云端推理的混合LLM路由器
LLM路由器本地优先
⭐ 7 · Python
实用LLM评估工具，适用于生产环境
LLM评估生产环境
⭐ 7 · Python
Dify应用
difyaiai-agent
⭐ 7 · Python
当前你家常用AI常用器。常用一个系统给管球的常用器。常用一个系统给管球的常用器。
installableaiai-tools
⭐ 7 · Go
React Native库，用于设备上的LLM推理
AILLMReact Native
⭐ 7 · C++
AI工具
llmchatbotpython
⭐ 7 · Python
🔌
开源MCP工具：Rust实现的MCP服务器
MCP工具
7.5
MCP server in Rust for AI agent persistent memory：branch-aware session handoffs，提供了一个开源的MCP服务器，支持AI代理持久性内存和分支感知会话转移
mcpagent-memoryai-agents
⭐ 7 · Rust
AI工具
installablegit-based-wikikarpathy
⭐ 7 · Python
瞬间理解任何代码库，免费、离线
代码分析开发工具LLM
⭐ 7 · Rust