记忆智能体基准评测
经 AI Skill Hub 精选评估，记忆智能体基准评测 获评「强烈推荐」。这款Agent工作流在功能完整性、社区活跃度和易用性方面表现出色，AI 评分 8.0 分，适合有一定技术背景的用户使用。
📚 深度解析
记忆智能体基准评测 工作流的设计遵循"最小配置，最大复用"原则：核心逻辑已经封装好，用户只需配置自己的 API Key 和业务参数即可快速上手。工作流内置错误处理和重试机制，在网络波动或 API 限速等情况下仍能稳定运行，适合作为生产环境的自动化基础设施。
在实际部署时，建议先在测试环境中运行 3-5 次，验证各个环节的输出结果符合预期，再部署到生产环境。AI Skill Hub 评分 8.0 分，是同类 Agent 工作流中的精选推荐。
📋 工具概览
ICLR 2026论文配套开源项目，专门用于评估大语言模型智能体的记忆能力。提供完整的增量学习评测框架和基准数据集，适合AI研究者、工程师优化智能体系统的记忆机制。
记忆智能体基准评测 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
📖 中文文档
ICLR 2026论文配套开源项目，专门用于评估大语言模型智能体的记忆能力。提供完整的增量学习评测框架和基准数据集，适合AI研究者、工程师优化智能体系统的记忆机制。
记忆智能体基准评测 是一套完整的 AI Agent 自动化工作流方案。通过可视化的节点编排，将复杂的多步骤任务拆解为清晰的自动化流程，实现全程无人值守的智能处理。支持与数百种外部服务和 API 无缝集成，适合构建数据处理管线、业务自动化和 AI 辅助决策系统。
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
# 方式一：pip 安装（推荐）
pip install memoryagentbench
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install memoryagentbench
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/HUST-AI-HYZ/MemoryAgentBench
cd MemoryAgentBench
pip install -e .
# 验证安装
python -c "import memoryagentbench; print('安装成功')"
- 访问 GitHub 仓库获取工作流文件
- 在对应平台（Dify / Flowise / Make 等）中找到「导入工作流」功能
- 上传工作流文件
- 按照提示配置必要的环境变量和 API Key
- 运行测试确认流程正常后投入使用
# 命令行使用
memoryagentbench --help
# 基本用法
memoryagentbench input_file -o output_file
# Python 代码中调用
import memoryagentbench
# 示例
result = memoryagentbench.process("input")
print(result)
# memoryagentbench 配置文件示例（config.yml） app: name: "memoryagentbench" debug: false log_level: "INFO" # 运行时指定配置文件 memoryagentbench --config config.yml # 或通过环境变量配置 export MEMORYAGENTBENCH_API_KEY="your-key" export MEMORYAGENTBENCH_OUTPUT_DIR="./output"
⚙️ MemoryAgentBench: Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions
Yuanzhe Hu, Yu Wang, Julian McAuley.
This project benchmarks agents with memory capabilities. Follow the steps below to set up your environment and install dependencies.
🧠 LongMemEval Overview
Four Core Competencies for Evaluation: * Accurate Retrieval (AR)
- Test-Time Learning (TTL)
- Long-Range Understanding (LRU)
- Conflict Resolution (CR)
We collected and reformulated data from previous benchmarks and datasets. All data is split into chunks to simulate real multi-turn interaction scenarios—just like your daily conversations with an AI assistant. We also newly constructed two datasets EventQA and FactConsolidation.
Notably, the team adopted a "inject once, query multiple times" design philosophy—one long text corresponds to multiple questions, significantly improving evaluation efficiency.
2. Install Python Dependencies
pip install torch
pip install -r requirements.txt
pip install "numpy<2"hipporag in requirements.txt since the current version of hipporag will cause some conflicts on pacakge version. You can create another environment with hipporag instead.
Sometimes you can try to supplement the lacked packages for cognee and letta. If you met some package related errors after installing requirements.txt.
pip install letta
pip uninstall letta
pip install cognee
pip uninstall cognee🚀 Quick Setup
Run Example Evaluation Command
You can run an evaluation using the following example command:
#### Long Context Agents
bash bash_files/eniac/run_memagent_longcontext.sh--agent_config: Path to the agent/model configuration file. - --dataset_config: Path to the dataset configuration file.
Rag Agents and Agentic Memory Methods
bash bash_files/eniac/run_memagent_rag_agents.shbash bash_files/eniac/run_memagent_rag_agents_chunksize.shRemember that hipporag (2.0.0a3) reuqires openai==1.58.1, which may cause some latest OpenAI models could not be used in same environment.
1. Create a Conda Environment
It’s recommended to use a dedicated conda environment for reproducibility:
conda create --name MABench python=3.10.16📥 Data Download & API Settings
To use this project, you need to download the processed data files and place them in the correct directory.
2. Environment Variable Settings
To run this project, you need to configure your API keys and model settings in a .env file at the project root.
Create a .env file and add the following content, replacing the placeholder values with your actual API keys:
OpenAI API Keys
OPENAI_API_KEY= ###your_openai_api_key#### Settings for Cognee
LLM_MODEL=gpt-4o-mini
LLM_API_KEY= ###your_api_key#### Other API Keys
Anthropic_API_KEY= ###your_anthropic_api
Google_API_KEY= ###your_google_api学术基准工具���为记忆智能体研究提供标准评测框架。代码质量有保障，适合学术和工程应用，具有重要参考价值。
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- Python 依赖冲突：建议用 venv / uv 隔离环境
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
⚡ 核心功能
- 可视化 Agent 工作流编排，无需编写复杂代码
- 支持多步骤自动化任务链，实现全流程无人值守
- 与外部 API、数据库和第三方服务无缝集成
- 内置错误处理与自动重试机制，保障稳定运行
- 提供可复用的自动化模板，快速在同类场景部署
- 构建多智能体协作系统的 Agent 开发者
- 构建企业知识库 / RAG 检索应用的团队
- 分块大小建议 256-512 tokens，向量库优选 pgvector 或 Qdrant
- Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- embedding 模型与查询模型不一致导致检索失效
- Python 依赖冲突：建议用 venv / uv 隔离环境
👥 适合人群
🎯 使用场景
- 自动化日常重复性工作，将精力集中于创造性任务
- 构建数据采集 → 处理 → 输出的完整自动化管线
- 实现跨平台、跨系统的数据流转和业务协同
⚖️ 优点与不足
- +MIT 协议，可免费商用
- +大幅减少重复性人工操作
- +可视化流程，清晰直观
- +可扩展性强，支持复杂场景
- −初始配置和调试需投入一定时间
- −强依赖外部服务的稳定性
- −复杂场景需具备一定技术基础
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
🔗 相关工具推荐
❓ 常见问题 FAQ
AI Skill Hub 点评：记忆智能体基准评测 的核心功能完整，质量优秀。对于自动化工程师和运维人员来说，这是一个值得纳入个人工具库的选择。建议先在非生产环境试用，再逐步推广。
| 原始名称 | MemoryAgentBench |
| 原始描述 | 开源AI工作流：Open source code for ICLR 2026 Paper: Evaluating Memory in LLM Agents via Increm。⭐337 · Python |
| Topics | 智能体大语言模型记忆评测基准数据集学术论文 |
| GitHub | https://github.com/HUST-AI-HYZ/MemoryAgentBench |
| License | MIT |
| 语言 | Python |
收录时间：2026-05-21 · 更新时间：2026-05-30 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。