LLM-Ops

Agent 概念和运行流程

在 LLM 应用中，如果我们知道用户输入所需的工具使用特定顺序时，使用 LCEL 表达式构建链应用非常有用，但是对于某一些特例，我们使用工具的次数与顺序取决于输入，在这种情况下，我们希望让 LLM 本身决定使用工具的次数和顺序，而 Agent 智能体 能做到这一点。
在 LangChain 中，Agent 是一个核心概念，它代表了一种能够利用语言模型（LLM）和其他工具来执行复杂任务的系统，Agent 设计的目的是为了处理那些语言模型可能无法直接解决的问题，尤其是当这些任务涉及到多个步骤或者需要外部数据源的情况。
无论一个 Agent 设计得多么复杂，使用什么架构，最基础的工作流程其实都非常简单，只有 5 个步骤：
输入理解：Agent 首先解析用户输入，理解其意图和需求。
计划定制：基于对输入的理解，Agent 会制定一个执行计划，决定使用哪些工具和执行的顺序。
工具调用：Agent 按照计划调用相应的工具，执行必要的操作。
结果整合：收集所有工具返回的结果，进行整合和解析，形成最终的输出。
反馈循环：如果任务没有完成或者需要进一步的消息，Agent 可以迭代上述过程直到满足条件为止。
┌─────────────┐     ┌─────┐     ┌─────────────┐     ┌─────────┐
│   初始问题   │────▶│ LLM │────▶│ 格式化输出   │────▶│选择工具 │
└─────────────┘     └──┬──┘     └─────────────┘     └────┬────┘
                       │                                    │
                      函数调用                            工具列表
                                                              │
                        ←───────────────────────────────────┘
                        │        观察/循环执行              │
                        │   (直到最终完成条件满足)          ↓
                        ▼                              ┌──────────────┐
                    ┌──────────┐                       │ 工具执行结果  │
                    │   LLM    │ ◀────────────────────┤              │
                    │(再次调用) │                       └──────────────┘
                    └──────────┘                          │
                            │                           │ 最终调用
                            │                           ↓
                            └────────────────────────►┌──────────────┐
                                                      │  最终答案      │
                                                      └──────────────┘

---

---

PARSING Error

he words “dog”, “cat” and “banana” are all pretty common in English, so they’re part of the pipeline’s vocabulary, and come with a vector. The word “afskfsd” on the other hand is a lot less common and out-of-vocabulary – so its vector representation consists of 300 dimensions of 0, which means it’s practically nonexistent. If your application will benefit from a large vocabulary with more vectors, you should consider using one of the larger pipeline packages or loading in a full vector package, for example, en_core_web_lg, which includes 685k unique vectors. spacy

pip install en_core_web_sm-3.8.0-py3-none-any.whl

参考文档

Hello-Agents

langchain Docs(TS)

langchain Docs(py)

langchain Docs中文文档

uv/pip

weaviate

flask

llm-action

env config

``` OPENAI_API_KEY=<your-api-key> OPENAI_API_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1

FLASK_ENV=development FLASK_DEBUG=1

谷歌serper搜索 https://serper.dev/api-keys

SERPER_API_KEY=

> 《LLMOps平台：AI应用构建器》是新一代 AI 原生应用开发服务平台，可在平台上搭建基于 AI 模型的各类问答应用、工作 流应用，从解决简单的问答到处理复杂的逻辑任务。还可将 AI 应用一键发布到对应的社交平台、Web网页、可供第三方调用的MCP服务，甚至是基于平台的开放 API 进行二次开发。