from typing import Any, Dict, List, Literal, Optional, Union
import json

from pydantic import BaseModel, Field

from dolphin.core.utils.tools import Tool

# 定义ANSI颜色码 ,用于日志展示
COLORS = {
    "header": "\033[95m",  # 紫色
    "blue": "\033[94m",  # 蓝色
    "cyan": "\033[96m",  # 青色
    "green": "\033[92m",  # 绿色
    "yellow": "\033[93m",  # 黄色
    "red": "\033[91m",  # 红色
    "bold": "\033[1m",  # 粗体
    "underline": "\033[4m",  # 下划线
    "end": "\033[0m",  # 结束符
}


def parse_kwargs(**kwargs) -> Any:
    """解析传入的kwargs，提取tool_input和props"""
    tool_input = kwargs.get("tool_input", kwargs)
    props = kwargs.get("props", None)
    return tool_input, props


class APIToolResponse:
    """
    API工具响应数据类，用于封装返回数据结果
    """

    # 工具执行结果，执行成功返回结果数据，失败返回错误信息
    answer: Any = ""
    # 工具执行结果，执行成功返回结果数据，同 answer, 失败返回空
    block_answer: Any = ""

    def __init__(self, answer: Any = "", block_answer: Any = ""):
        self.answer = answer
        self.block_answer = block_answer

    def to_dict(self):
        """转换为字典"""
        return {"answer": self.answer, "block_answer": self.block_answer}


class ToolMapInfo(BaseModel):
    """
    工具参数映射信息模型

    用于定义工具输入参数的映射规则，支持多种映射类型：
    - fixedValue: 固定值映射
    - var: 变量映射（从变量池获取）
    - model: 选择模型映射
    - auto: 模型自动生成映射
    """

    input_name: str = Field(..., description="输入参数名称，必传字段")

    input_type: str = Field(..., description="输入参数类型，必传字段")

    map_type: Optional[Literal["fixedValue", "var", "model", "auto"]] = Field(
        None,
        description="映射类型，当有children时非必传字段。可选值：fixedValue（固定值）、var（变量）、model（选择模型）、auto（模型自动生成）",
    )

    map_value: Any = Field(
        None,
        description="映射值，当有children时非必传字段。",
    )

    enable: Optional[bool] = Field(
        None, description="是否启用此映射，当有children时非必传字段"
    )

    children: Optional[List["ToolMapInfo"]] = Field(
        default=None, description="子映射信息列表，非必传字段，用于嵌套映射场景"
    )

    def is_enabled(self) -> bool:
        """检查映射是否启用"""
        return self.enable is True or self.enable is None

    def get_map_value(self) -> Union[str, Dict[str, Any]]:
        """获取映射值"""
        return self.map_value if self.map_value is not None else ""

    def get_map_type(self) -> str:
        """获取映射类型"""
        return self.map_type if self.map_type is not None else "auto"

    class Config:
        """Pydantic配置"""

        # 允许从字典创建模型
        from_attributes = True

        # 允许额外字段
        extra = "allow"

        # 验证时使用赋值
        validate_assignment = True


# ================ examples =======================


class EmailSenderStreamTest(Tool):
    name = "email_sender"
    description = "发送电子邮件"
    inputs = {
        "email_address": {
            "type": "string",
            "description": "收件人邮箱地址",
            "required": True,
        },
        "content": {"type": "string", "description": "邮件内容", "required": True},
    }
    outputs = {
        "answer": {"type": str, "description": "agent最终输出"},
        "status": {"type": "string", "description": "发送状态"},
    }
    props = {}

    async def arun_stream(self, tool_input: dict, props: Optional[dict] = None) -> Any:
        _email = tool_input.get("email_address")
        _content = tool_input.get("content")

        api_response = [
            '{"answer": {"answer": ""}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": ""}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": ""}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": "邮件"}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": "邮件已经"}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": "邮件已经发送"}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
            '{"answer": {"answer": "邮件已经发送到xx@gmail.com了"}, "block_answer": {"retrievers_block_content": {"text": [{"content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0\n<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。\n<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.\n· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。\n提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件\nFramework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2\n无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。\n由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。\n大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark\n（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "retrieve_source_type": "DOC_LIB", "score": 0.5, "meta": {"doc_lib_type": "", "object_id": "7883586CD6C24E1F9F609D25BF4608D9", "doc_name": "AnyDATA Framework3 技术白皮书 0913", "ext_type": ".docx", "parent_path": "gns://部门文档库test/ad产品资料", "size": 11266718, "doc_id": "gns://9E52CC2501B3436FA25A696C38C4470A/E075D7F3DAD34C01A85949DFB7B310BB/7883586CD6C24E1F9F609D25BF4608D9", "slices": [{"score": 0.5, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 9, "content": "· 灵活调度\n<em>AnyDATA</em> Framework 3根据微服务资源及用户提供服务器资源配置，借助于Kubernetes调度功能，合理充分的使用服务器资源。使服务器资源利用率最大化，从而合理化使用用户服务器资源。\n· 中间件（组件）管理\n借助proton内置的关系型数据库、中间件管理，使用户只需关注业务的变化和微服务的增加。而不需关注于具体的组件部署<em>安装</em>，只需选择使用的组件配置即可。\n· 微服务管理\n<em>AnyDATA</em> Framework 3随着用户需求的增加而增加微服务，根据微服务的增加后用户管理微服务难度系数随之增加。同时微服务随着需求变化所需要的资源也随之变化。\xa0", "pages": [0]}, {"score": 0.38619641938951993, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 8, "content": "<em>AnyDATA</em> 基于云原生的部署架构\nproton云原生技术优势：\n· 部署简单\n用户提出业务需求进行版本迭代和部署新用户环境时，通过Kubernetes 搭建环境后部署<em>AnyDATA</em> Framework 3的微服务时需要一周。但通过proton一键<em>安装</em>部署时只需要两小时。有效的提高部署效率，屏蔽部署细节降低部署难度。\n· 可视化\n<em>AnyDATA</em> Framework 3的微服务依赖组件使用链接地址时，Kubernetes 需要通过kubectl命令编写链接地址。当用户需要修改地址时，修改地址不可见增加修改难度。通过proton部署工作台可直接修改中间件链接地址。", "pages": [0]}, {"score": 0.3859720469312392, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 7, "content": "<em>AnyDATA</em> Framework 3包含大量的微服务，其中包含：管理微服务、工程化和AI微服务。通过容器化部署及微服务架构将不同语言和AI微服务进行环境隔离、灵活运用环境资源，有效节约硬件成本、增加服务可靠性。\n[image: 图形用户界面\n\n描述已自动生成]云原生开源技术栈Kubernetes +docker入门技术门槛高、<em>安装</em>部署复杂。基于此，proton有破解之道，对开源Kubernetes 进行改造和拓展。降低云原生技术入门门槛、关闭高位端口及证书管理和云查杀等提高安全性、增加部署工作台管理界面、提供一键<em>安装</em>部署、适配华为云及私有化等多云部署方式。\n0.", "pages": [0]}, {"score": 0.1945075491983359, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 5, "content": "· 优势：\n· 时效性强，几乎没有幻觉，可解释\n· 成本低：无需额外训练，实现难度和及成本较低，且不同LLM可以复用，选择最优解\n· 劣势：\n· 依赖外部数据存储的检索算法准确性\n[image: 图形用户界面\n\n描述已自动生成]下图是一个简单的RAG的例子，我们用上文中使用过的“杭州亚运会的奖牌榜”为例，在大模型<em>回答</em>问题之前，加入一个搜索引擎进行内容获取的组件，从互联网上获取最新的信息。这样就能在不改变模型的情况下，用相对低的成本让大模型<em>回答</em>了正确的答案。", "pages": [0]}, {"score": -0.20741831440190717, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 6, "content": "提供多个工具箱\n\n\n\n\n\nChatKnowledge类型的Agent应用开发（AS文档问答场景）\n\n\n\n\n\n\n最佳实践：领域认知助手—基于领域认知应用的认知能力集合\nPART 3.5\nAnyShare认知助手：共创内容与知识运营自动化（<em>AnyDATA</em> inside）\nAnyFabric认知助手：共创智能数据运营（<em>AnyDATA</em> inside）\n\n\n\nAnyShare认知助手：基于向量知识组件、知识图谱组件实现可解释生成\n\n\n\n生成内容可解释：来自于文档向量知识组件搜索增强\n\n\n问题语义含业务实体，关联图谱引导深入关联分析探索；\n\n\n\n\n\n45\n\nAnyShare 认知助手：摘要知识组件、概念知识组件", "pages": [0]}, {"score": 0.05614453325854252, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 0, "content": "Framework 3 与爱数其他产品结合实现领域认知智能\t90\n4.1 AnyShare 认知助手：共创内容与知识运营自动化\t90\n4.2 助力AnyFabric实现业务知识网络及各类智能推荐\t91\n4.2.1 构建领域概念库\t91\n4.2.2 构建领域知识图谱\t92\n4.2.3 基于知识网络的推荐场景\t93\n第5章 部署模式及云原生\t94\n5.1 基于 Proton 的云原生架构\t94\n5.2 与爱数其他产品一起融合部署\t96\n5.3 <em>AnyDATA</em> Framework 3 的可观测性\t98\n第6章 平台安全\t<em>100</em>\n6.1 数据安全\t<em>100</em>\n6.1.1 身份和访问管理鉴别\t<em>100</em>\n6.1.2", "pages": [0]}, {"score": -0.15596223063618941, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 1, "content": "无论是<em>回答</em>问题、交流想法还是模拟人类的对话，它都表现出色。当用户与大模型对话时，它能够理解用户意图，并用流畅的自然语言进行回复；\n· 文本生成：基于以GPT为代表的大模型开发的应用，可以根据用户的提示生成高质量的文本，包括文章、故事、诗歌等。创作出之前真实世界中并不存在的文字甚至作品；\n· 问题解答：基于以GPT为代表的大模型开发的应用，可以<em>回答</em>各种问题，能够对多个领域的问题进行<em>回答</em>。它甚至会提供详细而清晰的解释，帮助用户理解复杂的概念；\n· 任务规划：基于以GPT为代表的大模型开发的应用，可以根据用户提出的任务提供解决方案并规划路径，再根据接入的外设来解决领域问题。", "pages": [0]}, {"score": -0.018945449446080495, "id": "7883586CD6C24E1F9F609D25BF4608D9", "no": 2, "content": "由于大模型可以根据上下文预测下一个<em>字</em>的特性，大模型可以根据用户输入的问题来生成答案。下面两张图分别简要说明了大模型训练及完成任务的过程，以及用大模型实现对话机器人。\n大模型的简要工作原理\n[image: 图形用户界面, 应用程序, Teams\n\n描述已自动生成]如图1-3所示，大模型的训练需要大规模的语料和GPU资源，训练的设备成本及耗时都会很长，训练出来的大模型可以接受提示词的输入，并根据提示词对于任务的描述生成答案。\n利用大模型实现对话机器人\n如图1-4所示，我们只需要在大模型中添加对话过程中的上下文，就同样可以利用大模型的生成能力来实现对话。", "pages": [0]}, {"score": -0.10151451409339504, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 3, "content": "大模型的人机对话模式普及到所有应用；\n趋势：智能应用Agent成为领域场景代理人：每个Agent代表一个领域能力，自主协同，自主交易和交换，业务和数据交易的智能形态；\n\n\n\n考量一：\n大模型训练的领域化：\n考量二：\n大模型落地的私有化：安全、经济、可控\n考量三：\n大模型应用场景的Agent化：\n\n\n\n\n\n\n\n\n\n\n\n<em>AnyDATA</em> Framework 3 \n产品定位和简介\nAGI 时代的领域认知智能框架，即：面向领域的大模型应用开发框架\nPART 02\n\n\n\n\n9\n\n\nInference Accelerator\n\n<em>AnyDATA</em> 模型工厂\n领域知识网络\n领域数据\n\nAlignment\nBenchmark", "pages": [0]}, {"score": -0.14100406675080634, "id": "A09EE593E1764DFE9FD1FC4F9B4539DC", "no": 4, "content": "（构建知识图谱，整合领域专家知识）\n\n开发中\n\n\n\n\n\n14\n\n<em>AnyDATA</em> 的大模型领域化架构\n<em>AnyDATA</em> 的大模型领域化架构是一个综合系统，它通过模型工厂、Benchmark评测系统、数据集管理、领域知识网络构建、Agent Factory开发及评估等核心组件，实现了一个高度模块化和可扩展的解决方案，以适应不同领域的特定需求。", "pages": [0]}], "data_source": "doc"}}]}}, "status": "False"}',
        ]

        async def async_generator(data):
            for item in data:
                yield item

        async for line in async_generator(api_response):
            try:
                item = json.loads(line, strict=False)
            except Exception as e:
                print(e)
            yield item
        # return response_str
