TouchAll技术博客

TouchAll技术博客

Agent系统设计

DeepEval - Dataset 数据集

在 DeepEval中数据集通常就是一系列的 goldens. golden包含llm测试case的所有前置条件。 所以 dataset 就是 golden 的管理器, 使用golden去完成测试用例编写。 初始化数据集 dataset = EvaluationDataset() 添加数据 一个D

提示词工程 - 认识 Temperature 温度

首先 Temperature 代表大模型输出的随机性参数, 本章将用实验认识 Temperature 温度如何控制输出质量,为我们的目标任务设置使用合适的 temperature 区间,引导大模型达到我们的预期目标。 整体思路 核心目标:用标准化数据集 + 量化指标 + 对照实验,量化三组参数对「幻

[系统设计 - Agent 体系设计] 提示词工程 - 新手入门

提示词工程(Prompt Engineering)是一套规范化设计、调试、优化输入文本,用来精准控制大模型输出格式、逻辑、风格、能力边界的方法论,核心目标:降低模型幻觉、稳定输出、复用模板、挖掘模型极限能力。 整体分为基础理论、核心编写技巧、高阶范式、工程落地、调优运维、行业落地六大板块。 一、核心

[系统设计 - Agent系统设计专题] 1. Agent工程评估体系

建立评估体系的目的 保证迭代优化效果 客观衡量模型能力水平:使用可量化的标准,客观衡量模型在各种任务优劣 通过评估体系验证改动是否有效,防止更新模型对Agent工程后能力退化 匹配真实业务需求 适配业务任务,通用基准无法代表行业场景,自建业务测评集,校验模型能够胜任 作为决策依据,不再依靠厂商宣传或