用户习惯在深夜、周末购物，且分散在App、小程序、直播间等多个渠道。传统人工客服难以实现7x24小时的高质量覆盖。随着业务规模扩大，线性增加人工客服团队会导致管理成本和人力成本显著上升，大模型的技术发展能够解决传统关键词机器人听不懂话的痛点，能够削减线性成本，提高拦截率。因此针对售前客服的场景搭建了此项目。

• 需求分析与SOP梳理：深度拆解用户场景，拆解用户意图并构建二级意图体系，包含商品属性咨询、商品对比、价格政策咨询等一级意图，梳理各意图下的SOP，从回答内容、格式、长度、结构等方面定义回答理想态。
• 从0到1搭建agent：基于Coze平台从0到1搭建智能客服agent demo，采用planner+executor的agent架构，串联QA问答对命中、意图识别、检索召回、内容澄清、组织生成等节点，确保回答的质量，指引后续开发迭代。
• 测评体系制定：拆解用户场景及场景触发频率，分层构建测评样本。确定准确性、相关性、逻辑一致性、拟人化等测评维度。采用端点测评+端到端测评的方式，针对检索召回、意图分类、组织生成等环节分别构建离线测评集。
• 模型选型及策略调优：综合考虑效果、成本、性能，完成意图识别、组织生成等模型选型，建立Bad Case归因模型，针对意图识别偏移、回复机械、上下文理解效果不佳等问题，通过结构化调整Prompt并添加示例（few-shot）、调整及工作流逻辑，细化分类意图等方式持续优化。
• 自动化测评体系构建：为解决人工测试效率低的问题，自主搭建了自动化测评系统。利用LLM模拟多轮对话并按照预设维度打分，完成数据自动化归档，测评系统与人工评估结果一致率90%以上。
• 项目成果：通过策略优化，意图识别准确率提升20%，检索召回f1-score增加20%，整体打分由1.4分提升至1.8分，上线后转人工率减少50%。

针对建筑设计师查找规范耗时长、易遗漏导致方案被打回的痛点，利用规范知识库构建专业级知识库助手。

• 业务与用户调研：通过问卷调研，梳理用户画像，包括设计师助理、资深设计师、项目经理等不同人群，洞察到用户在规范查找过程中条文定位失败、强制性风险遗漏、重复审图等痛点问题。
• 数据收集与整理：收集200+规范文件，完成文件筛选，数据清理，最终构建500万字知识库。根据文件层级（国标、地标、行标、强制性规范）及发行时间（最新版、旧版），完成文件分类。
• 策略深度调优：针对检索精度问题，选择阿里emb-3、reranker-base、jina-reranker-m0等Embedding/Rerank模型进行模型训练；优化切片方式，将切片策略从简单长度切分升级为按字符/章节精准切分。升级召回策略，由单路召回（语义）升级为多路召回（语义+关键词）并调整召回阈值。
• 测评与Bad Case治理：引入MOS打分法，从正确性、逻辑性、忠实性维度评估。针对表格识别困难、幻觉等典型问题，通过Markdown转化与摘要索引策略来提高表格识别准确率、优化Prompt约束及调整模型参数（Temperature，Top-P），显著降低幻觉率。
• 项目成效：将规范查找时间从小时级缩短至分钟级，极大提升了设计评审的一次通过率。