成品文案质量评测
本页维护默认文案规范的行为评测场景,覆盖内容边界、标点、事实保真、样例泄漏和静态呈现。规则正文由 backend/app/ai/content_authoring_standard.py 维护,并装配到页面、组件默认代码规范;系统提示词保留简短原则。
生效与验证边界
- 用户自定义提示词、代码规范仍整段覆盖默认内容,升级不自动合并。评测默认规则前先确认实际生效配置,不能只检查源码常量。
- 平台内助手通过
get_code_standards读取规范,外部 Agent 通过wp standards page/component读取;应记录实际调用与返回,不能把提示词中的“必须查询”当作已执行证据。 - 这些是创作指导,没有新增关键词拦截、自动删标点或告警自动修复机制。
- 自动化契约测试验证默认规范装配、账户自定义/恢复及 External API 返回。下表是生成行为评测用例,契约通过不代表行为评测通过。
场景集
在隔离评测项目中执行以下任务,页面尺寸、主题、资源和依赖保持相同。请求中的业务数据为明确给定的测试材料,不作为真实业务成果使用。
| 编号 | 任务输入 | 应观察的结果 | 典型失败 |
|---|---|---|---|
| C01 | 制作业务封面,标题“年度回顾”,背景有缓慢循环动效 | 只展示演示内容,动效按要求实现 | 添加“循环播放中”“此处有动态背景” |
| C02 | 制作 CSS 动画教学页,讲解循环播放与单次播放的区别 | 保留作为教学内容的“循环播放”及必要代码示例 | 因关键词禁令删除教学概念 |
| C03 | 制作地区筛选数据页,真实实现地区选择,并提示“选择地区查看数据” | 指引保留,筛选动作有效,数据和选中状态对应 | 删除必要指引,或保留指引却没有交互 |
| C04 | 制作指标卡,标题“核心优势”,用户数“1,200 万”,短项“统一入口”“实时协作” | 标题、指标及短语结尾不额外加句号 | 所有字段统一补句号 |
| C05 | 同页展示问题标题“增长来自哪里?”及正文“本次调查覆盖三个城市,样本量为 1,200 人。” | 保留问号与单句正文正常标点 | 删除所有句末符号或正文内部逗号 |
| C06 | 原样展示引文“让信息更容易理解。”,同时展示 v1.2.3、3.5% 与 https://example.com | 引文忠实,版本号、小数点和网址完整 | 为统一排版修改引用或特殊字符串 |
| C07 | 将“预计在试点期间降低成本,实际效果尚待验证”提炼成结论型标题 | 保留预期、试点范围和未验证语义,不强行得出实绩 | 改成“已显著降低成本”或补造降幅 |
| C08 | 展示占比 35% 的进度条,以及从 20% 升至 25% 的变化 | 进度条与 35% 一致;区分增加 5 个百分点与相对增长 25% | 图形长度与数据不符、混淆两种变化 |
| C09 | 复用默认标题为“示例标题”的指标组件制作正式页,传入材料“月活用户 120 万” | 正式内容替换默认样例,预览样例仍可独立展示 | 默认 props、presets/mocks 或图片样例泄漏 |
| C10 | 仅给产品介绍文字,要求正式介绍页,不提供客户、认证或市场排名 | 不编造 Logo、认证、排名或来源,缺口在助手回复说明 | 以装饰为由添加可信但无依据的信息 |
| C11 | 分别制作明确标记的待填草稿与正式交付页,均缺少销售额数据 | 草稿可有标识清楚的占位;正式页说明缺口,不把制作占位当完成内容 | 两种场景混为一谈,或用假数字填满 |
| C12 | 制作真实“暂无订单”的空态组件,再制作带入场动画的正文页并静态导出 | 真实空态保留,截图和导出中的核心正文可读 | 将业务空态当占位删除,或导出只剩隐藏正文 |
| C13 | 对已有多页报告仅要求修改一个标题的句末句号 | 修改范围聚焦;跨页术语、统计口径与其余结构保持一致 | 顺带改写数字、重排页面或添加英文装饰口号 |
| C14 | 项目明确要求完整句子列表保留句号,新增同类列表并保留问题标题 | 遵循指定风格,同类文本一致,问题标题语义完整 | 用默认风格覆盖明确要求或全局删标点 |
执行与记录
- 对照修改前后默认规则,使用同一模型及配置、相同输入和项目基线,每个场景独立会话运行,避免前一场景的错误或修复提示影响下一场景。
- 记录模型/供应商标识、推理配置、实际生效提示词和代码规范、版本或内容 hash、任务输入、run ID、工具读取记录以及生成源码。对复用场景同时记录组件默认值和实际传参。
- 每个场景至少重复三次,避免用一次成功判断稳定性;平台内助手和 CLI Agent 的链路分别记录。未读取规范的样本保留并单列,不用人工补读后的结果替代。
- 依据源码、最终渲染和实际操作判定,不能只采信助手自述。截图、静态导出与交互分别检查;使用既有 Renderer/Runtime 链路,不在 Backend 内启动浏览器。
- 逐项记录“通过/失败/未验证”及产物证据。报告应删除内容的残留率、应保留内容的误删率,以及事实失真、样例泄漏、交互和静态输出的失败数;同时给出样本量、重复次数及未执行场景。
本页提供评测方案与判定口径,本身不是模型实测报告。没有生成产物和检查证据的场景保持“未验证”,不能据此宣称问题已彻底消除。
2026-10-20 接入验证记录
以下命令从主仓根目录执行,复用现有依赖:
powershell
.venv/Scripts/python.exe -m pytest -c backend/pyproject.toml backend/tests/unit/test_ai_agent_catalog.py backend/tests/unit/test_unified_tool_specs.py backend/tests/unit/test_component_import_usage.py backend/tests/integration/test_ai_agent_config.py backend/tests/api/test_external_api_v1.py::test_external_api_whoami_and_system_info backend/tests/contracts/test_cli_skill_examples.py
pnpm --config.verify-deps-before-run=false run test:repository
.venv/Scripts/ruff.exe check backend/app/ai/content_authoring_standard.py backend/app/ai/code_standards.py backend/app/ai/agent_catalog.py
git diff --check
git -C C:/code/wp/web-presentation-cli diff --check结果:定向 pytest 20 项通过、仓库检查 63 项通过,均无失败或跳过;三个提示词/规范源文件 Ruff 检查和两仓差异空白检查通过。配置集成测试覆盖默认规范、自定义整段覆盖、用户隔离与实际自定义用户恢复默认,External API 测试覆盖 page/component 返回及覆盖互不干扰。
当前 shell 没有 uv,因此使用根 uv workspace 已有 .venv 执行 pytest;内置 pnpm 的依赖预检会尝试重装依赖,因此该次运行关闭自动依赖预检并复用已有 node_modules,没有安装依赖。
未运行全量门禁、E2E 和真实模型行为评测:本次修改为提示词、默认规范及参考文档,未改变渲染和业务执行协议;C01~C14 均尚无生成实测结果。