Update README and project cleanup

workflow1.0.md

@@ -0,0 +1,175 @@
+# workflow1.0
+
+## 1. 本次目标与已确认决策
+
+### 1.1 目标
+- 将 `清洗3.0.xlsx`（56列表头固定）导入现有DMP系统。
+- 对数据执行可复用的清洗、规范化、标签生成、导入、验证流程。
+- 建立“自动处理 + 必要人工介入检查点”的长期工作流。
+
+### 1.2 已确认决策（本轮执行）
+1. `参加指导最想解决` 缺失（约90%）采用 **保守推断**，并在面板标签上标注“(推断)”。
+2. `监护人2` 相关字段整体删除（缺失高且当前模型不需要双监护人建模）。
+3. 删除 `付费能力标签` 分类，避免无依据推断造成误导。
+4. 导入模式为 **完全替换**（本次以新数据全量覆盖旧数据）。
+
+---
+
+## 2. 数据到标签的处理策略（本次）
+
+## 2.1 列分层处理
+
+### A. 直接删除列（隐私/冗余/不再使用）
+- 监护人2相关：`H~N`。
+- 联系方式相关：`G`, `N`（如仍存在二次映射则一并移除）。
+- 明确隐私字段：`O(孩子姓名)`, `U(家庭地址)`。
+- 仅保留规范化版本时，原文字段将不入标签逻辑（如 `_原文` 列）。
+
+### B. 保留并参与标签生成列
+- 基础规范列：`AN`, `AP`, `AR`, `AT`, `AV`, `AX`, `AZ`, `BB`, `BD`。
+- 关系与教养列：`W`, `X`, `Y`, `Z`, `AA`, `AB`, `AC`。
+- 其他辅助列：`C(文化程度)`、`B(家庭角色)`（仅当规范列不足时作为补充）。
+
+### C. 低质量列处理
+- `参加指导最想解决_扩展(BD)`：
+  - 有值：直接入“核心问题标签”。
+  - 无值：按保守规则推断，标签名称后缀 `（推断）`。
+
+### D. 家庭角色专项清理（本次新增）
+- 仅保留真实家庭关系词，不保留职业、状态、描述、乱码、手机号、标点碎片。
+- 标准化后保留的家庭角色以“可解释、可复用、可前端展示”为准。
+- 第一轮收敛后统一为 18 个家庭角色标签；二次收敛后进一步压缩为 12 个标签。
+- 最终保留：`妈妈`、`爸爸`、`奶奶`、`外婆`、`爷爷`、`姑姑`、`外公`、`舅舅`、`继母`、`姨妈`、`伯娘`、`其他监护人`。
+- 规则：`家长`、`父母` 归并到 `其他监护人`；`妻子`、`女儿`、`姐姐`、`儿子` 删除。
+
+## 2.2 保守推断（核心问题标签）
+
+### 推断原则
+- 仅在高置信线索存在时推断。
+- 无明显线索时宁可不贴标签，不做激进猜测。
+- 每个推断标签必须带后缀：`（推断）`。
+
+### 候选线索来源（多因素）
+1. 学习状态：`学习成绩_规范(AX)`。
+2. 家庭与关系：`家庭氛围(W)`, `亲子关系(X)`。
+3. 教养风险：`Y/Z/AA/AB`。
+4. 重大事件：`重大影响事件_扩展(BB)`。
+
+### 推断样例（示意）
+- `学习成绩_规范=差` 且 `亲子关系=紧张` -> `学习动力与执行（推断）`。
+- `有无打骂教育=是` 或 `经常否定孩子=是` -> `教养方式调整（推断）`。
+- `家庭氛围=冲突紧张` -> `亲子沟通修复（推断）`。
+
+## 2.3 规范化3类实现（家庭氛围）
+
+### 目标分类
+- `温暖`
+- `中立`
+- `冷漠`
+
+### 实现方式
+1. 关键词词典匹配（主规则）。
+2. 冲突/负向词优先级高于一般正向词。
+3. 未命中规则时默认 `中立`（保守策略）。
+
+### 最小规则集（可迭代）
+- 温暖词：和谐、支持、理解、亲密、关心、沟通良好。
+- 冷漠词：冷漠、疏离、冷战、回避、忽视、压抑。
+- 中立词：一般、还行、普通、尚可、平常。
+
+---
+
+## 3. 面板与后端联动改造
+
+## 3.1 标签显示要求
+1. 推断得到的标签统一后缀：`（推断）`。
+2. 推断标签在返回结构中增加 `source: inferred`。
+3. 非推断标签 `source: original`。
+4. 前端展示数据来源提示（例如 hover/说明文字）：
+   - 原始：来自原始/规范化字段。
+   - 推断：由规则推断生成。
+
+## 3.2 分类调整
+- 删除 `付费能力标签` 分类：
+  - 不再生成该分类标签。
+  - 不再写入该分类及其关系数据。
+  - 前端自动按后端返回分类渲染，列数减少1列。
+
+---
+
+## 4. 本次执行步骤（一次性落地）
+
+### Phase 0：准备与备份
+1. 备份当前数据库（含可回滚版本号）。
+2. 固定输入文件名：`清洗3.0.xlsx`。
+3. 运行预检查：表头完整性、行数、空值率、关键字段有效性。
+
+### Phase 1：清洗与规范化
+1. 删除隐私/冗余字段（含监护人2全量字段）。
+2. 统一空值表示（`null`）。
+3. 执行家庭氛围3类规范化。
+4. 执行关系字段规范化（是/否、强/中/弱等）。
+
+### Phase 2：标签生成
+1. 生成原始可直接映射标签。
+2. 对 `参加指导最想解决` 缺失记录执行保守推断。
+3. 推断标签统一后缀 `（推断）`。
+4. 删除 `付费能力标签` 整个分类输出。
+
+### Phase 3：导入与覆盖
+1. 采用“完全替换”模式写入用户、标签、关系。
+2. 重新计算 coverage/coverage_rate。
+3. 清除服务缓存并重启服务。
+
+### Phase 4：验证与放行
+1. 数据量核对：用户数、标签数、关系数。
+2. 分类核对：确认无 `付费能力标签`。
+3. 推断核对：抽样检查 `（推断）` 标签合理性。
+4. 面板核对：标签显示、来源说明、计算功能正常。
+
+---
+
+## 5. 固化为“长期自动工作流”步骤
+
+## 5.1 标准输入约束
+- 输入Excel表头固定（当前56列）。
+- 若表头变动，流程自动中断并输出差异报告。
+
+## 5.2 自动化流水线
+1. `validate_headers`：校验表头是否与模板一致。
+2. `clean_data`：删除列、空值处理、文本规范化。
+3. `generate_tags`：规则映射 + 保守推断。
+4. `import_replace`：全量替换导入。
+5. `post_verify`：统计、抽样、接口与前端校验。
+6. `checkpoint_gate`：人工确认后放行。
+
+## 5.3 必要人工介入检查点（必须签字）
+1. 推断策略抽样检查（至少50条推断样本）。
+2. 分类分布异常检查（某类占比异常波动报警）。
+3. 面板业务可解释性检查（“为何是该标签”可追溯）。
+
+## 5.4 失败回滚机制
+- 导入前快照备份。
+- 任一检查点失败 -> 自动回滚到上一版本。
+- 记录失败原因和异常样本，进入规则修订队列。
+
+---
+
+## 6. 验收标准（本次）
+
+1. 成功导入 `清洗3.0.xlsx` 全量数据。
+2. `监护人2` 数据不再参与模型与标签。
+3. `付费能力标签` 分类从后端和面板完全消失。
+4. `参加指导最想解决` 缺失场景产出的标签均带 `（推断）`。
+5. 面板可区分 `original` 与 `inferred` 来源。
+6. 所有核心接口响应正常，且统计字段一致。
+
+---
+
+## 7. 命名规范已确认（已锁定）
+
+- 推断标签命名风格统一为：`业务短语 + （推断）`。
+- 示例：`学习动力不足（推断）`、`亲子沟通修复（推断）`、`教养方式调整（推断）`。
+- 执行要求：所有由规则补全生成的“核心问题标签”均必须带 `（推断）` 后缀，原始字段直接命中的标签不得带该后缀。
+
+已进入脚本实现与执行阶段。