事故工单 工单号:INC-20260812-03 标题:星洲客户运营平台 批量数据导出功能超时失败 等级:P2(重要功能不可用,核心服务未中断) 负责人:曲铭(技术支持部 技术支持经理) 状态:已恢复,根本修复待发布 生成时间:2026-08-12 15:20 一、处置时间轴(均为 2026 年,时间为北京时间) 08-11 21:00 v2.4.0 灰度发布,放量 10%。灰度批次按租户 ID 尾号选取,未包含 导出数据量 4 万条以上的租户,灰度期间无告警。 08-12 08:40 v2.4.0 放量至 100%。 08-12 09:12 辰曜医疗(T-1042)发起客户档案导出,60 秒后网关超时,错误码 EXP-504。 此为本次首次失败请求。 08-12 09:18 监控告警:导出接口 P95 响应时间超过 30 秒阈值,命中租户 7 个。 08-12 09:26 客服接到辰曜医疗工单 T-88213。 08-12 09:33 SRE 排除网络因素:机房至数据库链路无抖动,丢包率与延迟均在基线内。 08-12 10:05 研发平台组介入排查。 08-12 10:30 客服起草《初步说明》,因根因未定位、影响面未核实,未发出。 08-12 11:20 定位根因(初步):v2.4.0 重写导出查询语句后,过滤条件顺序变化, 未命中复合索引 idx_export_cust_time,大数据量租户退化为全表扫描。 待 8/13 复现验证后出具最终根因报告。 08-12 12:50 临时缓解:对导出接口限流,站内提示引导错峰导出。 08-12 13:30 决定回滚导出模块至 v2.3.8。 08-12 14:05 回滚完成,导出功能恢复正常。 08-12 14:12 辰曜医疗重新导出成功。 08-12 14:30 研发确认:本次全程为查询阶段超时,未进入写库逻辑, 无数据变更、无数据丢失。(此项已完成验证,可对外说明。) 二、影响范围(依据《导出接口调用明细_20260811-0812.csv》) - 监控告警命中租户:7 个(其中 1 个为内部性能压测账号,非客户) - 客户租户命中告警:6 家 · 发生导出失败:2 家(辰曜医疗、和熙人力) · 仅响应变慢、导出均成功:4 家(青梧教育、兰驰智造、承嘉建工、岚舟物流) - 未受影响客户:3 家(单次导出条数低于 4 万条,未触发全表扫描退化) - 导出功能不可用时段:08-12 09:12 至 08-12 14:05 三、尚未确认的事项 1. 最终根因报告(8/13 复现验证后出具); 2. SLA 适用性判定(依公司规定由商务部与法务部书面出具,技术侧不作判断); 3. v2.4.1 修复版本的发布时间。 四、待办 1. v2.4.1 修复版本提交 —— 童昱,8/12 22:00 前 2. 导出模块全量回归(约 4 小时)—— 苗恬,8/13 上午起 3. 告警口径复核(告警租户数与实际受影响客户数差异说明)—— 舒航,8/13 4. 导出模块索引使用规范补充 —— 卫岑,8/14 前 5. 对外通知发出 —— 尹佳 / 邵敏,8/12 下班前 6. 客户重导核对结果反馈 —— 邵敏,8/13 12:00 前