【星洲客户运营平台 · 线上问题应急群】聊天记录导出 导出范围:2026-08-12 09:18 — 15:12 群成员:曲铭(技术支持经理)、童昱(研发·平台组)、苗恬(测试)、舒航(SRE)、 尹佳(客服)、邵敏(交付·辰曜医疗对接)、卫岑(DBA)、羿珂(客户成功总监)、闻昭(CTO) 说明:本导出为原始记录,未做删减合并。 09:18 舒航:导出接口 P95 飙到 32 秒,告警刚出,7 个租户命中阈值 09:19 舒航:@童昱 昨晚放量的 v2.4.0 动导出了吗 09:21 童昱:动了,导出查询做了重写。但压测环境跑的时候没问题啊 09:24 舒航:昨晚 21 点灰度 10% 的时候没告警,今早 8:40 放到 100% 之后才开始的 09:26 尹佳:客服这边收到辰曜医疗的工单,T-88213,说导出全部失败,从 9 点多开始试了十几次 09:27 尹佳:客户在工单里问是不是数据丢了,语气不太好 09:29 曲铭:先别回根因。@童昱 多久能定位 09:31 童昱:给我半小时 09:33 舒航:网络先排掉了,机房到 DB 的链路没抖动,丢包和延迟都在基线内 09:34 尹佳:那我先按网络原因回客户一个?说 30 分钟恢复 09:35 曲铭:不行。没定位之前不给根因、不给恢复时间。你只能说"已发现异常、正在排查、11 点前给下一次更新" 09:36 尹佳:好 09:40 邵敏:辰曜那边屠主任给我打电话了,问要不要走 SLA 09:41 曲铭:SLA 一线不表态,转商务和法务。你先接住情绪,别接结论 09:43 邵敏:明白。我跟他说下午给正式说明 09:52 舒航:又统计了一下,7 个告警租户里有一个是我们自己的性能压测账号 T-1560 09:53 舒航:所以对外别用 7 这个数 10:05 童昱:在看慢查询日志了 10:30 尹佳:我按刚才讨论写了个初步说明草稿,要发吗 10:31 曲铭:先别发。你写的"网络抖动""影响 1 家客户""30 分钟恢复",这三条现在一条都站不住 10:32 尹佳:那我先压着 11:20 童昱:定位了。v2.4.0 里导出的 SQL 改了写法,原来走 idx_export_cust_time 这个复合索引, 改完之后过滤条件顺序变了,没命中索引,退化成全表扫描 11:22 童昱:数据量小的租户感觉不到,量大的直接超时。分界线大概在 4 万条 11:24 卫岑:这个 SQL 变更没走 DBA 评审。我这边查了,8 月没有导出模块的评审记录 11:26 童昱:8/11 那个发布窗口要赶,上线前的性能压测被砍了,只跑了功能回归 11:27 卫岑:那就是压根没测过大数据量 11:28 闻昭:这两条都记下来,复盘单独说。现在先恢复。 11:30 曲铭:@童昱 根因先按"初步定位"记,最终报告等 8/13 复现验证之后再出 12:50 舒航:先给导出接口加了限流,站内也挂了错峰提示,能压一压 13:05 童昱:加索引提示或者回滚,二选一。回滚快 13:12 苗恬:回滚导出模块到 v2.3.8 我这边做冒烟就行,20 分钟能过 13:30 曲铭:决定回滚。@舒航 执行 14:05 舒航:回滚完成,导出恢复正常。刚看了辰曜的请求已经成功了 14:12 邵敏:辰曜那边重新导了一次,成功了,条数他们在核 14:30 童昱:确认一件事:这次全程是查询阶段超时,没走到写库逻辑,不存在数据变更,也没有数据丢失 14:31 曲铭:这句可以对外说。@尹佳 记下来 14:33 尹佳:那我跟辰曜说今晚 22 点修复完成? 14:34 童昱:22 点是我提交修复版本的时间,不是恢复时间。功能 14:05 就已经恢复了 14:35 苗恬:而且导出模块全量回归要 4 个小时,我今天 21 点必须走,最早明天上午跑 14:36 曲铭:所以对外只能说:功能已于 14:05 恢复;根本修复版本 8/13 验证后另行通知。 别把"修复"和"恢复"说成一件事,客户会以为现在还坏着 14:40 尹佳:辰曜这次中断快 5 个小时了,超过 4 小时,是不是要按合同减免 5% 14:42 邵敏:4 小时那条是"核心服务"。导出在附件三的功能分级表里是"重要功能",重要功能那条是 8 小时 14:43 曲铭:而且这个判定不归我们。商务和法务出书面结论,一线既不能说"要赔",也不能说"不赔" 14:45 尹佳:明白,那我对外就写 SLA 适用性会在 8/13 17:00 前书面答复 14:47 曲铭:可以。另外给客户的信里不要出现别的客户名字,也不要写压测被砍、没走 DBA 评审这些 14:50 尹佳:那给客户的要不要道歉 14:51 曲铭:致歉可以,认责不行。按《品牌与对外表述规范》那份走 15:00 闻昭:今天下班前我要一页纸:发生了什么、影响谁、现在什么状态、下一步谁负责。 通知范围你们定,但别扩大 15:02 曲铭:收到。@尹佳 @邵敏 三份:给闻总和羿总的、给项目组的、给客户的。事实一致,别串口径 15:10 羿珂:客户成功这边补一句:青梧教育只是慢,没有失败,也没提工单, 通知范围我建议不要带上他们,按规范第 6 条 15:12 曲铭:同意。和熙人力有失败请求,虽然客户没察觉,还是要通知,但写法和辰曜不一样