故障处理机制
四件事,四个可以核对的数字
很多产品把「稳定」写在宣传语里。我们把它拆成四段流程:谁在什么时候发现、按什么级别上报、什么时候动刀、动刀的时候怎么告诉你。每一段都给一个具体数字,方便你事后对照。
巡检节奏
核心播放接口每 30 分钟自动探测一次,全量线路每天 07:00 做一次完整拨测,共 48 条。连续 2 次探测失败才升级为告警,避免误报;告警直接推到值班工程师手机,不排队等工单。
故障分级
P0 全站不可播,5 分钟响应、30 分钟指定处理人;P1 单个内容区失效,30 分钟响应;P2 部分用户卡顿,2 小时内响应;P3 界面文案问题,24 小时内响应。分级由值班工程师在告警后 10 分钟内确认。
维护窗口
常规维护固定在每周三 04:00–06:00,实测受影响用户占比 0.8%。紧急维护一律避开 19:00–23:00 晚间高峰。计划维护提前 24 小时公告,紧急维护至少提前 30 分钟公告,不会静默改动。
状态公告
状态页免登录可看,实时展示接口、播放、下载、搜索、账号 5 个组件的健康度。故障后 10 分钟内挂出第一条说明,之后每 30 分钟更新一次进展,修复后历史记录保留 90 天,可回溯。
过去一年的真实数据
以下数字取自内部值班台账,包含没修好的和修慢了的。我们不筛掉难看的记录,因为决定你要不要装这个 App 的,正是这些记录。
补充一句不好听的:186 次里,有 142 次是 P3,也就是不影响播放、只是按钮错位或者文案写错这类的;真正让你打不开的 P0 是 4 次,最长一次停 47 分钟,最短 11 分钟。可用率 99.7% 对应的年停机时间大约是 26 小时,我们目前离 99.9%(年停机 8.7 小时)还有明显距离,不会把它写成宣传数字。
用户评价
真遇到过故障的人怎么看处理速度
下面三条评价来自真实用户反馈,我们没有删掉里面抱怨的部分。他们关心的不是界面好不好看,而是出事以后多久有人管。
「去年 12 月 3 号晚上全站挂了一次,我 22:14 打开发现片区都放不了。22:22 状态页就更新了,写清楚根因是调度服务重启、预计 40 分钟恢复,最后 22:47 好了,33 分钟。不算神速,但整个过程我知道它在干什么,比干等着强。」
「周三凌晨那次维护我是撞上的。04:00 打开 App,看到的是整屏的维护提示加倒计时,不是一直转圈,下面还写了预计结束时间 06:00。最后 05:52 就恢复了,比我预期早 8 分钟。这是我留下来继续用的主要原因。」
「我报过一次 P2 的卡顿,从提交到工程师回复用了 1 小时 47 分,虽然在他们写的 2 小时之内,但我当时挺急的。缺点也说清楚:P2 只保证响应,不保证多久修好。给的原因倒是实在,是我这个省的出口线路问题,不是内容源。」
常见问题
维护和故障里,你还没弄明白的几件事
下面五个问题,是客服工单里出现频率最高的,也是前面四个区块没交代完的部分。
会看到一个覆盖全屏的维护页,而不是无限转圈。页面上有四行信息:本次维护的原因、开始时间、预计结束时间、以及一个跳转状态页的入口。倒计时按预计结束时间走,如果实际提前结束,页面会在 60 秒内自动刷新进主界面;如果预计时间要延后,页面上的时间会被改掉,并出现一条「已延后 X 分钟」的提示,不会让你对着一个不动的时间等。维护页不消耗你的会员有效期,我们会按实际维护分钟数补偿。
是承诺,但要说清楚它指的是什么:5 分钟指的是从告警触发到工程师在内部群里认领这条故障的时间,不是从你发现问题开始算,也不等于 5 分钟修好。过去一年 4 次 P0 里,有 3 次在 4 分钟内被认领,1 次用了 7 分钟——那次是凌晨 3 点,值班手机静音误设,事后我们加了第二呼叫通道。平均修复时长是 29 分钟,最长 47 分钟。
因为 99.9% 意味着全年停机不超过 8.7 小时,99.99% 意味着不超过 52 分钟,而我们每周三的固定维护窗口本身就有 2 小时。这是一个现实取舍:我们选择把维护时间固定写在日历上、让用户能预知,而不是为了数字好看把维护拆成很多次两分钟的小抖动,那样反而更烦人。如果哪天我们的架构支持热更新、不再需要停机窗口,这个数字会重新算。
都不需要。状态页是一个独立网页,不登录、不装 App、不用注册也能打开,这本身就是设计目标——出故障的时候,你恰恰可能连 App 都进不去。页面展示接口、播放、下载、搜索、账号 5 个组件的实时健康度,正常情况下 60 秒刷新一次,故障期间缩短到 20 秒。App 内同时会有一条对应的横幅通知,但横幅可以关掉,状态页一直开着。历史故障记录保留 90 天,可以按日期查。
按 P2 处理,也就是 2 小时内响应。判断标准是:能进 App、能拿到播放地址,但单个视频需要缓冲超过 15 秒或者频繁中断。这类问题通常和你的运营商出口有关,不是全站故障,所以我们不会为你一个人启动紧急维护,但会在 2 小时内给出排查结论。如果是某一条内容源挂了、影响所有用户,会直接升到 P1,30 分钟内响应。反馈入口在播放页右上角,「报告问题」会自动带上你的线路编号和播放时间戳,省得你描述。