Инциденты: outage, degradation, on-call, escalate, RCA
Тема дорожной карты · Английский для IT
🔊 Словарь терминов с произношением →
Словарь инцидентов сложился в культуре SRE, и его точность важна: во время сбоя неверное слово стоит минут. Incident — инцидент, любое незапланированное событие, влияющее на сервис. Outage — полная недоступность, partial outage — частичная. Degradation — деградация: сервис работает, но хуже нормы (медленнее, с ошибками). Downtime — время простоя. Blip — кратковременный сбой. Flapping — состояние, мигающее между up и down. Severity — уровень: Sev-1 / P1 — критический, весь сервис или деньги; Sev-2 — серьёзный; Sev-3 — незначительный; Sev-4 — косметика. Impact — влияние: customer-facing (видно пользователям) или internal, blast radius — масштаб. Роли: on-call — дежурный (I'm on call this week, the on-call engineer), primary / secondary on-call, incident commander (IC) — руководитель разбора, communications lead — ответственный за коммуникацию, scribe — ведущий хронологию, subject matter expert (SME) — эксперт по компоненту. Процесс: alert — сработка, page — вызов дежурного (I got paged), pager, alert fatigue — усталость от алертов, false positive, acknowledge (ack) — принять алерт, triage — оценить, declare an incident — объявить инцидент, escalate — передать выше (escalate to the DBA on-call), escalation policy, war room / bridge — канал или созвон для координации, status page — страница статуса для пользователей, status update — обновление, ETA to resolution, mitigate — снизить влияние без устранения причины (mitigated by rolling back), workaround, remediate / remediation — устранить, resolve — закрыть, recover — восстановиться, root cause, RCA (root cause analysis) — анализ первопричины, contributing factor — способствующий фактор, trigger — что запустило, postmortem / post-incident review (PIR) / retrospective, blameless, action items / follow-ups, runbook / playbook — инструкция дежурному, MTTR — среднее время восстановления, MTTD — среднее время обнаружения, MTBF, time to detect / acknowledge / mitigate / resolve, SLA breach — нарушение SLA, error budget, rollback, failover, hotfix, kill switch — аварийный выключатель функции, feature flag, circuit breaker, cascading failure, thundering herd, retry storm — шторм повторов, noisy alert, silence an alert — заглушить, maintenance window — окно обслуживания, planned downtime, change freeze, handover — передача дежурства (on-call handover), shadowing — стажировка дежурного.
Как произносится
Incident /ˈɪnsɪdənt/, outage /ˈaʊtɪdʒ/ («Аутидж»), degradation /ˌdɛɡrəˈdeɪʃən/, degraded /dɪˈɡreɪdɪd/, downtime /ˈdaʊntaɪm/, severity /sɪˈvɛrəti/, Sev-1 «сев-уан», P1 «пи-уан», on-call /ˌɒn ˈkɔːl/, page /peɪdʒ/, paged /peɪdʒd/, acknowledge /əkˈnɒlɪdʒ/, triage /ˈtriːɑːʒ/, escalate /ˈɛskəleɪt/, escalation /ˌɛskəˈleɪʃən/, mitigate /ˈmɪtɪɡeɪt/, mitigation /ˌmɪtɪˈɡeɪʃən/, remediate /rɪˈmiːdieɪt/, remediation /rɪˌmiːdiˈeɪʃən/, resolve /rɪˈzɒlv/, root cause /ruːt kɔːz/, RCA по буквам, postmortem /ˌpoʊstˈmɔːrtəm/, blameless /ˈbleɪmləs/, runbook /ˈrʌnbʊk/, MTTR по буквам, breach /briːtʃ/, failover /ˈfeɪloʊvər/, commander /kəˈmɑːndər/, scribe /skraɪb/, bridge /brɪdʒ/, handover /ˈhændoʊvər/, fatigue /fəˈtiːɡ/ («фэтИг»).
Как употребляется
Хронология в канале инцидента:
- 14:02 — Alert fired: checkout p99 over 5 s. I've acked and I'm looking. — Сработал алерт, принял, смотрю.
- 14:05 — Declaring a Sev-2. Customer-facing: about 30 percent of checkouts are timing out. I'm IC; Anna is on comms. — Объявляю Sev-2, влияние на пользователей, я командир, Анна на связи.
- 14:08 — Status page updated: "Degraded performance on checkout, investigating." — Обновил статус-страницу.
- 14:15 — Likely trigger: the 13:50 deploy. Rolling back to mitigate. — Вероятный триггер — деплой в 13:50, откатываем для снижения влияния.
- 14:21 — Rolled back. Latency recovering. Monitoring for 15 minutes before resolving. — Откатили, задержка восстанавливается, наблюдаем.
- 14:40 — Resolved. Root cause TBD; postmortem scheduled for Thursday. Escalating the missing-index question to the DB team. — Закрыто, первопричина уточняется, постмортем в четверг.
Фразы: I'm on call this week, page me for anything Sev-2 or higher. Can we mitigate first and root-cause later? — Сначала снизим влияние, потом причина. This is a known issue; the runbook is in the wiki. Silence the alert until the fix lands. — Заглуши алерт до фикса.
Ловушки
Первая ловушка — outage и degradation как синонимы: outage — недоступно, degradation — работает хуже; статус-страница различает их. Вторая — mitigate и resolve: смягчить влияние (откат, обход) не значит устранить причину; инцидент закрывают после восстановления, а причину разбирают потом. Третья — escalate как «раздуть»: это передать на уровень выше с большими полномочиями. Четвёртая — incident с ударением на второй слог. Пятая — on call писать через дефис как прилагательное (the on-call engineer), но без дефиса как предикат (I'm on call). Шестая — page понимать как «страница»: в контексте дежурства это вызов. Седьмая — искать виноватого во время инцидента: who broke it? мешает; уместно what changed? Восьмая — RCA писать раньше, чем восстановили сервис: порядок всегда mitigate → resolve → RCA.