重大インシデント発生による1企業あたりの年間コストは52億円 - PagerDutyが調査

さらに、具体的なインシデント対応タスクを自動化または手動で行っているのかという質問では、多くのタスクはいまだ手動対応をしていることが判明した。

山根氏は「障害対応にあたり、問題が大きいほど部門横断でコラボレーションしながら対策・修復作業を行う必要があるが、コミュニケーションに時間がかかっているほか、修復作業自体をマニュアルで行い、社外とのコミュニケーションにも時間がかかってしまっている」と指摘。

インシデント対応の自動化が遅れる日本企業

日本企業において自動化の取り組みが遅れている要因としては「IT組織全体での連携不足」が36%とトップとなり、次いで「人材/専門知識の不足」が34%となっている。

一方、マニュアル対応しているタスクで最も時間を浪費している作業は「障害の修復作業」が20%、「障害の詳細、対応策、調査結果の記録」が16%、「社内ステークホルダーへの連絡」が10%となっている。

インシデント対応に対する自動化の取り組みを阻む要因を取り除き、時間をかけている作業を自動化することで、インシデントの修復作業にかかる時間を従来の421分から280分と約2時間半削減することが可能だという。

今後、取るべき対策として山根氏は「経営課題として認識し、適切な投資が必要だ。インシデント対応は盲目的にやるものではないため運用のモダナイゼーションするとともに、マニュアル作業のどの部分を自動化するのか優先順位を付け、アウトソーシングするだけではなく、自社の人材育成と体制強化に取り組むことが望ましい」と提言していた。

機械学習で不必要な情報を削減して自動でエスカレーション

こうした状況に対して、同社では「PagerDuty Operation Cloud」を提供している。これは、New RelicやDatadog、AWS(Amazon Web Services)など700以上の外部ツールからイベントを受信し、インシデントを特定してパターンマッチの機械学習で自動処理してから問題があれば最適な担当者に自動でエスカレーションを実行。

この際、通知に関しては架電やSMS、メール、プッシュ通知、チャットなどの通知方法を選択して、内容が大規模なものでなければ診断・修復作業を自動化するとともにチーム内外と円滑に連携し、次回発生時に向けた学習と予防を行う。

山根氏は「例えば、大企業であれば監視ツールを複数利用しているため、1分間で1万件のアラートが来るため作業が大変になる、しかし、当社のツールではアラートの切り分けを自動化できるため、91％のアラートを削減して重要なアラートだけを通知する。エスカレーションを行い、再発した障害などに関しては修復作業まで一気に自動化でき、人手は一切かからない。システムインテグレーターなしで、お客さま自身で設定して使うことが可能だ」と力を込める。

実際、同社のツールを導入した通信事業者は大量のアラートに悩まされ、部門間の連携も非効率のため解決に時間を要するとともに、開発に注力できないといった課題があった。

PagerDutyを導入したところ、アラート数を10分の1に削減したことに加え、MTTRが24時間から2時間と迅速なインシデントの解決が可能となり、開発にリソースを集中することが可能になったという。

最後に山根氏は「現在、グローバルで2万社が導入しており、アラートを大幅削減できることに加え、問題解決までの時間短縮が図れる」と述べ、説明を結んだ。
（岩井 健太）