サイト信頼性エンジニアリング（SRE）で人工知能の利用が広がるにつれ、関心はソフトウェアがエンジニアに取って代わるかどうかから、通常とは異なる障害の際に必要な技能を弱める可能性へと移りつつある。SigNozのニュースレターが10月30日に掲載した分析は、日常的な障害対応を自動化する一方で、最も難しい例外的な事態への責任を人間が引き続き負う状況に、最大のリスクが生じる可能性があると論じている。

この議論は、ヒューマンファクター研究で長年指摘されてきた問題に基づく。システムは、操作する人に実践の機会を与えなくなるのと同時に、その人の重要性を高めることがある。同記事は、心理学者リザンヌ・ベインブリッジが1983年に発表した自動化の皮肉に関する研究を引用している。この研究は、産業工程の自動化によって、人が長時間にわたり安定した稼働を監視した後、まれに起こる対処の難しい故障に介入するようになる状況を検討したものだ。

信頼性エンジニアリングに当てはめると、懸念の内容は明確だ。すでに各種ツールは、アラートのグループ化、ログ内のパターン検出、既知の運用手順書の実行、過去の障害に基づく原因の提示、クラッシュしたサービスの再起動といった既知の障害への対処を支援している。さらに高度なシステムは、メトリクス、ログ、トレースを関連づけ、変更のリスクを評価し、障害を予測し、ロールバックを開始することを目指す。いずれの機能も反復作業を減らし、対応時間を短縮し得る。

しかし、人間に残される仕事では、未知の問題が占める割合が過度に高くなる。エンジニアは、連鎖的な障害、解釈の曖昧な兆候、過去のパターンに当てはまらない事象への対応を求められるかもしれない。こうした状況では、生のテレメトリーデータを読み、仮説を立て、依存関係をたどり、小さな障害の解決を繰り返すことで培った、システムの仕組みに関する理解が頼りになる。AIが日常的に証拠を要約し、原因を提案するようになれば、エンジニアがそうした技能を使う機会は減る可能性がある。

同分析は、技能が衰える「デスキリング」と、そもそも技能を身につけない「ネバースキリング」を区別している。経験豊富な職員は作業を委ねた後に熟練度が低下する可能性があり、若手は訓練の全過程で自動支援を受けることで、熟練に至らない可能性がある。これは組織にとっての課題となる。支援なしで発揮できる能力が測りにくくなる一方で、目に見える生産性は向上し得るからだ。正常を示す緑色のダッシュボードや既知の障害の迅速な解決は、そのチームが前例のない障害に対応できる証明にはならない。

この記事は分析であり、SREチームを対象とする対照研究ではない。また、現在のAIツールがすでに信頼性に関わる障害を広く引き起こしていると立証するものでもない。医療や航空との比較は注意を促すための類推であって、ソフトウェア運用を直接測定した結果ではない。したがって、実務上の示唆は自動化を放棄することではなく、リスクを管理することにある。

チームは運用に意図的な訓練を組み込むことで、人間の能力を維持できる。例えば、自動生成された推奨事項を示す前にエンジニアが交代で診断を行い、障害後の分析で生の証拠を確認し、障害シミュレーションを実施し、若手がシステム構成を理解していることを確かめる方法がある。反復作業は引き続き自動化に任せられるが、組織には、推奨事項が不完全だったり誤っていたりする場合にも人が対応できるかを試す手段が必要だ。