提供された報告によると、オープンソースのインフラは、ますます攻撃的になるAIスクレイピングによって圧迫されており、現在では複数のFOSSプロジェクトで障害や利用者が実感できるほどの速度低下を引き起こしている。

記事は、SourceHut創設者ドリュー・デボルト氏の苦情から始まる。同氏は、LLMクローラーがrobots.txtを無視し、git blame、完全なログ、リポジトリ内の全コミットといった処理負荷の高いエンドポイントにアクセスしていると述べた。抜粋によると、こうした挙動によって優先度の高い作業が数週間から数カ月遅れ、時には利用者に影響が及び、SourceHut自体で障害が起きている。

報告は続いて、KDEのGitLabが別のクローラーに圧倒され、KDEの開発者が一時的にサービスへアクセスできなくなったと述べている。そのIPはアリババの範囲から来たものとみられる。また、GNOMEはすでに数カ月にわたってこの問題に対処しており、最終的に、自動化されたトラフィックを遅らせるためのプルーフ・オブ・ワーク方式のチャレンジであるAnubisを採用したとも記している。この措置は役に立ったが、抜粋によると、実際の利用者にも支障をもたらしている。

重要な運用上の教訓は、そのトレードオフにある。オープンソースプロジェクトは、公開アクセス、公開の共同作業、参加のしやすさに依存している。攻撃的なスクレイピングは、サービスを開放し続けるか、利用可能な状態に保つかをメンテナーに選ばせることで、そうした強みを弱点へと変える。抜粋によると、チャットルームやHacker Newsからのリンクによってトラフィックが急増すると、一部の利用者は1分あるいは2分に及ぶ遅延に直面している。

報告はまた、問題が広範に及んでいると論じている。LWNはDDoSのようなクローリングによってサイトの動作が遅くなる可能性があると読者に警告し、Fedoraはサブネットのブロックや、ブラジル全域を対象とした一時的なアクセス禁止にまで踏み切り、Inkscapeはブラウザー情報を偽装する企業からの攻撃について説明しているという。その結果、プロジェクトのメンテナーが生き残るための方策としてブロックリストを作成し、共有する状況が生まれている。

提供された証拠は、すべての事案に関与したすべての企業を特定しておらず、決定的な帰属先の一覧として読むべきではない。しかし、一つのことは明確に示している。オープンソースのインフラは現在、サーバーのコストを顧みないボットから自らを守るために、現実の時間と金銭を費やしている。これは、単なる迷惑行為から構造的な負担への変化だ。

報告がより広く指摘するのは、AIスクレイピングがもはや出版社だけの問題ではないということだ。インターネットの大部分を支えるソフトウェアコミュニティにとって、インフラ上の問題になりつつある。現在使われている強硬な手段は、解決策がどれほど扱いにくいかを明らかにすると同時に、状況がどれほど切迫しているかを示している。

現時点で、証拠が裏付ける結論は単純だ。FOSSプロジェクトは自動化されたクローラーから現実に圧力を受けており、その防御策はボットだけでなく正規の利用者にも悪影響を与えている。