「ブラウザはインフラである」：スクレイピングによるシステム崩壊を防ぐためのアーキテクチャ - Qiita

現代のウェブにおいて、古典的なスクレイピング手法は死んだも同然だ。静的なHTMLは消え去り、クライアントサイドレンダリングが必須となり、ボット検知がデフォルトで備わっている。