いつの間にか自分のブログがWeb魚拓に取られていたり、InternetArchiveに収録されていたりすることってありませんか？
人によって違うかと思いますが、勝手にコピーを作られることに違和感を感じたり、気持ち悪いと思う方もいらっしゃると思います。
そんな時はIPアドレスレベルで、魚拓、InternetArchiveのクローラーをブロックすることをお勧めします。
それでは早速、例を見ていきましょう。
iptablesの設定
基本のiptablesの設定
ちなみにWebサイトを公開するサーバのiptablesの設定は以下のようになっていると思います。この設定を基本として、Web魚拓、InternetArchiveをブロックするようカスタマイズしていきます。
# sample configuration for iptables service # you can edit this manually or use system-config-firewall # please do not ask us to add additional ports/services to this default configuration *filter :INPUT DROP [0:0] :FORWARD DROP [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT -A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT
Web魚拓をブロックするiptables
基本のiptablesにWeb魚拓のクローラーをブロックするルールを追加します。以下のようになります。
# sample configuration for iptables service # you can edit this manually or use system-config-firewall # please do not ask us to add additional ports/services to this default configuration *filter :INPUT DROP [0:0] :FORWARD DROP [0:0] :OUTPUT ACCEPT [0:0] :DROPGYOTAKU - [0:0] -A INPUT -j DROPGYOTAKU -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 22002 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT -A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited -A DROPGYOTAKU -s 160.16.235.118/32 -j DROP -A DROPGYOTAKU -s 219.94.255.189/32 -j DROP -A DROPGYOTAKU -s 160.16.242.5/32 -j DROP -A DROPGYOTAKU -s 8.34.208.0/20 -j DROP -A DROPGYOTAKU -s 8.35.192.0/21 -j DROP -A DROPGYOTAKU -s 8.35.200.0/23 -j DROP -A DROPGYOTAKU -s 23.236.48.0/20 -j DROP -A DROPGYOTAKU -s 23.251.128.0/19 -j DROP -A DROPGYOTAKU -s 34.64.0.0/11 -j DROP -A DROPGYOTAKU -s 34.96.0.0/14 -j DROP -A DROPGYOTAKU -s 34.100.0.0/16 -j DROP -A DROPGYOTAKU -s 34.102.0.0/15 -j DROP -A DROPGYOTAKU -s 34.104.0.0/22 -j DROP -A DROPGYOTAKU -s 35.204.0.0/14 -j DROP -A DROPGYOTAKU -s 35.208.0.0/13 -j DROP -A DROPGYOTAKU -s 35.184.0.0/14 -j DROP -A DROPGYOTAKU -s 35.188.0.0/15 -j DROP -A DROPGYOTAKU -s 35.190.0.0/17 -j DROP -A DROPGYOTAKU -s 35.190.128.0/18 -j DROP -A DROPGYOTAKU -s 35.190.192.0/19 -j DROP -A DROPGYOTAKU -s 35.190.224.0/20 -j DROP -A DROPGYOTAKU -s 35.190.240.0/22 -j DROP -A DROPGYOTAKU -s 35.190.242.0/23 -j DROP -A DROPGYOTAKU -s 35.192.0.0/14 -j DROP -A DROPGYOTAKU -s 35.196.0.0/15 -j DROP -A DROPGYOTAKU -s 35.198.0.0/16 -j DROP -A DROPGYOTAKU -s 35.199.0.0/17 -j DROP -A DROPGYOTAKU -s 35.199.128.0/18 -j DROP -A DROPGYOTAKU -s 35.200.0.0/14 -j DROP -A DROPGYOTAKU -s 35.203.232.0/21 -j DROP -A DROPGYOTAKU -s 35.206.0.0/15 -j DROP -A DROPGYOTAKU -s 35.216.0.0/15 -j DROP -A DROPGYOTAKU -s 35.220.0.0/14 -j DROP -A DROPGYOTAKU -s 35.224.0.0/13 -j DROP -A DROPGYOTAKU -s 35.232.0.0/15 -j DROP -A DROPGYOTAKU -s 35.234.0.0/16 -j DROP -A DROPGYOTAKU -s 35.235.0.0/17 -j DROP -A DROPGYOTAKU -s 35.235.192.0/20 -j DROP -A DROPGYOTAKU -s 35.235.216.0/21 -j DROP -A DROPGYOTAKU -s 35.235.224.0/20 -j DROP -A DROPGYOTAKU -s 35.236.0.0/14 -j DROP -A DROPGYOTAKU -s 35.240.0.0/15 -j DROP -A DROPGYOTAKU -s 35.242.0.0/15 -j DROP -A DROPGYOTAKU -s 35.244.0.0/14 -j DROP -A DROPGYOTAKU -s 104.154.0.0/15 -j DROP -A DROPGYOTAKU -s 104.196.0.0/14 -j DROP -A DROPGYOTAKU -s 107.167.160.0/19 -j DROP -A DROPGYOTAKU -s 107.178.192.0/18 -j DROP -A DROPGYOTAKU -s 108.59.80.0/20 -j DROP -A DROPGYOTAKU -s 108.170.192.0/20 -j DROP -A DROPGYOTAKU -s 108.170.208.0/21 -j DROP -A DROPGYOTAKU -s 108.170.216.0/22 -j DROP -A DROPGYOTAKU -s 108.170.220.0/23 -j DROP -A DROPGYOTAKU -s 108.170.222.0/24 -j DROP -A DROPGYOTAKU -s 130.211.4.0/22 -j DROP -A DROPGYOTAKU -s 130.211.8.0/21 -j DROP -A DROPGYOTAKU -s 130.211.16.0/20 -j DROP -A DROPGYOTAKU -s 130.211.32.0/19 -j DROP -A DROPGYOTAKU -s 130.211.64.0/18 -j DROP -A DROPGYOTAKU -s 130.211.128.0/17 -j DROP -A DROPGYOTAKU -s 146.148.2.0/23 -j DROP -A DROPGYOTAKU -s 146.148.4.0/22 -j DROP -A DROPGYOTAKU -s 146.148.8.0/21 -j DROP -A DROPGYOTAKU -s 146.148.16.0/20 -j DROP -A DROPGYOTAKU -s 146.148.32.0/19 -j DROP -A DROPGYOTAKU -s 146.148.64.0/18 -j DROP -A DROPGYOTAKU -s 162.216.148.0/22 -j DROP -A DROPGYOTAKU -s 162.222.176.0/21 -j DROP -A DROPGYOTAKU -s 173.255.112.0/20 -j DROP -A DROPGYOTAKU -s 192.158.28.0/22 -j DROP -A DROPGYOTAKU -s 199.192.112.0/22 -j DROP -A DROPGYOTAKU -s 199.223.232.0/22 -j DROP -A DROPGYOTAKU -s 199.223.236.0/23 -j DROP -A DROPGYOTAKU -s 208.68.108.0/23 -j DROP COMMIT
Web魚拓用のチェインを定義して、このルールでIPアドレスがマッチしたらパケットを破棄するようにします。また、基本ルールのチェックよりも前にチェインを追加することに注意して下さい。
internetArchiveをブロックするiptables
Web魚拓をブロックするようにしたiptablesにInternetArchiveのクローラーをブロックするルールを追加していきます。InternetArchiveのチェインを追加しますが、このチェインはWeb魚拓をブロックするチェインの次に定義することに注意して下さい。
# sample configuration for iptables service
# you can edit this manually or use system-config-firewall
# please do not ask us to add additional ports/services to this default configuration
*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
:DROPGYOTAKU - [0:0]
:DROPARCHIVE - [0:0]
-A INPUT -j DROPGYOTAKU
-A INPUT -j DROPARCHIVE
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT
-A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
-A DROPGYOTAKU -s 160.16.235.118/32 -j DROP
-A DROPGYOTAKU -s 219.94.255.189/32 -j DROP
-A DROPGYOTAKU -s 160.16.242.5/32 -j DROP
-A DROPGYOTAKU -s 8.34.208.0/20 -j DROP
-A DROPGYOTAKU -s 8.35.192.0/21 -j DROP
-A DROPGYOTAKU -s 8.35.200.0/23 -j DROP
-A DROPGYOTAKU -s 23.236.48.0/20 -j DROP
-A DROPGYOTAKU -s 23.251.128.0/19 -j DROP
-A DROPGYOTAKU -s 34.64.0.0/11 -j DROP
-A DROPGYOTAKU -s 34.96.0.0/14 -j DROP
-A DROPGYOTAKU -s 34.100.0.0/16 -j DROP
-A DROPGYOTAKU -s 34.102.0.0/15 -j DROP
-A DROPGYOTAKU -s 34.104.0.0/22 -j DROP
-A DROPGYOTAKU -s 35.204.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.208.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.184.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.188.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.190.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.190.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.190.192.0/19 -j DROP
-A DROPGYOTAKU -s 35.190.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.190.240.0/22 -j DROP
-A DROPGYOTAKU -s 35.190.242.0/23 -j DROP
-A DROPGYOTAKU -s 35.192.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.196.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.198.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.199.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.199.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.200.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.203.232.0/21 -j DROP
-A DROPGYOTAKU -s 35.206.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.216.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.220.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.224.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.232.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.234.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.235.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.235.192.0/20 -j DROP
-A DROPGYOTAKU -s 35.235.216.0/21 -j DROP
-A DROPGYOTAKU -s 35.235.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.236.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.240.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.242.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.244.0.0/14 -j DROP
-A DROPGYOTAKU -s 104.154.0.0/15 -j DROP
-A DROPGYOTAKU -s 104.196.0.0/14 -j DROP
-A DROPGYOTAKU -s 107.167.160.0/19 -j DROP
-A DROPGYOTAKU -s 107.178.192.0/18 -j DROP
-A DROPGYOTAKU -s 108.59.80.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.192.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.208.0/21 -j DROP
-A DROPGYOTAKU -s 108.170.216.0/22 -j DROP
-A DROPGYOTAKU -s 108.170.220.0/23 -j DROP
-A DROPGYOTAKU -s 108.170.222.0/24 -j DROP
-A DROPGYOTAKU -s 130.211.4.0/22 -j DROP
-A DROPGYOTAKU -s 130.211.8.0/21 -j DROP
-A DROPGYOTAKU -s 130.211.16.0/20 -j DROP
-A DROPGYOTAKU -s 130.211.32.0/19 -j DROP
-A DROPGYOTAKU -s 130.211.64.0/18 -j DROP
-A DROPGYOTAKU -s 130.211.128.0/17 -j DROP
-A DROPGYOTAKU -s 146.148.2.0/23 -j DROP
-A DROPGYOTAKU -s 146.148.4.0/22 -j DROP
-A DROPGYOTAKU -s 146.148.8.0/21 -j DROP
-A DROPGYOTAKU -s 146.148.16.0/20 -j DROP
-A DROPGYOTAKU -s 146.148.32.0/19 -j DROP
-A DROPGYOTAKU -s 146.148.64.0/18 -j DROP
-A DROPGYOTAKU -s 162.216.148.0/22 -j DROP
-A DROPGYOTAKU -s 162.222.176.0/21 -j DROP
-A DROPGYOTAKU -s 173.255.112.0/20 -j DROP
-A DROPGYOTAKU -s 192.158.28.0/22 -j DROP
-A DROPGYOTAKU -s 199.192.112.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.232.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.236.0/23 -j DROP
-A DROPGYOTAKU -s 208.68.108.0/23 -j DROP
-A DROPARCHIVE -s 5.45.64.0/21 -j DROP
-A DROPARCHIVE -s 46.45.128.0/18 -j DROP
-A DROPARCHIVE -s 46.166.136.0/21 -j DROP
-A DROPARCHIVE -s 78.46.0.0/15 -j DROP
-A DROPARCHIVE -s 78.108.176.0/20 -j DROP
-A DROPARCHIVE -s 84.22.118.0/24 -j DROP
-A DROPARCHIVE -s 91.121.0.0/16 -j DROP
-A DROPARCHIVE -s 91.235.136.0/23 -j DROP
-A DROPARCHIVE -s 94.242.0.0/18 -j DROP
-A DROPARCHIVE -s 104.16.0.0/12 -j DROP
-A DROPARCHIVE -s 130.0.232.0/21 -j DROP
-A DROPARCHIVE -s 139.162.192.0/19 -j DROP
-A DROPARCHIVE -s 146.0.72.0/24 -j DROP
-A DROPARCHIVE -s 146.0.75.0/24 -j DROP
-A DROPARCHIVE -s 151.236.216.0/21 -j DROP
-A DROPARCHIVE -s 158.58.168.0/21 -j DROP
-A DROPARCHIVE -s 178.62.128.0/17 -j DROP
-A DROPARCHIVE -s 104.16.0.0/12 -j DROP
-A DROPARCHIVE -s 104.28.25.2/32 -j DROP
-A DROPARCHIVE -s 104.24.125.35/32 -j DROP
-A DROPARCHIVE -s 104.27.168.37/32 -j DROP
-A DROPARCHIVE -s 104.27.129.65/32 -j DROP
-A DROPARCHIVE -s 104.27.171.40/32 -j DROP
-A DROPARCHIVE -s 209.50.56.33/32 -j DROP
COMMIT
まとめ
基本的にiptablesでも他のファイアウォールでも上記iptablesで使用したサブネットアドレス、ホストアドレスを拒否設定すれば、各種クローラーをブロックできます。
ちなみにこれらサブネット・ホスト情報は2024年12月現在のものですので、今後増えることも考えられます。また、過去数年この設定で運用してますが、魚拓、InternetArchiveに収録されるに至っておりません。
ですので、今のところは上記iptablesの設定で運用していけると思います。
