Webサーバーのアクセスログを見ていたら、amazonaws から エージェント名 “my-tiny-bot” の連続アクセスが発生していました。
ログの一部を転記すると、以下の通り。
ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:43:54 +0900] "GET /notes/ HTTP/1.1" 200 17824 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:43:57 +0900] "GET / HTTP/1.1" 200 2472 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:43:58 +0900] "GET /notes HTTP/1.1" 301 241 "-" "my-tiny-bot" ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:01 +0900] "GET /support/contact.html HTTP/1.1" 200 3101 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:12 +0900] "GET /formcutter/sample_form.html HTTP/1.1" 200 6200 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:13 +0900] "GET /notes/customize-wordpress-account-directory/ HTTP/1.1" 200 81020 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:16 +0900] "GET /notes/customize-apache-http-server-for-wordpress/ HTTP/1.1" 200 88716 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:17 +0900] "GET /notes/os-installation-and-customize-for-wordpress/ HTTP/1.1" 200 81917 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:22 +0900] "GET /notes/application-package-installation-for-wordpress/ HTTP/1.1" 200 81615 "-" "my-tiny-bot" ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:24 +0900] "GET /notes/freebsd-configuring-access-control/ HTTP/1.1" 200 95528 "-" "my-tiny-bot" ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:27 +0900] "GET /notes/initializing-mysql-database-and-account-for-wordpress/ HTTP/1.1" 200 89169 "-" "my-tiny-bot" ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:29 +0900] "GET /notes/mmdrv-history-table-of-magazine/ HTTP/1.1" 200 41084 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:36 +0900] "GET /notes/virtual-wordpress-download-page/ HTTP/1.1" 200 81893 "-" "my-tiny-bot" ec2-100-21-24-205.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:44 +0900] "GET /notes/formcutter-sample-mail/ HTTP/1.1" 200 77630 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:45 +0900] "GET /notes/mmdr-before-tool-start/ HTTP/1.1" 200 44423 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:44:50 +0900] "GET /notes/wordpress-installation/ HTTP/1.1" 200 84049 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:45:03 +0900] "GET /notes/select-wordpress-server/ HTTP/1.1" 200 80108 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:45:04 +0900] "GET /notes/mmdrv-configuration-mode/ HTTP/1.1" 200 86590 "-" "my-tiny-bot" ec2-44-230-252-91.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:45:06 +0900] "GET /notes/about-lifewithunix-jp/ HTTP/1.1" 200 77487 "-" "my-tiny-bot" ec2-52-25-208-208.us-west-2.compute.amazonaws.com - - [02/Nov/2023:07:45:10 +0900] "GET /notes/about-this-memo-site/ HTTP/1.1" 200 78678 "-" "my-tiny-bot"
別にクローラーからのアクセスを禁止したくはないけど、あまりに無礼でしょ。
- まず、アクセス時間間隔が短すぎる。1分間に5回以上というのは多すぎる。
- my-tiny-bot というボットの素性がわからないし、どういうポリシーでクロールしているか示すURLが付いていない。
- 複数アクセスポイントからクロールしているってことから、組織的なクロール。
これを無礼と思うかどうかは、サイト運営者次第ですが、他人が土足で自分の部屋に入ってきて、本棚の書類を勝手にコピーしていくような状態と感じます。
はらたつからブロックしました。
これが、10分間に1ページくらいとか、こちらの時間で深夜3時頃行うとかなら許しますけど、一分間に数ページだから「お前のためにサイトを運営しているんじゃねぇ。」って言いたくなる。それから、リファラーにちゃんと運営者情報を書いておけよ！