SHELLY DRUG is glorious．

やはり一部サイトではX-Robots-Tagを無視するようだ。
そんなあなたにrobots.txt！　なんだけれどそもそもロボテキを無視するやつへの対応策であり、無視するやつはロボテキも.htaccessも無視するんでどうしようもない。あとロボテキが置けるのはルートディレクトリのみなので共有SSL鯖ではロボテキが機能しない上にX-Robots-Tagを無視する二段構えでイラつきがノンストップ。共有SSLの仕様がほんとにクソすぎて使いたくないのにほぼ強制だからさ。
この仕様のせいで忍者に移動するか悩んでいる。忍者イイトコヨ、チョット、チョットネ、アブナイニオイするケドネ……？

アクセス制限かけたらええんかなとか思うんだけどべつに鍵閉めたところで裏から掻っ攫われるだけなのよね。.htaccessに出来ることはまだあるかい？　おべんきょうをしましょう、はい。.htaccessだけがディレクトリ横断というか全体にバフデバフかけられるからね、そういう認識です。
でもクローラー対策はロボテキでアクセス制限とかが.htaccess担当な気がするから、個人的にロボテキが機能していないのでその役割を.htaccessにしてもらいたいんだけどそれは難しそうだなあ。