Content-Length: 33889 | pFad | http://anond.hatelabo.jp/20230310150320#tb
robot.txtに呪文書いてクローラーから弾かれるのは知ってるよ。
でもSNSにリンク貼ってたり、外部のブログサービスにリンク貼ってたりその他諸々にリンク貼ってたりしてると、間接的にクロールされんじゃね？とか思った。
情弱ですまんな。
Permalink | 記事への反応(1) | 15:03
ツイートシェア
「無断リンク禁止」とか言ってモヒカン族と戦いを繰り広げていた時代を知らない平和な世代か。まあそのまま生きろ。
Fetched URL: http://anond.hatelabo.jp/20230310150320#tb
Alternative Proxies:
Alternative Proxy
pFad Proxy
pFad v3 Proxy
pFad v4 Proxy
12
