Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen Revision Vorhergehende Überarbeitung | |||
dienste:bytecluster0002:wiki [05.08.2023 12:48] – Upgrade PHP7.4 mape2k | dienste:bytecluster0002:wiki [18.03.2024 22:10] (aktuell) – Bytespider aussperren wegen exzessiven Anfragen, Robots.txt wegen KI-Spidern mape2k | ||
---|---|---|---|
Zeile 34: | Zeile 34: | ||
server_name _; | server_name _; | ||
+ | |||
+ | # Block Bytespider | ||
+ | if ($http_user_agent ~ (Bytespider|bytedance) ) { | ||
+ | return 403; | ||
+ | } | ||
location / { | location / { | ||
Zeile 105: | Zeile 110: | ||
- Cleanup-Skript als Cronjob einrichten machen | - Cleanup-Skript als Cronjob einrichten machen | ||
* **< | * **< | ||
+ | |||
+ | === robots.txt === | ||
+ | |||
+ | Quelle: https:// | ||
+ | |||
+ | - Robots.txt setzen< | ||
+ | User-agent: CCBot | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: ChatGPT-User | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: GPTBot | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: Google-Extended | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: anthropic-ai | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: Omgilibot | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: Omgili | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: FacebookBot | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: Bytespider | ||
+ | Disallow: / | ||
+ | |||
+ | User-agent: ImagesiftBot | ||
+ | Disallow: / | ||
+ | </ | ||
+ | - Berechtigungen anpassen | ||
+ | * **chown www-data: | ||
+ | |||
==== Backup mit Borgmatic ==== | ==== Backup mit Borgmatic ==== | ||