git gegen scraper härten? #29

New issue

Open

opened 2025-12-12 20:04:50 +01:00 by leisefuxx · 2 comments

leisefuxx commented

2025-12-12 20:04:50 +01:00

Owner

Lui hat das hier vorgebracht
https://news.ycombinator.com/item?id=46241849

Lui hat das hier vorgebracht https://news.ycombinator.com/item?id=46241849

leisefuxx added the

enhancement

question

labels

2025-12-12 20:05:38 +01:00

fix commented

2025-12-13 13:54:11 +01:00

Owner

https://github.com/TecharoHQ/anubis

fix commented

2025-12-13 14:00:20 +01:00

Owner

Außerdem hab ich ne denylist für bekannte Subnets der "großen evil corps", die ich kategorisch ausschließe. Es gibt fertige Listen, die man per cronjob aktuell halten kann. Hab das gleiche Problem auf meinem git Server.

HAProxy:

backend mybackend
        acl blocked             src -f /etc/haproxy/blocked_ips.lst
        tcp-request             content silent-drop if blocked
        ...

Beste Lösung bleibt aber: gar nicht erst ins public Internet stellen. Oder einen public server haben, der (rate limited) gecrawled werden darf und einen privaten in einem VPN, wo nur SSH checkout aktiv ist.

Außerdem hab ich ne denylist für bekannte Subnets der "großen evil corps", die ich kategorisch ausschließe. Es gibt [fertige Listen](https://github.com/lord-alfred/ipranges), die man per cronjob aktuell halten kann. Hab das gleiche Problem auf meinem git Server. HAProxy: ``` backend mybackend acl blocked src -f /etc/haproxy/blocked_ips.lst tcp-request content silent-drop if blocked ... ``` Beste Lösung bleibt aber: gar nicht erst ins public Internet stellen. Oder einen public server haben, der (rate limited) gecrawled werden darf und einen privaten in einem VPN, wo nur SSH checkout aktiv ist.