DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Forum zur aktuellen LANCOM Router Serie: LANCOM 1781A, LANCOM 1781AW, LANCOM 1781EW, LANCOM 1781EF, LANCOM 1631E, LANCOM 831A und VPN Gateways: LC-9100 VPN, LC-7100 VPN, LC-8011 VPN, LC-7111 VPN und LC-7011 VPN

Moderator: Lancom-Systems Moderatoren

Antworten
plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 26 Mai 2018, 22:02

Hallo,

auch wenn nun viele Webseitenbetreiber in Ihren Datenschutzerklärungen was von

"Art. 6 Abs. 1 S. 1 lit. f DS-GVO"

faseln, muss man immer noch selber Hand anlegen.

Die DNS Hit-Liste hilft schon einmal um zu schauen wohin eine Webseite überall hin verbindet, direkt verlinkt.

Gibt es eine vereinfachte Möglichkeit, so wie bei der hosts-Datei, zum Importieren für den DNS Filter?

Z.Zt. habe ich jeden Filter einzeln angelegt.

Im Nachhinein habe ich dann u.A. gesehen, das man diese hätte auch mit "*" vereinfachen können.

Danke schon einmal für die Info vorab.

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 29 Mai 2018, 20:00

cd /Setup/DNS/Filter-List
del *
tab Idx. Domain Rtg-tag IP-Address Netmask IPv6-Prefix
add "0001" "*doubleclick.*" 0 0.0.0.0 0.0.0.0 "::/0"
add "0002" "*google-analytics.*" 0 0.0.0.0 0.0.0.0 "::/0"
add "0003" "*google.de" 0 0.0.0.0 0.0.0.0 "::/0"
.
.
.


Ok, ich habe das so einigermaßen verstanden.

Importieren geht wohl nur per Skript.

Zwei, drei Fragen habe ich da noch.

Benötigt man das "Idx." und wenn ja, warum?

Kann mir jemand schreiben, wie ich das LCOS-Format mit "sed" bei einer reinen "Domänen-Liste.txt" hin bekomme?

domain1.*
domain2.*
domain3.*
etc.*

Danke schon einmal vorab.

add "0100001" "*fooo.*" 0 0.0.0.0 0.0.0.0 "::/0"
geht nicht.

a bis z geht,
also
add "z3" "*fooo.*" 0 0.0.0.0 0.0.0.0 "::/0"

... das versteh mal einer ...
:G)

PS: Falls jetzt jemand fragt, warum blockierst du *.google.de, weil es eine Fake-Domain ist.
Außerdem wundert es mich, das so eine einfache Konfiguration auf einem Raspberry Pi (3) (für ca. 30 Euro) so einfach per dnsmasq funktioniert und ein Router für über 450 Euro das nicht kann!

backslash
Moderator
Moderator
Beiträge: 5711
Registriert: 08 Nov 2004, 22:26
Wohnort: Aachen

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von backslash » 30 Mai 2018, 12:27

Hi plumpsack,
Benötigt man das "Idx." und wenn ja, warum?
nun ja, die Tabellenverwaltung des LCOS braucht eine eindeutige Indexspalte... LANconfig verbirgt die Spalte und numeriert die Einträge durch - wenn du kein LANconfig verwendest, dann kannst du als Index vier berliebige Buchstaben oder Zahlen verwenden...

Gruß
Backslash

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 31 Mai 2018, 21:11

Genau in dem Idx.

von

0-9
a-z

bis

****

liegt ja "mein" Problem beim LCOS.

Unter Linux habe ich eine hosts.deny wo ich Domänen, IP-Adressen und ganze Netze sperren kann.

Selbst in der "hosts" kann ich alle Domänen auf "0.0.0.0" laufen lassen.

Aber wie bekomme ich die Listen aus z.B.:

https://github.com/mitchellkrogza/Ultim ... .Blacklist

https://github.com/notracking/hosts-blocklists

selbst "einfach" bereinigt, ohne Wildcards, in das LCOS-Format?

So einfach durchnummerieren von 0001 bis 9999 reicht ja nicht.

Ich benötige da Hilfe mit dem sed-Befehl.

Als Ausgangsdatei, z.B. "hostnames.txt" von https://github.com/notracking/hosts-blocklists:
ca. 2,0 MB

sed '/^#/d' hostnames.txt | sed 's/^0\.0\.0\.0\ //g' | sed '/^\:/d' > hostname_einfach_bereinigt.txt

du -h hostname_einfach_bereinigt.txt
804K

cat -n hostname_einfach_bereinigt.txt

35540 zzzzz4.52896368.com
also 35540 Domänen.

Als "extremes" Beispiel die "hosts" von https://github.com/mitchellkrogza/Ultim ... .Blacklist
ca. 33 MB

sed '/^#/d' hosts | sed 's/^0\.0\.0\.0\ //g' > hosts_01_einfach_bereinigt.txt

head -n 25 hosts_01_einfach_bereinigt.txt | cat -n

sagt mir, die ersten 19 Zeilen müssen noch weg.

sed '1,19d'

sed '/^#/d' hosts | sed 's/^0\.0\.0\.0\ //g' | sed '1,19d' | head -n 5

sed '/^#/d' hosts | sed 's/^0\.0\.0\.0\ //g' | sed '1,19d' > hosts_einfach_bereinigt.txt

du -h hosts_einfach_bereinigt.txt
24M

cat -n hosts_einfach_bereinigt.txt
1324842 zzzzzz.com

also 1324842 Domänen.

Jetzt bin ich kein sed-Guru und benötige Hilfe, um diese Domänen im LCOS-Format zu nummerieren.

Danke schon einmal vorab für die Hilfe.

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 02 Jun 2018, 23:13

Lancom und KISS - zwei fremde Welten treffen aufeinander!

https://en.wikipedia.org/wiki/KISS_principle

Klasse, nachdem ich die Aufzählung für die DNS-Filter hinbekommen hatte und sie flashen wollte, musste ich nun feststellen, dass ich mich an die "exakte Formatierung halten muss!

Merkwürdig nur, das das noch keinem "klick"-Admin aufgefallen ist.

Beispiele:
hostnames.txt
domains.txt


1) sed '/^#/d' hostnames.txt | sed 's/0\.0\.0\.0\ //g' | sed '/\:\:/d' > hostnames_einfach_bereinigt.txt

2) sed '/^#/d' domains.txt | sed 's/^address\=\///g' | sed 's/\/0.0.0.0//' | sed '/\/::/d' > domains_einfach_bereinigt.txt

3) sed 's/^/*/g' domains_einfach_bereinigt.txt > domains_wild.txt

4) cat domains_wild.txt hostnames_einfach_bereinigt.txt > dns_filterliste.txt

4a) sed 's/^/"/g' dns_filterliste.txt | sed 's/$/\"/g' > dns_filterliste_vorbereitet.txt

5) cat -n dns_filterliste_vorbereitet.txt
119739 ...

6)

for i in \
{0..9}{0..9}{0..9}{0..9} \
{0..9}{0..9}{0..9}{a..z} \
{0..9}{0..9}{a..z}{a..z} \
{0..9}{a..z}{a..z}{a..z} \
{0..9}{0..9}{a..z}{0..9} \
{0..9}{a..z}{a..z}{0..9} \
{0..9}{a..z}{0..9}{0..9} \
{0..9}{0..9}{a..z}{a..z} \
{a..z}{a..z}{a..z}{a..z} \
{a..z}{a..z}{a..z}{0..9} \
{a..z}{a..z}{0..9}{0..9} \
{a..z}{0..9}{0..9}{0..9} \
{a..z}{0..9}{0..9}{a..z} \
{a..z}{0..9}{a..z}{a..z} \
{a..z}{0..9}{a..z}{0..9} \
{a..z}{a..z}{0..9}{a..z} \
; do echo "$i" ; done | head -n 119739 > 119739.txt

6a)
sed 's/^/"/g' 119739.txt | sed 's/$/\"/g' > 119739_vorbereitet.txt

7)
paste -d "\t" 119739_vorbereitet.txt dns_filterliste_vorbereitet.txt > idx_vorbereitet.txt

7a)
sed 's/^/set \ /g' idx_vorbereitet.txt > 001_idx_vorbereitet.txt

7b)
expand 001_idx_vorbereitet.txt >002_expand_idx_vorbereitet.txt

7c)
sed 's/ / /g' 002_expand_idx_vorbereitet.txt > 003_expand_idx_vorbereitet.txt

7d)
less 003_expand_idx_vorbereitet.txt | head -n20
set "0000" "*000007.ru"
set "0001" "*000free.us"
set "0002" "*000freexxx.com"
set "0003" "*001wen.com"
set "0004" "*0026645142c89aeb1.com"
set "0005" "*003store.com"
set "0006" "*007angels.com"
set "0007" "*007freepics.com"
set "0008" "*00880808.com"
set "0009" "*00ae8b5a9c1d597.com"
set "0010" "*00author.com"
set "0011" "*00fun.com"
set "0012" "*00game.net"
set "0013" "*00go.com"
set "0014" "*00h10.com"
set "0015" "*00it.com"
set "0016" "*00porn.com"
set "0017" "*00sexus.com"
set "0018" "*00webcams.com"
set "0019" "*00zasdf.pw"

Und nun muss noch der Rest* hinterher ... ?

* " 0 0.0.0.0 0.0.0.0 "::/0""

Warum geht das nicht einfacher?

:G)

Benutzeravatar
Jirka
Beiträge: 4077
Registriert: 03 Jan 2005, 14:39
Wohnort: Ex-OPAL-Gebiet
Kontaktdaten:

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von Jirka » 03 Jun 2018, 09:46

Ich kann zwar nicht ganz nachvollziehen, was Du das so kompliziert machst, aber zu 6 hätte ich noch einen Tipp. Neben 0 bis 9 und a bis z sind nämlich auch folgende Zeichen zugelassen:

Code: Alles auswählen

@{|}~!$%&'()+-,/:;<=>?[\]^_.
Wenn Du die also auch noch verwendest, kannst Du die Anzahl der möglichen Einträge in die Tabelle noch erhöhen. Allerdings bezweifel ich, dass das Ganze am Ende funktioniert. Denn ich weiß nicht, wie lange der LANCOM tatsächlich braucht, um eine Million DNS-Filter-Einträge durchzugehen. Also vielleicht dauert eine DNS-Auflösung am Ende zwei Sekunden oder so. Dann viel Spaß. Aber Du kannst ja berichten, was dabei raus gekommen ist, würde mich mal interessieren, wüsste nicht, dass das schon mal jemand mit derart vielen Einträgen betrieben hat.
Es gibt übrigens auch Sachen wie OpenDNS, oder eine Content-Filter-Option.

Viele Grüße,
Jirka
13 Jahre LANCOM-Forum — 13 Jahre Kompetenz in Sachen LANCOM.

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 03 Jun 2018, 11:28

Ich glaub die Arbeit war für die Katz ... Lancom-Router können wohl nur ein paar DNS-Filter verwalten.

Ich stell euch meine Filterliste hier als Anlage rein.

Vielleicht hat ja noch jemand eine Idee.
Dateianhänge
flash_all_dns_filter.lcs.tar.gz
(1.17 MiB) 3-mal heruntergeladen

Benutzeravatar
Jirka
Beiträge: 4077
Registriert: 03 Jan 2005, 14:39
Wohnort: Ex-OPAL-Gebiet
Kontaktdaten:

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von Jirka » 03 Jun 2018, 12:53

plumpsack hat geschrieben:Ich glaub die Arbeit war für die Katz ... Lancom-Router können wohl nur ein paar DNS-Filter verwalten.
An welchem Punkt hast Du das jetzt fest gemacht? Oder wie hat sich das geäußert? Fakten/Zeiten/Beschränkungen?
13 Jahre LANCOM-Forum — 13 Jahre Kompetenz in Sachen LANCOM.

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 03 Jun 2018, 14:04

An der Filterliste, nachdem das Skript erfolgreich ausgeführt wurde.

Erst dachte ich, das Webinterface kann nicht so viele Einträge anzeigen.

Bestätigte sich dann aber auch per Konsole.

Benutzeravatar
Jirka
Beiträge: 4077
Registriert: 03 Jan 2005, 14:39
Wohnort: Ex-OPAL-Gebiet
Kontaktdaten:

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von Jirka » 03 Jun 2018, 15:10

Konkret?
Wieviele Einträge fasste die Tabelle? (sieht man z. B. unter ls /set/dns/filter)

Hätte mich ehrlich gesagt auch gewundert, wenn das funktioniert hätte. Mehr als 1024 kann ich mir schwer vorstellen, auch wenn die Tabelle theoretisch dynamisch ist, aber eben wohl nicht bis sonst wohin...
13 Jahre LANCOM-Forum — 13 Jahre Kompetenz in Sachen LANCOM.

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 03 Jun 2018, 15:46

Bei 2807 DNS Filtern macht der 884 dicke Backen.

Zumindest unter dem LCOS 9.24.

Anbei die zwei Dateien zum Testen.
Dateianhänge
clear_dns_filter.lcs.tar.gz
(245 Bytes) 5-mal heruntergeladen
flash_5000_dns_filter.lcs.tar.gz
(46.43 KiB) 7-mal heruntergeladen

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 08 Jun 2018, 21:13

Also die DNS-Filter sind ja cool.

Selbst "bild.de", als super Spammer, meckert nicht mehr über einen "Werbeblocker"!

plumpsack
Beiträge: 41
Registriert: 15 Feb 2018, 21:23

Re: DSGVO - DNS Filter - Anti-Tracker und Anti-Spam

Beitrag von plumpsack » 12 Jun 2018, 17:57

Ich dachte immer bild.de wäre die große Datenkrake zum Testen...

Heute sagte mir ein Bekannter, geh doch mal auf sueddeutsche.de ...

Oha ...
:shock:

Antworten

Zurück zu „aktuelle LANCOM Router Serie“