Contentfilter Rating Server Ausfall - Störung behoben

[yeoman]

Kann ich nicht bestätigen, trotz Routerneustart.

Ein nicht unwesentlicher Teil der Arbeitszeit wurde hier in die Migration der vorhandenen Konfiguration von veralteter FW 9.24 auf 10.50 investiert.

Aufgrund von Änderungen bei der Firewall in FW 10.40 musste die Konfiguration aufwendig händisch angepasst werden. Bisher wurde dieser Schritt daher vermieden, gelöst hat es das konkrete Problem aber auch nicht (zumindest bis heute morgen).

Vielleicht hilft die Info bei deinem bestehenden Problem.

[Dr.Einstein]

Bei uns ist es aktuell grob 50% funktionsfähig / 50% nicht funktiosfähig.

Sieht so aus, dass die Server fs06 + fs07 funktionieren, fs02 + fs04 nicht.

Gruß Dr.Einstein

[tstimper]

Kann ich nicht bestätigen, trotz Routerneustart.

Welchen Internet Provider hast Du?

Kannst Du testweise /Setup/UTM/Content-Filter/Global-Settings/Processing-Timeout-in-ms von 3000 auf 10000 setzen?
und ggf die WAN Leitung kurz trennen?

Was sagt show cf-status vorher und nachher?

Viele Grüße

ts

[Dr.Einstein]

Vorweg danke für deine / eure Unterstützung.

Welchen Internet Provider hast Du?

Europaweit unterschiedlichste Provider. Erkenne keine Auffälligkeiten. Selbst in Deutschland, wo die meisten den Provider Telekom haben, sehe ich eine grobe 50/50 Aufteilung.

Kannst Du testweise /Setup/UTM/Content-Filter/Global-Settings/Processing-Timeout-in-ms von 3000 auf 10000 setzen?
und ggf die WAN Leitung kurz trennen?

Was sagt show cf-status vorher und nachher?

Code: Alles auswählen

Vor Anpassung

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 584ms
fs04.xforce-security.com:80 with response time of 249ms<-- This is the fastest, so use this one.
fs06.xforce-security.com:80 with response time of 2147483647ms
fs07.xforce-security.com:80 with response time of 2147483647ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Nach Anpassung

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 566ms
fs04.xforce-security.com:80 with response time of 246ms<-- This is the fastest, so use this one.
fs06.xforce-security.com:80 with response time of 2147483647ms
fs07.xforce-security.com:80 with response time of 2147483647ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

PS: Lancom hat sich gerade gemeldet, Entwicklung ist dran.

[tstimper]

Code: Alles auswählen

Vor Anpassung

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 584ms
fs04.xforce-security.com:80 with response time of 249ms<-- This is the fastest, so use this one.
fs06.xforce-security.com:80 with response time of 2147483647ms
fs07.xforce-security.com:80 with response time of 2147483647ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Nach Anpassung

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 566ms
fs04.xforce-security.com:80 with response time of 246ms<-- This is the fastest, so use this one.
fs06.xforce-security.com:80 with response time of 2147483647ms
fs07.xforce-security.com:80 with response time of 2147483647ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Das ist spannend, vermutlich muss der Ratingserver unter 100 ms Responsetime haben, damit der Contentfilter geht

PS: Lancom hat sich gerade gemeldet, Entwicklung ist dran.

Ggf. sollte sich derjenige mal melden für die weitere Fehleranalyse. Es sei denn die Ursache ist schon klar.

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 709ms
fs04.xforce-security.com:80 with response time of 262ms
fs06.xforce-security.com:80 with response time of 71ms
fs07.xforce-security.com:80 with response time of 69ms<-- This is the fastest, so use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Alle Contentfilter, die gehen haben ca 60 ms Responsetime.

Leider sehe ich im Pfad /Setup/UTM/Content-Filter/Global-Settings keinen passenden Parameter

Viele Grüße

ts

[Dr.Einstein]

Für mich sieht es aus einer Kombination aus zwei Problemen aus:

• Der Server muss < 150ms haben

• Die Server fs06 / fs07 sind überlastet, weshalb oft eine Rückmeldung mit dem Überlaufswert 214748.. erfolgt. fs06/fs07 sind aber die einzigen Server, die wenn, unter 150ms reagieren

• (oder fs02/fs04 nehmen die Lancom Syntax nicht mehr an)

Dies würde erklären, weshalb an einer neuen Firmware gearbeitet wird. Andererseits sollte IBM ihre Server unter Kontrolle bekommen...

[tstimper]

Für mich sieht es aus einer Kombination aus zwei Problemen aus:

• Der Server muss < 150ms haben

• Die Server fs06 / fs07 sind überlastet, weshalb oft eine Rückmeldung mit dem Überlaufswert 214748.. erfolgt. fs06/fs07 sind aber die einzigen Server, die wenn, unter 150ms reagieren

• (oder fs02/fs04 nehmen die Lancom Syntax nicht mehr an)

Dies würde erklären, weshalb an einer neuen Firmware gearbeitet wird. Andererseits sollte IBM ihre Server unter Kontrolle bekommen...

Das ist schon interessant...

Im Trace über den Lantracer habe ich ganz kurz eine Liste von fs01 bis fs10 aufblitzen sehen , dann blieben die bekannten fs02, fs04, fs06, fs07.

Möglicherweise stimmt was mit dem Abruf der Serverliste nicht.

Dazu passt auch dieses:

Lancom empfiehlt lt. Knowledgebase "Troubleshooting Guide für Content-Filter" einen Trace mit folgenden Parametern:

https://support.lancom-systems.com/ser ... /56164618

Teil der Traceausgabe ist, zumindest bei uns, folgender Part:

Code: Alles auswählen

[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Main PID: 168: Got response from DNS server for reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Client PID: 2717: DNS resolve OK
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Client PID: 2717: Starting TCP connect to 169.50.150.107 (loopback 0.0.0.0 rtg 0)
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Main PID: 168: Search session for local port 11138
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Main PID: 168: Connection established for reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Client PID: 2717: Client job started
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Client PID: 2717: Connection with reference 447 found
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: EOF during read
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: Sending error code to requester
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: Client job name is Orange-Filter-Client and reference is 447
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Error: OF_HTTPhandler: HTTPC_no_pSrcFile. hi=6 lo=2 txt=unknown
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: Orange-Filter-Client PID: 22: Trying to close connection with reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: Orange-Filter-Client PID: 22: Connection found for reference 447
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Info: OF_handleResult of EVALRESP, time spent: 2e ms
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Info: OF_handleResult_core: unhandled error code ERRC_HTTPC for OF_OP_EVALRESP, assuming server not reachable ...

Nach meiner Interpretation kann der Lancom den Rating-Server per DNS auflösen und auch erreichen. Nur mit dessen derzeitiger Antwort scheint er nicht mehr zufrieden zu sein.

Als hätte sich die API geändert.

@Alle mitlesenden LANCOM Mitarbeiter: Wir erwarten eine proaktive Info von Euch.

Viele Grüße

ts

[Dr.Einstein]

Also ich würde immer noch drauf tippen, dass ihr beide aktuell Glück habt und/oder einfach nur zu wenig Standorte mit CF besitzt. Morgen früh kann euer System schon wieder stillstehen...

Gruß Dr.Einstein

[tstimper]

Update: Unserere Contentfilter laufen noch

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 360ms
fs04.xforce-security.com:80 with response time of 223ms
fs06.xforce-security.com:80 with response time of 65ms
fs07.xforce-security.com:80 with response time of 65ms<-- This is the fastest, so use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 533ms
fs04.xforce-security.com:80 with response time of 240ms
fs06.xforce-security.com:80 with response time of 72ms<-- This is the fastest, so use this one.
fs07.xforce-security.com:80 with response time of 84ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Viele Grüße

ts

[Dr.Einstein]

Die Server fs02 / fs04 scheinen aktuell wieder zu funktionieren. Monitoring von grob 1000 Content Filter Standorten zeigt, dass alle verbunden sind. Supportmeldung von Lancom fehlt weiterhin...

[tstimper]

Die Server fs02 / fs04 scheinen aktuell wieder zu funktionieren. Monitoring von grob 1000 Content Filter Standorten zeigt, dass alle verbunden sind. Supportmeldung von Lancom fehlt weiterhin...

Ich habe die Zusage, das sich intensiv gekümmert wird.
Allerdings ist die öffentliche Komunikation unzureichend...

Wir sollten uns mal virtuell zusammensetzen...

Viele Grüße

ts

[Dr.Einstein]

Was heißt öffentlich? Die interessiert mich ehrlich gesagt nicht. Wir haben einen Partnerschaftsstatus inkl. Zugänge zum Support. Die SLAs dafür wurden alle nicht eingehalten. Mal gucken, ob sich unsere Rechtsabteilung dem Fall annehmen wird.

[tstimper]

Update:

Unsere Contentfilter liefen den ganzen Tag ohne Probleme durch:

Status heute morgen 2022-11-03 08:00 Uhr:

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 360ms
fs04.xforce-security.com:80 with response time of 223ms
fs06.xforce-security.com:80 with response time of 65ms
fs07.xforce-security.com:80 with response time of 65ms<-- This is the fastest, so use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Status jetzt 2022-11-03 17:22 Uhr

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 362ms
fs04.xforce-security.com:80 with response time of 232ms
fs06.xforce-security.com:80 with response time of 70ms
fs07.xforce-security.com:80 with response time of 64ms<-- This is the fastest, s                       o use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Viele Grüße

ts

[tstimper]

Update 2022-11-04ts

Die Contentfilter laufen bei uns ohne Probleme:

Beispiel Router am Telekom VDSL 250 Mbit

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 541ms
fs04.xforce-security.com:80 with response time of 245ms
fs06.xforce-security.com:80 with response time of 71ms
fs07.xforce-security.com:80 with response time of 68ms<-- This is the fastest, so use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Beispiel Router am eins Energie Glasfaser 200 Mbit

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 362ms
fs04.xforce-security.com:80 with response time of 234ms
fs06.xforce-security.com:80 with response time of 74ms
fs07.xforce-security.com:80 with response time of 63ms<-- This is the fastest, so use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Was war da los?

Folgende Informationen sind offensichtlich oder leicht ergoogelbar:

Der Contentfilter von LANCOM nutzt als Backend IBM X-force.
Das sieht man schon aus der CF Server list.
Ob die Liste vom 08.10.2019 wirklich noch aktuell ist ?

X-Force reported für den 28.10.2022, dem Tag an dem der Ausfall begann, drei Vulverabilities

- Apache DolphinScheduler information disclosure CVE-2022-26884 CVSS 3.0 Base Score 9.8
- IP-COM EW9 command execution CVE-2022-43367 CVSS 3.0 Base Score 6.5
- IP-COM EW9 information disclosure CVE-2022-43366 CVSS 3.0 Base Score 6.5

Siehe https://exchange.xforce.ibmcloud.com/ac ... rabilities

Möglicherweise musste IBM selbst was an der Infrastruktur tun, um auf CVE-2022-26884 mit dem fast höchsten CVSS 3.0 Base Score 9.8 zu reagieren.
Ok, das genau ist Spekulation, zumindest gab es wohl eine Wartung bei IBM am Freitag.

Zeitlich passt das zusammen.

Wie greift man nun auf x-force zu? Etwas Reverse Engineering...Obwohl, es steht alles offen in der IBM Doku...

Dazu haben die eine API, siehe https://api.xforce.ibmcloud.com/doc/#/ und auuch https://securityintelligence.com/a-gent ... a5HhHUVhBc

Was finden wir ? URL Reputation (URL), IP Address Reputation (IP), Domain Name System (DNS) Information und noch mehr.

Soweit ich sehe, can man darauf per API mit einem anonymen API Token oder mit eimem commerziellen API Token zugreifen.

Noch genauer kann man das hier lesen

DNS Abfrage https://api.xforce.ibmcloud.com/doc/#/DNS
URL Abfrage https://api.xforce.ibmcloud.com/doc/#/URL
IP Reputation Abfrage https://api.xforce.ibmcloud.com/doc/#/IP%20Reputation

Also ich vermute das der Lancom Content Filter seine Abfrage genau dorthin schickt.
Für genauers müsste ich mal einen Packet Trace machen

Die Abfragen funktionieren entweder über einen annonymen Token (bis ca 2016 wie ich grade sehe) oder einen kommerziellen Token.

Solche Dienste drosseln bei exessiven Anfragen immer den Anfrage Traffic, in Anhängigkeit vom Service level (free, payed, was auch immer...)

Vermutung: Am Freitag schaukelte sich die Situation soweit auf das Lancom Router mit Content Filter und hohem Traffic geblockt wurden.
Lancom Router mit dynamisscher IP funktionierten dann am nächsten Tag möglicherweise wieder, Lancom Router mit fester IP nicht.
(das kann selbst ich nicht verifizieren, unsere CF Router haben alle eine feste IP.)

Die Frage ist nun: Warum hat sich das so weit aufgeschaukelt?

Uns ist da was aufgefallen:

Wenn man den Content Filter mittels Setup Wizard einrichtet ist das Content Filter Ziehl immer ANY

cf-ziel-any.png

Das heist in größeren VPN Filial Vernetzungs Setups, das jeglicher Traffic auch innerhalb des VPN immer auch gehen den Content Filter gerscheckt wird. Möglicherweise will man das auch.

In unserem Fall war dann auch https und http Traffic innerhalb des Systems zäh oder ging garnicht.
Der Zusammenhang war uns erst nicht klar.

Nachdem wir die Content Filter Regel auf das Internet Gegenstellen Objekt geändert hatten, siehe

cf-ziel-internet.png

kamen wir zwar wegen des Content Filter Ausfalls immernoch nicht ins Internet, aber der HTTP/ HTTPS Traffic im VPN war möglich und so schnell wie noch nie.

Nun haben wir schon im September 2022 die Zähigkeit der Ratingserevr mein LANCOM Support gemeldet mit dem Lösungsvorsachlag, ggf einfach den betroffenen Rating Server per Blockroute zu blocken. Das haben wir dann nicht gemacht, da wie reihumm letzlich alle Ratingserver hätten blocken müssen.

Zusammenfasung:

Der Ausfall vom Freitag, den 28.10.2022 vormittags bis Mittwoch, den 02.11.2022 früh war einfach ein zusammenkommen unglücklicher Umstände.

Förderlich für das Auftreten ist sicher auch die Standardkonfiguration des Content Filter Wizards.
bei Standortvernetzungen und dem Einsatz vom Content Filter werden bei der Einstellung des Firewal Ziels ANY die Rating serevr mit Unmengen
an Anfragen für private IP und DNS Namne geflootet.
Das führt höchstwarscheinlich dazu, das CF Anftragen von der betreffenden Public IP des lancom Routers vom grad genutzen Rating Serevr geblockt werden. Möglicherweise sahen / (sehen?) wir deshalb immer diese riesen Delay Zeiten von 2147483647ms

Beispiel:

Code: Alles auswählen

fs06.xforce-security.com:80 with response time of 2147483647ms
fs07.xforce-security.com:80 with response time of 2147483647ms

IBM hat wohl einfach x-force aufgerüstet.
Wenn die Content Filter Regel in der Firewall nicht angepasst wird, fluten wier weiter diese Server und weden vieleicht bald wieder geblockt.

Falls das jemand zufällig ergoogelt und Zugriff auf die Lancom KB hat, kann er gerne einen fundierteren und korrigierten Beitag in die KB schreiben

Viele Grüße

ts

[tstimper]

Update: 2022-11-04 12:19 Uhr

LANCOM hat die Störung bestätigt und auch das sie behoben ist.

https://www.lancom-systems.de/service-s ... t-hinweise

Temporäre Störung des LANCOM Content-Filters behoben

November 4, 2022

Während einer serverseitigen Migration durch unseren Dienstleister, hat es vom Freitag, den 28.10.2022 bis Mittwoch, den 02.11.2022 eine temporäre Überlastung einiger Rating-Server gegeben.

Die Störung ist behoben und die Dienste funktionieren wieder einwandfrei.

Wir entschuldigen uns für entstandene Unannehmlichkeiten und werden dafür sorgen, dass sich diese Störung nicht wiederholen wird.

Vielen Dank allen Beteiligten bei der Lösung dieses Problems.

Viele Grüße

ts