Contentfilter Rating Server Ausfall - Störung behoben

[tstimper]

Hallo Contentfilter Nutzer,

ist Euch heute, am 28.10.2022 ab ca Vormittag / Mittag auch eine große Zähigkeit der Contentfilter Ratingserver aufgefallen?

Wir haben heute gegen 16:30 Uhr folgende Werte beobachtet.

Code: Alles auswählen

CF Server List Version is :08:10:2019

----------CF Server List:----------

fs02.xforce-security.com:80 with response time of 359ms

fs04.xforce-security.com:80 with response time of 2147483647ms

fs06.xforce-security.com:80 with response time of 72ms

fs07.xforce-security.com:80 with response time of 2147483647ms



CF license is: Valid

CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Wir haben ein System beim Kunden in Betrieb, da geht gefühlt grad nichts, keine einzige Webseite.
Testweise Contentfilter deaktivieren und alles geht wieder.

Wir haben bei uns auf einem Router testweise einen Contentfilter Trial aktiviert und enabled,
der blockte auch gleich gefühlt alle neuen Verbindungen. Bestehende Sessions (Teamviewer) liefen weiter.

Was mich wundert: Selbst im LCOS 10.70-RU1 ist die (hardgecodete?) Rating Server Liste vom 08:10:2019.
Ist das überhaupt noch aktuell?
Kennt jemand die IBM xforce Server Liste und kann das vergleichen?
Ist vieleicht Lancoms OEM Lizenz abgelaufen oder zu klein für die Last?

Wir warten erstmal bis Dienstag, Montag ist bei uns Feiertag ...


Viele Grüße

ts

[Dr.Einstein]

Hey,

ist gestern Abend schon aufgefallen bei einigen Geräten, diverse Server nicht erreichbar. Lancom konnte keine Aussage treffen.

Gruß Dr.Einstein

[tstimper]

Hey,

ist gestern Abend schon aufgefallen bei einigen Geräten, diverse Server nicht erreichbar. Lancom konnte keine Aussage treffen.

Gruß Dr.Einstein

Kennt jemand denjenigen bei LANCOM, der sich konkret um diese OEN Sache kümmert und der das fixen kann?
Oder wenigstens eine offizielle Meldung über die Ursache der Störung rausgeben kann?

Viele Grüße

ts

[tstimper]

Hey,

ist gestern Abend schon aufgefallen bei einigen Geräten, diverse Server nicht erreichbar. Lancom konnte keine Aussage treffen.

Gruß Dr.Einstein

Kennt jemand denjenigen bei LANCOM, der sich konkret um diese OEM Sache kümmert und der das fixen kann?
Oder wenigstens eine offizielle Meldung über die Ursache der Störung rausgeben kann?

Viele Grüße

ts

Das Problem besteht immernoch, weiß jemand was genaueres?

Viele Grüße

ts

[tstimper]

Ein Update:

Der cf-status trace zeigt

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...



CF Server List Version is :08:10:2019

----------CF Server List:----------

fs02.xforce-security.com:80 with response time of 536ms

fs04.xforce-security.com:80 with response time of 240ms

fs06.xforce-security.com:80 with response time of 70ms<-- This is the fastest, so use this one.

fs07.xforce-security.com:80 with response time of 2147483647ms



CF license is: Valid

CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Diese Meldung

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

sehen wir bei zwei verschiedenen Installationen

Diese riesen Response Time

fs07.xforce-security.com:80 with response time of 2147483647ms

sehen wir abwechselnd über alle Rating Server.

Mitbekommen werdet Ihr es ggf nur, wenn ich im Contentfilter das Setting "In Case of Error" auf "Forbideen" gesetzt habt.
Ansonsten filtert der Contentfilter dann nur nicht ...

Viele Grüße

ts

[yeoman]

Hallo.

Als bisher passiver Mitleser kann ich ein zu 100% identisches Fehlerbild auch bei uns bestätigen.

Ein testweise durchgeführter Wechsel der WAN-Anbindung und ein Downgrade auf eine ältere FW inkl. passendem Konfigurationsbackup brachte keine Änderung.

Seit 28.10. ist der Content Filter ohne Funktion, die Fehlermeldung am Client lautet dauerhaft “Contentfilterserver wird gerade neu ausgewählt”. Der Override im Fehlerfall ist (und bleibt) deaktiviert.

Grüsse,
yeoman

[tstimper]

Hallo yeoman,

vielen Dank für die Bestätigung.

Könntest Du mal von Deinem Router an der cli show cf-status posten?

Da wierst Du wohl auch das hier sehen oder?

Code: Alles auswählen

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 547ms
fs04.xforce-security.com:80 with response time of 256ms
fs06.xforce-security.com:80 with response time of 67ms<-- This is the fastest, so use this one.
fs07.xforce-security.com:80 with response time of 164ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Also das Timeout der Server ist nicht das Problem...

Code: Alles auswählen

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

Das ist was anderes ...

Viele Grüße

ts

[yeoman]

Code: Alles auswählen

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 396ms
fs04.xforce-security.com:80 with response time of 250ms
fs06.xforce-security.com:80 with response time of 82ms<-- This is the fastest, so use this one.
fs07.xforce-security.com:80 with response time of 2147483647ms

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

[yeoman]

Lancom empfiehlt lt. Knowledgebase "Troubleshooting Guide für Content-Filter" einen Trace mit folgenden Parametern:

https://support.lancom-systems.com/ser ... /56164618

Teil der Traceausgabe ist, zumindest bei uns, folgender Part:

Code: Alles auswählen

[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Main PID: 168: Got response from DNS server for reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Client PID: 2717: DNS resolve OK
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,949 [HTTP-Client] : Job: HTTP-Client PID: 2717: Starting TCP connect to 169.50.150.107 (loopback 0.0.0.0 rtg 0)
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Main PID: 168: Search session for local port 11138
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Main PID: 168: Connection established for reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Client PID: 2717: Client job started
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,970 [HTTP-Client] : Job: HTTP-Client PID: 2717: Connection with reference 447 found
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: EOF during read
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: Sending error code to requester
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: HTTP-Client PID: 2717: Client job name is Orange-Filter-Client and reference is 447
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Error: OF_HTTPhandler: HTTPC_no_pSrcFile. hi=6 lo=2 txt=unknown
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: Orange-Filter-Client PID: 22: Trying to close connection with reference 447
[HTTP-Client] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 [HTTP-Client] : Job: Orange-Filter-Client PID: 22: Connection found for reference 447
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Info: OF_handleResult of EVALRESP, time spent: 2e ms
[CF-Status] 2022/11/01 08:56:42,936  Devicetime: 2022/11/01 08:55:16,989 OF Info: OF_handleResult_core: unhandled error code ERRC_HTTPC for OF_OP_EVALRESP, assuming server not reachable ...

Nach meiner Interpretation kann der Lancom den Rating-Server per DNS auflösen und auch erreichen. Nur mit dessen derzeitiger Antwort scheint er nicht mehr zufrieden zu sein.

[Dr.Einstein]

Das Problem besteht immernoch, weiß jemand was genaueres?

Lancom Support schweigt seit Tagen. Keine Ahnung, ob die Firma auf Wandertag ist oder so. Ich hab mal gelernt, dass eine Firma, die deutschlandweit, oder sogar Europaweit arbeitet, zumindest eine Minimalbesetzung an nicht bundeseinheitlichen Feiertagen hat. Aber gut, seit Rohde & Schwarz geht eh alles den Bach runter. SLAs sind schon lange dunkelrot, interessiert schon lange kaum noch jemanden.

[tstimper]

Der LANCOM Support arbeitet dran,
hab Freitag und heute mit drei Personen gesprochen.
Und Entwickler testen auch schon.

Nach der Fehlermeldung und dem Trace zu urteilen vermute ich,
das möglicherweise IBM die API geändert hat und
LANCOM hat möglicherweise verpasst,
das im LCOS Code anzupassen.

Natürlich muss da jetzt jemand aus der Feiertags Ruhe geholt werden…

Viele Grüße

ts

[yeoman]

Hallo ts.

Vielen Dank für dein Update dazu.

Hoffentlich ist die noch andauernde Lösung seitens Lancom nur der aktuell ungünstigen Konstellation aus Wochenende & Feiertagen zuzuschreiben.

Viele Grüße,
yeoman

[tstimper]

Update:

heute morgen funktioniert der Contentfilter wieder.

Code: Alles auswählen

> show cf-status
Content Filter state is : --> OF_STATE_CAN_OPERATE

CF Server List Version is :08:10:2019
----------CF Server List:----------
fs02.xforce-security.com:80 with response time of 362ms
fs04.xforce-security.com:80 with response time of 277ms
fs06.xforce-security.com:80 with response time of 65ms
fs07.xforce-security.com:80 with response time of 64ms<-- This is the fastest, s                                o use this one.

CF license is: Valid
CF Server Version (result from cmd getver) is: Proventia-Filter-Server

Was war die Ursache des Ausfalls?

Heute sehen wir:

Code: Alles auswählen

Content Filter state is : --> OF_STATE_CAN_OPERATE

Gestern sahen wir noch:

Code: Alles auswählen

Content Filter state is : --> OF_STATE_CAN_NOT_YET_OPERATE, please wait...

Was konkret war die Ursache, das der Contentfilter seit dem 28.10.2022 für 5 Tage offline war?

Gibt es dazu eine Ausfallmedlung von IBM xforce?
Dazu habe ich noch nichts gefunden.

Weiß jemand mehr?

Viele Grüße

ts

[Dr.Einstein]

Kann ich nicht bestätigen, trotz Routerneustart.

[yeoman]

Die wundersame Selbstheilung kann ich bestätigen, hier läuft der CF wieder.

Gründe? Auch hier unbekannt.

In der Vergangenheit traten bereits mehrfach vergleichbare Ausfälle des CF auf. Jedoch äußerst selten und immer nur von so geringer Dauer, das keine Arbeitsstunden in die unnötige Suche eines vermeintlichen Fehlers zur Milderung des Unmuts beim Kunden investiert werden mussten.

Bei dem aktuellen Ausfall von >5 Tagen sieht das etwas anders aus. Es stellt sich die berechtigte Frage nach der garantierten Verfügbarkeit der kostenpflichtigen Leistung. Die allgemein üblichen 99% bei vergleichbaren Diensten wurden hier unterschritten.

Ebenso hätte ein zeitnaher Hinweis und transparenter Umgang seitens Lancom hilfreich sein können. Die Rubrik "Aktuelle Support-Hinweise" auf der eigenen Webseite wäre ein geeignetes Medium dafür gewesen. Dazu kann ich nur, auch wenn es wenig zielführend ist, auf den vorherigen Post von Dr.Einstein zu deren Supportsituation verweisen...

Grüße,
yeoman