LCOS 9.10.0333Rel; Load-Balancer Aussetzer

[Bernie137]

Hallo,

seit der besagten Firmware Version gibt es massive Probleme in der Hinsicht, dass von jetzt auf gleich plötzlich keine Daten mehr übertragen werden - in der Hauptsache geht es um RDP und CIFS durch die VPN Tunnel, nicht ins Internet!

Eingerichtet sind zwischen Zentrale und Filiale 3 VPN Tunnel. Die VPN Tunnel und auch die PPTP Verbindungen werden "connected" seit Stunden im LANmonitor angezeigt, ganz gewöhnlich wie immer. Ein IP-Router Trace zeigt nichts ungewöhnliches. Von der CLI in der Zentrale kann ich problemlos alle drei Extranetadressen 192.168.232.1 bis 3 anpingen, nicht jedoch die LAN-IP des 1781EF selbst. Drei Minuten später kann ich plötzlich wieder die LAN-IP anpingen usw. Ein Neustart des Filialgerätes brachte nur kurzzeitig Abhilfe, erst Rückkehr zur 9.04RU4 brachte (nach knapp 3 Tagen 9.10.0333Rel Einsatz) Ruhe ins Geschäft.

Nun läuft der 1781EF+ in der Zentrale aber weiterhin mit der 9.10.0333Rel, auch hier kommt es bei Verbindungen von Zentrale zur Filiale zum gleichen Phänomen, wenn auch seltener, da in diese Richtung weniger Zugriffe sind. Nach weiterem Suchen über die Tabelle Status/Ip-Router/Verbindungsliste konnte ich min. ein Bündel ausfindig machen, worüber aktuell der Traffic hätte laufen sollen. Ich habe die dafür zugrundeliegende Internetverbindung gekappt, danach lief es erst mal wieder.

Welcher Trace ist in einem solchen Fall sinnvoll und gibt mehr Aufschluss um die Sache weiter zu eskalieren und noch sinnvollere Angaben machen zu können?

Im Zweifelsfalle muss ich diese Produkivstrecke beide auf 9.04RU4 zurücksetzen. Bringt das Client-Binding Protokoll hier etwas durcheinander? Auf beiden Routern ist ein Polling pro VPN-Extranet Adresse eingerichtet.

vg Bernie

[marsbewohner]

Hi,

probier doch mal eine neuere Version, ich hatte mit der 9.10.0333 auch ein paar Probleme, welche dann mit der kurz darauf kommenden 9.10.0356 behoben waren:

ftp://ftp.lancom.de/LANCOM-Beta/LCOS/LCOS%209.10/

Gruß,

[Bernie137]

Hallo,

@marsbewohner: Wie hat sich das bei Dir geäußert? Die Betas habe ich schon gesehen, bin nur kein Fan davon es produktiv einzusetzen. Aber im Momen teste ich trotzdem damit.

Noch zum Problem: Zu erwähnen sei noch, in der Zentrale ist es eine WAN-Verbindung, über die die drei VPNs laufen, in der Filiale sind es drei verschiedene WAN-Verbindungen. Bandbreiten Reservierungen werden verwendet.

So stellt sich das Ganze dar, wohlgemerkt alle WAN-, VPN- und PPTP-Verbindungen stehen:

PING.jpg

Überltäter ist hier die Verbindung Nummer Drei. Prtg hat die ganze Nacht Errormeldungen herausgeschickt. Das geht bis früh um 4, dann machen beide Router einen Coldboot und es ist (erst mal) Ruhe. Der Effekt war schon am Samstag Abend. Heute morgen habe ich auf beide Router die 9.10.0366Beta gepackt. Danach waren auch heute Vormittag wieder diese Probleme zu beklagen. Es stellt sich immer mehr heraus, dass es an der Verbindung Nr 3 zu liegen scheint. Lediglich ein Auftrennen der PPTP3 Verbindung behob das Problem, allerdings nur für eine Stunde. LANmonitor zeigt:

LANmonitor_SAT-KABEL.jpg

Wenn das Problem auftritt:
- kann über die WAN-Verbindung abgehend gepingt und auch von extern angepingt werden
- kann jeweils von der CLI aus wechselseitig die Extranet Adresse aller Tunnel angepingt werden
- kann kein Ping oder sonstiges durch den PPTP3 Tunnel geschickt werden
- Interface ist ETH3, Schnittstelle ist DSL-3 -> habe diese nun auf fest 100MBit Vollduplex gestellt und warte ab

Was könnte man denn bzgl. PPTP-Verbindung Tracen, IP-Router Trace zeigt nichts besonderes? Dann lohnt erst aus meiner Sicht einen Support Fall zu öffnen.
Anbei noch die Polling Tabelle. Vielleicht ist es so nicht optimal eingerichtet, wobei es so problemlos seit letztem Sommer läuft
10.10.0.4 ist die LAN-IP vom 1781EF+ (Zentrale), die 192er sind die Extranet-Adressen. Sollte ich nun zusätzlich noch die PPTP Tunnel überwachen?

Polling.jpg

Vielen Dank schon mal, wer mir hier Hilfestellung leisten kann und will.

vg Bernie

[Bernie137]

Hallo,

ich habe noch ein bischen weiter gegrast und PPP Traces angeschmissen. Auf beiden Routern fallen mir diese Einträge auf:

Code: Alles auswählen

[PPP] 2015/08/06 13:54:54,472  Devicetime: 2015/08/06 13:54:53,885
PPTP call control: ack missing for packet # 36968 on PPTP3-Z, call id 15674 - correct acknowledged sequence number
PPTP call control: set remote window to 4 for PPTP3-Z

Code: Alles auswählen

[PPP] 2015/08/06 14:02:38,768  Devicetime: 2015/08/06 14:02:38,787
PPTP call control: ack missing for packet # 57748 on PPTP3-HD, call id 10504 - correct acknowledged sequence number
PPTP call control: set remote window to 1 for PPTP3-HD

Damit werde ich mal an den Support herantreten.

vg Bernie

[marsbewohner]

Hallo Berni,

ich hatte mit der 9.10.0333 primär VoIP Probleme und ein Device das nach dem Upload sich ins Nirwana verabschiedet hat, aber die 9.10.0356 hat dann beides gefixt.

Gruß,

[Bernie137]

Hallo,

ich glaube, das könnte auch mit dem Problem zu tun haben. Einen Supportfall habe ich auch eröffnet, aber noch keine Rückmeldungen. Den Watchdog muss ich noch mailen morgen, der ist mir gerade erst aufgefallen. Ansonsten läuft es seit Samstag wieder auf der 9.04RU4 ohne Probleme.

Code: Alles auswählen

08/07/2015 04:41:58  LCOS-Watchdog
Task name = Message Watchdog  Type=

IOS watchdog - msg timeout in VP (code is stack ptr)


Code=0x04514ce8 Thread=020051d0 Task=00000000/00000000 Nest=0x00000000

 R00=0x00d5cc4c  SP =0x02006210  R02=0x019f8000  R03=0x01cc8a74
 R04=0x04514ce8  R05=0x017e8d04  R06=0x000000d2  R07=0x00000000
 R08=0x00000000  R09=0x004000f0  R10=0x00000000  R11=0x020061ec
 R12=0x24000024  R13=0x01c73c20  R14=0x00000000  R15=0x00000000
 R16=0x00000000  R17=0x00000000  R18=0x00000000  R19=0x00000000
 R20=0x00000000  R21=0x00000000  R22=0x00000000  R23=0x00000000
 R24=0x00000000  R25=0x00000000  R26=0x01cc89fc  R27=0x029fa2e8
 R28=0x01ce5380  R29=0x01cc8a4c  R30=0x01cc8a74  R31=0x02006254

 CR  =0x24000022  XER =0x20000000  LR  =0x00d5cc78  CTR =0x004000f0
 ESR =0x00000000  DEAR=0x01760b1c  HID0=0x80804000  HID1=0x44023080
 MCSR=0x00000000  PID0=0x00000002  PID1=0x00000000  PID2=0x00000000
 MAS0=0x00010002  MAS1=0x80000100  MAS2=0x01760000  MAS3=0x01760003
 MAS4=0x00030100  MAS6=0x00020000  MAS7=0x00000000  MCTR=0x00000000
 SPR0=0x00000000  SPR1=0x04f4d520  SPR2=0x05088900  SPR3=0x00200000
 SPR4=0x00000000  SPR5=0x019f8000  SPR6=0x020061e0  SPR7=0x00000000

 MCAR   =0x0:00000000
 SRR0(PC) =0x0113b380
 SRR1(MSR)=0x00029200
 possible Error location lcos/ios/common.src/IosMessageWatchDog.cpp : 210

Signal @ 02003c84 - Hardware Watchdog pid:3 @ 02003d50 blocked for 99484 us at [BT] 0113fc9c 01164184 0114e7a0 00d55624
lcos_recursive_mutex @ 01ca1b50 - VP pid:61 @ 01cad9b0 blocked at [BT] 01159fb8 009e2918 009ef0ec 00a45fc0 00a4684c 00a568ac 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

lcos_recursive_mutex @ 01ca1b50 - VPN-Ifc pid:64 @ 020ba408 blocked at [BT] 01159fb8 009e2d94 00a12c2c 004998dc 01150f78 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

Signal @ 01c872c8 - HttpClientAuth Revocation pid:84 @ 020ffb90 blocked for 246000149 us at [BT] 0113fc9c 007323b0 0114e7a0 00d55624
lcos_recursive_mutex @ 04641440 - IPV4 pid:91 @ 0210b5a8 blocked at [BT] 01159fb8 004eed18 005055b0 004d836c 00559340 0055a434 0055aa80 005fdfa8 00622678 01150f78 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

lcos_recursive_mutex @ 04641440 - Domain Name System pid:92 @ 02113ea8 blocked at [BT] 01159fb8 00553720 005e7fac 0053e188 005bb538 0053d568 0053bdec 0114f4b8 011510cc 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

lcos_recursive_mutex @ 04641440 - IP-RIP pid:101 @ 0211c648 blocked at [BT] 01159fb8 00513d80 01150f78 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

lcos_recursive_mutex @ 01c77b9c - SF pid:102 @ 01c779d0 blocked at [BT] 01159fb8 00501948 004ea828 00d55624mutex obtained by IPV4 pid:91 @ 0210b5a8 at

lcos_recursive_mutex @ 01ca1b50 - Connection-Control pid:116 @ 0220c4c8 blocked at [BT] 01159fb8 009e2918 00a12054 00413520 004136bc 00404560 00d507e8 01150f78 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

Signal @ 029ff2cc - IPv4-Config pid:130 @ 029fa2e8 blocked at [BT] 0113f938 009e21c0 009ce4b8 004aac18 004aacf0 00558c44 00a11edc 00413944 00554390 004a1ab0 00566f8c 00d50780 01150f78 00d55624
lcos_recursive_mutex @ 04641440 - ARP pid:131 @ 02a00d28 blocked at [BT] 01159fb8 005208f0 00521418 0051d6b4 0114f4b8 011510cc 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

lcos_recursive_mutex @ 04641440 - ICMP pid:170 @ 045d5aa8 blocked at [BT] 01159fb8 00555f54 00556758 005e6e10 009d1188 009d1640 0054e27c 004a57ac 004a6300 0114f4b8 011510cc 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

Signal @ 01cfb0e0 - R1 pid:176 @ 0466b648 blocked at [BT] 0113f938 013cb73c 01319390 01341628 00d55624
Signal @ 04766188 - Diffie-Hellman-Precalc pid:191 @ 047640b0 blocked for 9452881 us at [BT] 0113fc9c 00a37714 0114e7a0 00d55624
Signal @ 04756244 - VPN-Config pid:192 @ 04766270 blocked at [BT] 0113f938 009f56bc 0114e7a0 00d55624
lcos_recursive_mutex @ 01ca1b50 - ErrorAging pid:193 @ 047683e8 blocked at [BT] 01159fb8 009e2918 009ef318 009ef598 00d5f13c 01150f78 00d55624mutex obtained by IPv4-Config pid:130 @ 029fa2e8 at

Signal @ 04770a2c - DigestAuth Revocation pid:198 @ 04779050 blocked for 6418392 us at [BT] 0113fc9c 013da190 0114e7a0 00d55624
Signal @ 01d24988 - USB-Device pid:210 @ 01d22fe8 blocked for 7123668 us at [BT] 0113fc9c 00fda66c 00fcc204 00d507e8 01150f78 00d55624
Signal @ 01d26468 - USB-HC pid:211 @ 01d24ac8 blocked at [BT] 0113f938 00fda720 00fcc088 00d507e8 01150f78 00d55624
Signal @ 01d27f48 - USB-DR pid:212 @ 01d265a8 blocked at [BT] 0113f938 00fda720 00fcc088 00d507e8 01150f78 00d55624

Memory dump (1024 bytes):
Adr:= 04514ce8
Len:= 00000400
04514CE8:  04 51 4D 48 01 16 0B 68  44 02 20 28 00 00 00 00 | .QMH...h D. (....
04514CF8:  00 00 00 00 00 00 00 00  00 00 00 13 01 C6 CE F0 | ........ ........
04514D08:  01 C6 CE F4 01 7A 06 B0  00 A4 B6 10 00 00 00 03 | .....z.. ........
04514D18:  01 CA 1B 50 01 CA 1A A8  04 51 4D C0 01 7A 3D 34 | ...P.... .QM..z=4
04514D28:  04 F7 9A 00 04 E8 65 A0  04 65 31 A0 04 51 4D 69 | ......e. .e1..QMi
04514D38:  01 CA 1B 50 00 02 92 00  04 51 4D A0 01 CA 1B 50 | ...P.... .QM....P
04514D48:  04 51 4D 58 01 15 9F B8  04 51 4D 69 04 E8 65 A0 | .QMX.... .QMi..e.
04514D58:  04 51 4D B0 00 9E 29 18  08 42 55 2D 4C 41 44 45 | .QM...). .BU-LADE
04514D68:  4E 00 4D 80 04 F2 E0 C0  04 51 4D 88 01 C7 00 00 | N.M..... .QM.....
04514D78:  04 51 4F 00 24 02 20 22  01 7A 06 B0 00 A4 B6 10 | .QO.$. " .z......
04514D88:  00 00 00 03 01 CA D9 A8  00 00 00 00 01 79 D4 E0 | ........ .....y..
04514D98:  01 7A 3D 34 04 F7 9A 00  04 E8 65 A0 04 65 31 A0 | .z=4.... ..e..e1.
04514DA8:  01 CA 1A A8 04 E8 65 A0  04 51 4D D8 00 9E F0 EC | ......e. .QM.....
04514DB8:  05 09 20 40 00 00 00 08  04 51 4D D8 01 17 41 FC | .. @.... .QM...A.
04514DC8:  01 7A 3D 14 04 65 31 A0  05 05 12 20 04 FF 98 C0 | .z=..e1. ... ....
04514DD8:  04 51 4E 40 00 A4 5F C0  04 51 4D F0 04 F7 E5 E0 | .QN@.._. .QM.....
04514DE8:  01 CE 4F F8 00 00 00 00  01 7A 1C 48 01 7A 1C 44 | ..O..... .z.H.z.D
04514DF8:  04 51 4E 10 00 02 92 00  00 00 00 00 05 05 81 C0 | .QN..... ........
04514E08:  04 51 4E 40 00 A3 DD 40  00 00 00 00 04 FD 1B 40 | .QN@...@ .......@
04514E18:  04 51 4E 48 01 15 B2 BC  00 00 00 00 01 79 D4 E0 | .QNH.... .....y..
04514E28:  01 7A 3D 34 00 00 00 00  01 7A 3D 14 04 E4 8C A0 | .z=4.... .z=.....
04514E38:  01 7A 21 9C 04 FD E5 E0  04 51 4E 70 00 A4 68 4C | .z!..... .QNp..hL
04514E48:  24 02 20 24 01 CA D9 A8  01 7A 3D 6C 01 C6 D4 E8 | $. $.... .z=l....
04514E58:  01 7A 3D 34 00 00 00 00  01 7A 3D 14 00 00 00 00 | .z=4.... .z=.....
04514E68:  56 50 43 4F 05 0C 30 00  04 51 4E F0 00 A5 68 AC | VPCO..0. .QN...h.
04514E78:  04 E1 74 00 04 DD 25 80  01 D2 D5 80 80 00 00 20 | ..t...%. .......
04514E88:  00 00 00 14 01 D2 D6 80  80 00 00 20 00 00 00 1F | ........ ... ....
04514E98:  01 D2 D6 00 00 D5 5A 44  00 00 00 00 00 00 00 00 | ......ZD ........
04514EA8:  04 51 4F 00 00 00 00 00  00 00 00 00 00 00 00 00 | .QO..... ........
04514EB8:  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00 | ........ ........
04514EC8:  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00 | ........ ........
04514ED8:  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00 | ........ ........
04514EE8:  00 00 00 00 00 00 00 00  00 00 00 00 00 D5 56 24 | ........ ......V$
04514EF8:  DE AD BE EF DE AD BE EF  FF AD BE EF DE AD BE EF | ........ ........
04514F08:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514F18:  DE AD BE EF DE AD BE EF  04 51 6F 80 04 4D 8E C0 | ........ .Qo..M..
04514F28:  00 00 01 03 02 00 37 68  00 00 00 00 01 72 42 58 | ......7h .....rBX
04514F38:  00 40 49 49 00 00 00 00  01 88 18 B8 00 00 00 05 | .@II.... ........
04514F48:  00 00 00 00 DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514F58:  DE AD BE EF DE AD BE EF  55 55 55 55 55 55 55 55 | ........ UUUUUUUU
04514F68:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514F78:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514F88:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514F98:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FA8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FB8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FC8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FD8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FE8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04514FF8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515008:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515018:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515028:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515038:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515048:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515058:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515068:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515078:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515088:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
04515098:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
045150A8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
045150B8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
045150C8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
045150D8:  DE AD BE EF DE AD BE EF  DE AD BE EF DE AD BE EF | ........ ........
largest available memory block: 183748064 bytes


DEVICE:           LANCOM 1781EF+
HW-RELEASE:       B
VERSION:          9.10.0366 / 31.07.2015

****

vg Bernie

[Bernie137]

Hallo,

so nun nach langer Zeit möchte ich Rückmeldung geben. Das Problem mit dem VPN LOAD-Balancer und den auftretenden Aussetzern ist gelöst.

Kurze Rückblende: Alles war prima bis 9.04RU4 (RU7 hab ich nie getestet). Sobald ich nur auf einen der beiden Router eine 9.10.xx installiert hatte, gingen die Probleme immer mit großer Zeitverzögerung los, d.h. ca. nach 14 Stunden. Spontan wurden über den VPN-Load Balancer über ein oder mehrere Tunnel keine Daten mehr übertragen. Nur ein Neustart der betreffenden Router behob kurzzeitig das Problem, oder aber dauerhaft zurück zur 9.04RU4.

Der Support hat mir empfohlen, nachdem keine Konfigurationsfehler festgestellt wurden, alle PPTP- und VPN-Tunnel auf beiden Gegenseiten zu löschen und unter neuen Namen neu einzurichten. Ich habe das Löschen mit dem Setup-Assistenten durchgeführt und hinterher festgestellt, dass trotzdem nicht alles gelöscht wurde (z.B. VPN-Verbindungsliste) und noch von Hand bereinigt, alles neu eingerichtet und nun läuft es ohne nennenswerte Probleme seit 3 Wochen.


Ob die Meldung im PPP-Trace "Missing for packet"

Code: Alles auswählen

PPTP call control: ack missing for packet # 36968 on PPTP3-Z, call id 15674 - correct acknowledged sequence number

mit dem Problem überhaupt etwas zu tun hat, ist mir noch unklar. Denn solche Meldungen tauchen in der 9.10RU3 immer noch in den PPP-Traces auf. Vermutlich ist das eine "normale" Erscheinung. Leider habe ich es versäumt unter der 9.04RU4 zu untersuchen, ob dort auch "Missing for packet"-Meldungen auftauchten. Weis jemand dazu mehr? Werde den Support dazu auch noch befragen.

Der oben stehende Watchdog hat vermutlich nichts mit dem Problem zu tun und ist wohl eher aufgetreten, als ich die Traces laufen hatte.

vg Bernie

[backslash]

Hi Bernie137,

die "ack missing" Meldungen im PPTP sind erstmal normal... Das ist Teil der PPTP-Flow-Control... Bei jedem Miss wird das Remote-Window halbiert und bei jedem empfangenen ACK um 1 erhöht.. Das Remote-Window gibt an, wie viele Pakete übertragen werden dürfen, ohne daß ein ACK kommen muß. Wenn versucht wird, mehr zu übertragen, als die Leitung hergibt, kommt es irgendwann zu Paketverlusten, die sich in den "ack missing" Meldungen manifestieren...

Das Ganze wir erst dann wirklich problematisch, wenn das Remote-Window dauerhaft auf 1 sinkt (und die Gegenstelle kein Windowsrechner ist)...

Gruß
Backslash

[Bernie137]

Hallo Backslash,

vielen Dank für Deine fachkundige Erläuterung. Das hilft mir zum Verständnis sehr gut weiter.

vg Bernie