GS-3510XP: Steigt aus, bootet neu

[lanwahn]

Hallo zusammen!

Ich habe ein merkwürdiges Verhalten an meinem LANCOM GS-3510XP (SW Ver. 4.30.0224RU5), welchen ich mehr oder weniger als Desktop-Switch an meinem Arbeitsplatz verwende.
Ich habe ein etwas exotischer Aufbau: Der Switch hängt an einem LX-6500, welcher über WDS mehrere VLANs durch die Luft zur Core-Infrastruktur befördert. Auf der Gegenseite befindet sich auch ein LX-6500 mit wieder einem LANCOM GS-3510XP.
Alle Geräte sind auf der aktuellsten stabilen Firmware-Version.

Sprich:
Workstation 2.5G<=> 2.5G LANCOM GS-3510XP 2.5G <=> LX-6500 <=> 6G WLAN <=> LX-6500 2.5G <=> 2.5G + 2.5G (LACP) LANCOM GS-3510XP 1G<=> 1G LANCOM 1926VAG-4G

Es sind aktuell 3 VLANs in Benutzung, das Management-VLAN 1, das Intranet-VLAN 20, sowie das VLAN für einen externen Router mit VLAN 200.

Die VLANs sind konfiguriert und die Geräte funktionieren prinzipiell im Ausgangszustand.
Folgendes Verhalten beobachte ich bei Netzwerklast:
Der Switch scheint sich zu verschlucken. Es ist gut zu beobachten, wenn ich z.B. einen Download starte und zur selben Zeit eine Datei auf den Server hochlade: Die Übertragung funktioniert für 1-10 Minuten, dann blinken die Link-LEDs kaum noch und der Switch ist nicht mehr erreichbar.
Dann bricht die Übertragung zusammen, nach einigen Minuten laufen wieder Daten durch, aber dann nur noch sehr langsam mit extrem hoher Latenz, Verbindungen brechen dann auch teilweise einfach ab.
Der Rest des Netzwerks hinter dem Switch (Access-Point im WDS-Clientmodus sowie Access-Point der Gegenstelle) und die anderen Netzwerkkomponenten haben keine erhöhte Last.

Dieses Verhalten zeigt sich auch, wenn ich kaum Daten übertrage, dann dauert es allerdings länger, bis der Switch nicht mehr reagiert.
Wenn dann z.B. ein Netzwerkkabel abgezogen wird, blinkt die LED einfach weiter, der Switch wird sehr warm ...
Vermutlich ist es dann sehr mit sich selbst beschäftigt...
Ich hatte jetzt auch schon den Fall, das der Switch einfach durchgebootet hat. Im Ereignis-Protokoll stand dann "Cold reboot".

Folgende Dinge habe ich bereits versucht:
- Update des Intel-Netzwerktreibers auf der Workstation
- Zurücksetzen der Netzwerkadapter in Windows
- Zurücksetzen des Switches auf Werksteinstellungen
- Erneutes flashen der aktuellen Firmware
- Reboot aller Netzwerkkomponenten von Core bis Access
- Wechseln der Ports für Uplink zu Access Point und Workstation
- Access-Point mit SFP+-Modul an Uplink-Port 9 gehängt und Workstation an Port 8
- Wechseln der Patchkabel zu den Geräten
- Testweise Uplink vom Switch zum Access-Point mittels LACP (über Port 9+10 sowie auch testweise über 7+8)
- Aktivieren/Deaktivieren der Loop Detection am Switch
- Link-Speed fest eingestellt

Was übersehe ich hier?
Hat der Switch evtl. Probleme, den Datenverkehr Richtung des Access-Point wegzubekommen und läuft deshalb irgendwann voll?
Die ausgehandelte Verbindung ist eine 2.5G, über WLAN kommen an guten Tagen etwas über Gigabit an, gibt es hier einen Paketstau?
Eigentlich unterscheidet sich die Konfiguration nicht sehr von der auf der Gegenseite, hier hängt sogar ein Server mit 10G am Uplink-Port.
Gibt es noch Einstellungen, welche ich hier anpassen könnte?

Leider komme ich in dem Moment des Fehlerfalls nicht mehr auf den Switch, das Bootlog finde ich nach dem harten Neustart leider nicht mehr...


Danke schon mal für Ideen!

[Jirka]

Hi,

sieht das nicht nach einem Hardwaredefekt aus?
Offensichtlich hast Du ja drei Switches dieses Typs. Dann tausche doch einfach mal zwei aus. Danach wüsste man entweder dass es ein Hardwaredefekt ist oder man kann einen solchen ausschließen, was ja auch erst mal sehr viel Wert wäre.

Viele Grüße
Jirka

[lanwahn]

Danke für die Idee, das wäre jetzt dann so das Nächste und auch Letzte, was ich versuchen könnte.

Ich habe mich mal seriell an das Gerät ran gehängt...bei einigen Versuchen reagierte das Gerät einfach gar nicht mehr...doch bei einem Versuch gab die Konsole noch tatsächlich etwas aus:

Code: Alles auswählen

Chip ID      : VSC7440 Rev. B
Board        : SparX-IV_34
Build Date   : 2025-05-28T13:16:53+02:00
Code Revision: 2506d5a81
[b]Exception 11 (Segmentation fault) caught at PC 0x00000015[/b]
.at    00000001   .v0-v1 00000000 00000000
.a0-a3 0000000b 00000000 00000015 00000001
.t0-t7 fff00000 9ccab251 8336b300 00000000 00000000 aca35f61 7bb4e55f 00000000
.s0-s7 651fdc30 00000008 651fdc30 7719c1c0 05530000 013c0000 013bc640 651fe870
.t8-t9 00000000 77872fcc  .fp/.s8 651fdd68   .k0-k1 00000000 00000000
.gp    778d3ce0      .sp 651fdb60      .ra 651fdcd4

[b]<SNMP_AGENT> PID=27, TID=52 Received signal 11 (Segmentation fault) [/b]
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) [0x16]


<Main> PID=27, TID=27 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app(main+0x1110) [0x504d2c]
[bt]: (9) /lib/libc.so.6(+0x24584) [0x77132584]
[bt]: (10) /lib/libc.so.6(__libc_start_main+0xcc) [0x771326b8]
[bt]: (11) /usr/bin/switch_app() [0x51bbb0]


<(null)> PID=27, TID=28 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<Critd> PID=27, TID=30 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xb2d854]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<ICFG Loader> PID=27, TID=31 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x75fed0]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Init Modules> PID=27, TID=32 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xb560f8]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Message TX> PID=27, TID=33 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xb58820]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Message RX> PID=27, TID=34 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xb58a70]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<ICLI SSH Server> PID=27, TID=35 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(accept+0x9a) [0x7722aaca]
[bt]: (3) /usr/bin/switch_app() [0x799cd0]
[bt]: (4) /usr/bin/switch_app() [0xe13864]
[bt]: (5) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<syslog> PID=27, TID=36 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xdc671c]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<LED> PID=27, TID=37 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0x5b41f4]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Packet RX> PID=27, TID=39 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(recv+0xaa) [0x7722ae9a]
[bt]: (3) /usr/bin/switch_app() [0xbaff74]
[bt]: (4) /usr/bin/switch_app() [0xe13864]
[bt]: (5) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IP_netlink_monitor> PID=27, TID=40 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(+0x11d10a) [0x7722b10a]
[bt]: (3) /usr/bin/switch_app() [0x8ba4fc]
[bt]: (4) /usr/bin/switch_app() [0xe13864]
[bt]: (5) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IP> PID=27, TID=41 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0x8a38e4]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Mac Age Control> PID=27, TID=42 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xaf4c18]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<FIRMWARE> PID=27, TID=43 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app() [0x737aa4]
[bt]: (7) /usr/bin/switch_app(_ZN9FwManager9get_asyncEv+0x7c) [0x73524c]
[bt]: (8) /usr/bin/switch_app() [0x73e950]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Firmware Upload> PID=27, TID=44 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x740824]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<LACP Control> PID=27, TID=45 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x9a4a28]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<802.1X> PID=27, TID=46 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x6a4174]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<LLDP> PID=27, TID=47 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xab4728]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<EEE> PID=27, TID=48 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app(_Z19EEE_platform_threadv+0x348) [0x717bb4]
[bt]: (5) /usr/bin/switch_app() [0x716890]
[bt]: (6) /usr/bin/switch_app() [0xe13864]
[bt]: (7) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<FAN> PID=27, TID=49 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x71f3b8]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<THERMAL_PROTECT> PID=27, TID=50 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xde930c]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<SNMP Trap> PID=27, TID=51 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xd78c50]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<RADIUS> PID=27, TID=53 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xc7fc2c]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP Helper> PID=27, TID=54 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x628b4c]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP Helper bip buffer> PID=27, TID=55 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x6289b8]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP Snooping> PID=27, TID=56 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x68a0c4]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<ARP inspection bip buffer> PID=27, TID=57 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x589f98]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IPMC_PKT> PID=27, TID=58 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x96dfd8]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IPMC_MVR> PID=27, TID=59 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xb8bfec]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IPMC_SNP> PID=27, TID=60 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x90e78c]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<XXRP Timer> PID=27, TID=62 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xe86b20]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<sFlow> PID=27, TID=61 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xc9d194]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<XXRP RX> PID=27, TID=63 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xe8cbc0]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP_SERVER_TIMER> PID=27, TID=64 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app(_Z26dhcp_server_platform_sleepj+0x64) [0x677e6c]
[bt]: (5) /usr/bin/switch_app() [0x6747e4]
[bt]: (6) /usr/bin/switch_app() [0xe13864]
[bt]: (7) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<802.1X Supplicant> PID=27, TID=65 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x7137b8]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<smtpthread> PID=27, TID=66 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xcaf870]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<IRQ Thread> PID=27, TID=68 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<Configuration> PID=27, TID=67 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0x5c742c]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Port Control> PID=27, TID=69 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xbdd328]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<CLI Serial> PID=27, TID=70 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(__select64+0x18c) [0x7721ed1c]
[bt]: (4) /lib/libc.so.6(__select+0x54) [0x7721ee60]
[bt]: (5) /usr/bin/switch_app(cli_io_getch+0x128) [0x5bc9b8]
[bt]: (6) /usr/bin/switch_app() [0x5bd140]
[bt]: (7) /usr/bin/switch_app() [0x5bb890]
[bt]: (8) /usr/bin/switch_app(_Z39vtss_icli_sutil_usr_char_get_by_sessionP21icli_session_handle_tPi+0xe0) [0x7838f4]
[bt]: (9) /usr/bin/switch_app(_Z23vtss_icli_c_usr_cmd_getP21icli_session_handle_t+0xb8) [0x781b3c]
[bt]: (10) /usr/bin/switch_app() [0x779af8]
[bt]: (11) /usr/bin/switch_app(_Z24vtss_icli_session_enginei+0x9e0) [0x77e36c]
[bt]: (12) /usr/bin/switch_app(icli_session_engine+0x44) [0x78cf74]
[bt]: (13) /usr/bin/switch_app(cli_thread+0x1b8) [0x5bbea0]
[bt]: (14) /usr/bin/switch_app() [0xe13864]
[bt]: (15) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Telnet CLI Main> PID=27, TID=71 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x5bf510]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<KR> PID=27, TID=72 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x998ff4]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Event Buffer Thread> PID=27, TID=73 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xdf1950]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Port Security> PID=27, TID=74 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xc165b8]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<ACCESS_MGMT> PID=27, TID=77 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x522c50]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Watch Dog> PID=27, TID=78 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xdd2910]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP6C> PID=27, TID=79 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x5ef744]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<MSTP> PID=27, TID=80 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xb61008]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DNS_Handler> PID=27, TID=81 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x6996d4]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<POE> PID=27, TID=82 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /lib/libc.so.6(usleep+0x5c) [0x7721fb3c]
[bt]: (5) /usr/bin/switch_app() [0x11f9174]
[bt]: (6) /usr/bin/switch_app() [0x11f9b5c]
[bt]: (7) /usr/bin/switch_app() [0x1201070]
[bt]: (8) /usr/bin/switch_app() [0x11f6990]
[bt]: (9) /usr/bin/switch_app(poe_custom_get_status+0xa00) [0xbcb3b0]
[bt]: (10) /usr/bin/switch_app() [0xbc4d74]
[bt]: (11) /usr/bin/switch_app() [0xbc63dc]
[bt]: (12) /usr/bin/switch_app() [0xe13864]
[bt]: (13) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<POE Led> PID=27, TID=83 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xbc22e0]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<POE Auto Checking> PID=27, TID=84 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xbc7234]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<POE Power Delay> PID=27, TID=85 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xbc3488]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<POE Schedule> PID=27, TID=86 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xbc67e0]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<PoE Firmware Upgrade> PID=27, TID=87 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xbbe254]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Authentication> PID=27, TID=88 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(_ZN4vtss9SafeQueue19vtss_safe_queue_getEv+0x64) [0xe1c584]
[bt]: (8) /usr/bin/switch_app() [0x5a0020]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<auth-service> PID=27, TID=89 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(accept+0x9a) [0x7722aaca]
[bt]: (3) /usr/bin/switch_app() [0x5a1a94]
[bt]: (4) /usr/bin/switch_app() [0xe13864]
[bt]: (5) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<UPNP> PID=27, TID=90 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xdff9a0]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DHCP Relay> PID=27, TID=91 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x666c50]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<loop_prot> PID=27, TID=92 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(__pthread_cond_timedwait64+0x2c8) [0x77199684]
[bt]: (6) /lib/libc.so.6(pthread_cond_timedwait+0x44) [0x771998a0]
[bt]: (7) /usr/bin/switch_app(vtss_cond_timed_wait+0x108) [0xe10450]
[bt]: (8) /usr/bin/switch_app(vtss_flag_timed_wait+0x94) [0xe10580]
[bt]: (9) /usr/bin/switch_app() [0xaee36c]
[bt]: (10) /usr/bin/switch_app() [0xe13864]
[bt]: (11) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<JSON RPC Notification> PID=27, TID=93 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x98b4c4]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<DDMI_main> PID=27, TID=94 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0x5d4374]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<SubjectLockedThread> PID=27, TID=95 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<SubjectMainThread> PID=27, TID=97 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<SR-PR-1> PID=27, TID=96 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<UDLD TIMER> PID=27, TID=101 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xdf7f2c]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<UDLD CLIENT> PID=27, TID=102 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(_ZN4vtss9SafeQueue19vtss_safe_queue_getEv+0x64) [0xe1c584]
[bt]: (8) /usr/bin/switch_app() [0xdf5da4]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<HTTPS certificate generation> PID=27, TID=104 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0x72b2a4]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<HTTPS certificate config> PID=27, TID=103 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[btfgnAbort 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0xa) [0x77227e1a]
[bt]: (3) /lib/libc.so.6(__select64+0x18c) [0x7721ed1c]
[bt]: (4) /lib/libc.so.6(__select+0x54) [0x7721ee60]
[bt]: (5) /usr/bin/switch_app() [0xa9d5b8]
[bt]: (6) /usr/lib/libstdc++.so.6(+0xb1298) [0x77465298]
[bt]: (7) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<(null)> PID=27, TID=114 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=115 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=116 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=117 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=118 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=119 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<(null)> PID=27, TID=120 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(epoll_wait+0xae) [0x772288de]


<switch_reboot_schedule> PID=27, TID=121 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__clock_nanosleep_time64+0x9a) [0x771d8a4a]
[bt]: (3) /lib/libc.so.6(nanosleep+0x58) [0x771e0288]
[bt]: (4) /usr/bin/switch_app() [0xdd3a4c]
[bt]: (5) /usr/bin/switch_app() [0xe13864]
[bt]: (6) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Rx Dispatch (Normal)> PID=27, TID=151 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xbaf324]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


<Rx Dispatch (Below)> PID=27, TID=150 Received signal 6 (Aborted) 
[bt]: (0) /usr/bin/switch_app() [0xb0ca6c]
[bt]: (1) linux-vdso.so.1(+0xac0) [0x7ffb1ac0]
[bt]: (2) /lib/libc.so.6(__mips_syscall6+0x6) [0x77227e16]
[bt]: (3) /lib/libc.so.6(+0x86b48) [0x77194b48]
[bt]: (4) /lib/libc.so.6(+0x86ca8) [0x77194ca8]
[bt]: (5) /lib/libc.so.6(pthread_cond_wait+0x2a0) [0x771991b4]
[bt]: (6) /usr/bin/switch_app(vtss_cond_wait+0x24) [0xe0fb04]
[bt]: (7) /usr/bin/switch_app(vtss_flag_wait+0xc0) [0xe0fc44]
[bt]: (8) /usr/bin/switch_app() [0xbaf324]
[bt]: (9) /usr/bin/switch_app() [0xe13864]
[bt]: (10) /lib/libc.so.6(+0x8bdf0) [0x77199df0]


Opening /proc/vc3fdma

Press ENTER to get startedDriver: vc3fdma-01.26 2019/12/02

uFDMA driver:
=============

TX IFH size      :   28 bytes
RX IFH size      :   28 bytes
Buffer state size:  128 bytes
State size       :  696 bytes

uFDMA state:
============

Application Interface Layer
---------------------------

Rx
--
select(): Interrupted system call
Multi-DCB Support:          Yes
Poll calls:                   0
Buf Add calls:             9224
Callback calls:            8238
Callback bytes:         1309215
Oversize drops:               0
Abort drops:                  0
Pruned drops:                 0
Suspended drops:              0
CIL drops:                    0
Multi-DCB drops:              0
Multi-DCB Rx:                 0

Qu Frames       Bytes
-- ------------ ------------
 0            0            0
 1            0            0
 2         1298       119416
 3            0            0
 4         4111       648908
 5            0            0
 6         2829       540891
 7            0            0

Throttle ticks: 10113
Qu Frame Limit/Tick Byte Limit/Tick Max Frames/Tick Max Bytes/Tick # Suspends Suspend Ticks Left
-- ---------------- --------------- --------------- -------------- ---------- ------------------
 0               50           75900               0              0          0                  0
 1               30           45540               0              0          0                  0
 2               50           75900               4            368          0                  0
 3               50           75900               0              0          0                  0
 4              300          455400              18           5174          0                  0
 5              150          227700               0              0          0                  0
 6              100          151800               5           1576          0                  0
 7                0               0               0              0          0                  0

Rx Pointers
-----------
rx_head_sw:
   1: 0x845ff280[&dscr=845ff2a0, dscr.buf=845ff380 (1554), dscr.buf_state=845ff280, hw->next=045ffb00]
   2: 0x845ffb00[&dscr=845ffb20, dscr.buf=845ffc00 (1554), dscr.buf_state=845ffb00, hw->next=04600380]
   3: 0x84600380[&dscr=846003a0, dscr.buf=84600480 (1554), dscr.buf_state=84600380, hw->next=04601480]
   4: 0x84601480[&dscr=846014a0, dscr.buf=84601580 (1554), dscr.buf_state=84601480, hw->next=04601d00]
 ...
  92: 0x8462ef80[&dscr=8462efa0, dscr.buf=8462f080 (1554), dscr.buf_state=8462ef80, hw->next=00000000]

rx_head_hw:
   1: 0x845f0d00[&dscr=845f0d20, dscr.buf=845f0e00 (1554), dscr.buf_state=845f0d00, hw->next=045f0480]
      SoF = 0, EoF = 0, fragment_size_bytes = 0, aborted = 0 pruned = 0
   2: 0x845f0480[&dscr=845f04a0, dscr.buf=845f0580 (1554), dscr.buf_state=845f0480, hw->next=045ef380]
   3: 0x845ef380[&dscr=845ef3a0, dscr.buf=845ef480 (1554), dscr.buf_state=845ef380, hw->next=045eeb00]
   4: 0x845eeb00[&dscr=845eeb20, dscr.buf=845eec00 (1554), dscr.buf_state=845eeb00, hw->next=045ee280]
 ...
 894: 0x84412280[&dscr=844122a0, dscr.buf=84412380 (1554), dscr.buf_state=84412280, hw->next=00000000]
...

Ich habe dann mal SNMP deaktiviert, aber das Ding hängt sich noch immer regelmäßig auf...ist das der Arbeitsspeicher futsch?

[DirkK]

sieht das nicht nach einem Hardwaredefekt aus?

Hmmm, also in den Release Notes zur aktuellen FW sind zwei Fixes bzgl. CPU genannt und ich habe ja mit meinen 3510XP auch Probleme mit der CPU-Last nach längerer Uptime. Ich traue den 3510XP (bzw. der Firmware darauf) nicht mehr wirklich... Und eine effektive Fehlersuche ist auch nicht gerade einfach, weil man (ich?) nicht wirklich rausbekommt, womit die CPU des Switches gerade wirklich beschäftigt ist.
Weder "show system cpu status", noch "show process load" oder "show process list" liefert hier auch annähernd nur ein Indiz, wo das Problem liegen könnte... Und andere Befehle, die weiterhelfen finde ich nicht in der CLI-Referenz...

VG Dirk

[lanwahn]

Ja, genau dieses Problem mit der sehr spartanischen Befehlsreferenz habe ich auch...komischerweise bleibt es im Leerlauf länger stabil...aber irgendwann hört das Ding auf auf Pings auf seiner Management-IP zu reagieren und die Web-GUI ist auch nicht mehr erreichbar.
Mir fehlt ein "top"...es ist ja ein Linux, aber leider kommen wir nicht weiter ran...falls hier jemand Insider-Wissen hat, gerne her damit :

Ich versuche mal, einen externen Syslog-Server zu konfigurieren, evtl. bekomme ich ja etwas Beifang

[lanwahn]

...ich habe langsam wirklich keine Idee mehr...ich habe auch nochmals alle Kabel verfolgt und beschriftet, damit ich auch wirklich keinen Loop oder sowas in der Art drin habe...

Ich habe aber auch mal die Loop-Protection oder RSTP aktiviert, auch hier selbes Verhalten.
Der Switch müsste doch bei einem Loop dann den Port einfach herunterfahren, aber selbst an einem Port auf dem Management-VLAN erreichbar bleiben, oder?

Ich finde die Art und Weise, wie der Switch hier reagiert ehrlich gesagt auch die Gefährlichste. Für mich gibt es 3 Möglichkeiten, wie bei einem Fehlerfall ein Switch zu reagieren hat:

- Neustart
- Es wird kein Switching mehr durchgeführt (vollständiger Lock)
- Betroffene Ports herunterfahren, Betrieb fortführen

So wie der Switch sich verhält ist im Fehlerfall vor allem remote sehr gefährlich und vor allem absolut nicht nachvollziehbar.
Wenn dann angeschlossene Geräte noch funktionieren, aber langsam mit hoher Latenz, neue Port-Aushandlungen aber nicht mehr zu Stande kommen (oder evtl. doch, aber die Link-LEDs blinken nicht mehr).
Ich kenne das Verhalten aber überhaupt nicht von den anderen Switchen, da funktioniert es wie ich es erwarten würde.

[ua]

Moin,

das riecht nach Buffer overflow.
Die Switche rotzen auf den 2.5G Schnittstelle alles in Richtung AP ohne Kenntnis der "Luft"-Datenrate.
Jetzt kenne ich das Lastverhalten der 65er nicht genau genug, aber normalerweise werden nicht versendbare Pakete gedropt.
Manche AP senden dann "MAC-PAUSE"-Frames um den Verkehr zu drosseln, die können vom Switch ausgewertet werden sofern "FLOW-Control" aktiviert ist. Is es bei dir aktiviert?

Prüf mal die Die Netto-Datenrate der Luftschnittstelle in beide Richtungen mit iPerf.
Sofern du über 1GB/S kommst, stelle einfach die beiden Ethernetports der AP auf 1GB/s fest und teste.
Solltest zwischen 100MB/S und 1GB/s liegen musst du "shapen", damit der AP nicht überfahren wird.

VG

[Jirka]

Hmm. Meint Ihr denn, dass ein GS-3528XP genauso betroffen sein könnte?
Ich hatte heute in einer Nachtschicht - wie man sieht - so ein Teil in einer Grundschule konfiguriert und auf die neueste Firmware geupdatet. Der Zustand vor Ort war eigentlich eher richtig mies, der WLC-30 ohne Erweiterungs-Optionen hat z. B. 8 Stück LX-6400 versorgt, und einiges anderes kam am Ende auch noch dazu (VLAN-Modul aktivieren in den APs war im WLC gar nicht an, braucht man das bei den LX nicht mehr machen?!, natürlich mehrere SSIDs). Speedtest brachte am Ende im 5 GHz-Band nur gut 150 Mbit/s bei einer 500-er Leitung (1800EF mit Glasfaser-Modul neu, FRITZ!Box raus). Es war spät, an der Stelle musste abgebrochen werden, immerhin kann die Schule nachher wieder arbeiten. Aber irgendwie frage ich mich gerade, ob der Switch jetzt auch ein limitierender Faktor gewesen sein könnte, aber so wenig, wie ich geschaut habe, würde ich das erst mal nicht sagen. Aber muss ich den Switch jetzt im Blick behalten?

[Dr.Einstein]

VLAN-Modul aktivieren in den APs war im WLC gar nicht an, braucht man das bei den LX nicht mehr machen?!, natürlich mehrere SSIDs).

Das VLAN-Modul ist bei den LX-APs dauerhaft an. Deswegen ist ja das VLAN 1 intern verbraucht und kann nicht vollständig verwendet werden...

[DirkK]

Aber irgendwie frage ich mich gerade, ob der Switch jetzt auch ein limitierender Faktor gewesen sein könnte, aber so wenig, wie ich geschaut habe, würde ich das erst mal nicht sagen. Aber muss ich den Switch jetzt im Blick behalten?

Nein, ich habe die Erfahrung gemacht, dass der Durchsatz der 35-/36-'er Switche eigentlich gut ist, aber ich glaube in der Firmware stecken noch jede Menge Probleme, je nachdem was man für Funktionen einsetzt. Und bei mir steigt die CPU-Last der kleinen Switche (3510) nach länger Laufzeit auf durchgängig 100% und dann werden die natürlich auch zäh... Also im Blick behalten würde ich den auf jeden Fall.

VG Dirk