L2TP termination / mpd5 / CPU usage

Vladimir Yesakov написал(а) к All в Feb 15 20:01:01 по местному времени:


Нello everybody!

Может кто-то уже разобрался и подскажет...

Мы недавно объединили наши 4 сервера по 1Gbps в один с 10Gb интерфейсом. Все работает хорошо, но над одной загадкой я уже голову сломал. Почему systat -v и top -SНI показывают ~96% CPU, когда на самом деле температура не поднимается выше 48C ? При такой нагрузке я привык видеть ~70C.

FreeBSD 9.3p10, mpd5.7_1, named 9.10 больше там ничего нет. IPFW/PF/DUMMYNET etc. отключены. ~2500 l2tp сессий. PMC показывает вот такое.
В сервере пара E5-2620/16GB RAM/Intel X520-SR2 (82599EB 10-Gigabit SFI/SFP+ Network Connection)

Google про "mtx_locksleep" ничего внятного не дает, кроме того, что панику в нем починили в районе 7-х версий.

pmcstat -TS instructions -w1
PMC: [INSTRRETIREDANY] Samples: 414587 (100.0%) , 559 unresolved

%SAMP IMAGE FUNCTION CALLERS
28.8 kernel mtx_lock_sleep _mtx_lock_flags:23.3 _sleep:3.9 rtalloc1fib:0.6
9.5 kernel mtx_lock_spin wakeup_one:5.7 _sleep:2.0 pmclog_reserve:1.2 turnstiletrywait:0.5
4.9 kernel cpusearch_lowest cpu_searchlowest
4.3 kernel cpusearch_highest cpu_search_highest:3.7 schedidletd:0.5
3.0 kernel rw_rlock ng_addresshook
2.8 pmcstat _init
2.0 kernel rw_runlock ng_addresshook
1.7 kernel inpcblookup_hash_lo in_pcblookuphash
1.4 kernel rnmatch rtalloc1fib
1.4 netgraph.k ngsnd_item ng_applyitem
1.2 kernel runqsteal tdqmove
1.0 libc.so.7 bsearch
1.0 kernel atomicfetchadd_int ng_unrefhook
0.9 kernel umazallocarg
0.9 kernel ixgbexmit ixgbe_mq_startlocked
0.9 kernel bzero
0.8 kernel ethernh_input netisr_dispatchsrc
0.8 kernel spinlock_exit
0.7 kernel ixgberxeof ixgbe_msixque
0.7 kernel umazfreearg
0.7 named _init
0.7 kernel ip_output
0.7 kernel atomicadd_barr_int ng_addresshook
0.6 kernel critical_exit
0.6 kernel mtx_unlockflags
0.6 kernel bus_dmamap_load_buf _bus_dmamap_load_mbufsg
0.5 kernel critical_enter
0.5 mpd5 _init
0.5 kernel mtx_lockflags
0.5 kernel soreceivegeneric soreceivedgram
0.5 kernel ipfastforward etherdemux

PMC: [INSTRRETIREDANY] Samples: 2936831 (100.0%) , 5410 unresolved

%SAMP IMAGE FUNCTION CALLERS
29.5 kernel mtx_lock_sleep _mtx_lock_flags:23.8 _sleep:4.2 rtalloc1fib:0.6
9.7 kernel mtx_lock_spin wakeup_one:5.9 _sleep:2.0 pmclogreserve:1.2
4.9 kernel cpusearch_lowest cpu_searchlowest
4.8 kernel cpusearch_highest cpu_search_highest:4.2 schedidletd:0.6
3.0 pmcstat _init
2.8 kernel rw_rlock ng_addresshook
1.9 kernel rw_runlock ng_addresshook
1.6 kernel inpcblookup_hash_lo in_pcblookuphash
1.4 kernel runqsteal tdqmove
1.4 kernel rnmatch rtalloc1fib
1.3 netgraph.k ngsnd_item ng_applyitem
1.2 libc.so.7 bsearch
1.0 kernel atomicfetchadd_int ng_unrefhook
0.9 kernel umazallocarg
0.9 kernel bzero
0.9 kernel ixgbexmit ixgbe_mq_startlocked
0.8 kernel spinlock_exit
0.8 kernel ethernh_input netisr_dispatchsrc
0.7 kernel ixgberxeof ixgbe_msixque
0.7 kernel umazfreearg
0.7 kernel ip_output
0.6 kernel atomicadd_barr_int ng_addresshook
0.6 kernel mtx_unlockflags
0.6 kernel critical_exit
0.6 named _init
0.6 kernel bus_dmamap_load_buf _bus_dmamap_load_mbufsg
0.5 kernel critical_enter
0.5 mpd5 _init
0.5 kernel mtx_lockflags
0.5 kernel ipfastforward etherdemux


Vladimir


--- GoldED+/W32-MSVC 1.1.5-b20130111