<div dir="ltr">Hi,<br><br>I have two nodes Interconnected using Infiniband, and using Intel-MPI over dapl1.2.7 from OFED 1.3.1 compiled localy on the same build, when there is interconnect communication i can see on one of the nodes that i monitoring have a high cpu utiliztion (%system) that exceeds 60%. the mpi job is helloworld/pallas runing over two nodes, 8 cores each (16 processes in total) <br>
<br>a snapshot of mpstat -P ALL on one node<br>06:22:20 PM&nbsp; CPU&nbsp;&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp;&nbsp;&nbsp; %irq&nbsp;&nbsp; %soft&nbsp;&nbsp; %idle&nbsp;&nbsp;&nbsp; intr/s<br>06:22:22 PM&nbsp; all&nbsp;&nbsp; 30.25&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 69.75&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 1768.50<br>06:22:22 PM&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 30.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 70.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 566.50<br>
06:22:22 PM&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 30.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 69.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 201.00<br>06:22:22 PM&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp; 30.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 69.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00<br>06:22:22 PM&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp; 29.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 70.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00<br>
06:22:22 PM&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp; 28.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 71.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00<br>06:22:22 PM&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp; 30.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 70.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00<br>06:22:22 PM&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp; 31.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 69.50&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 1000.50<br>
06:22:22 PM&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp; 32.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 68.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00<br><br>now i get the same behaviour on RHEL5.0/5.1 and RHEL4.6, using Infiniband or ethernet, so is this normal, to me it does not, or at least i have never seen such behaviour before? the node is a DELL PE1950<br>
<br>regards<br><br>Walid<br></div>