<div dir="ltr"><div class="gmail_quote"><div dir="ltr">I am in process of upgrading computational facilities of my lab and considering of building/purchasing 40 node cluster. Before contacting vendors I would like to get some understanding how much would it cost. The major considerations/requirements:<br>

<br>1. newest Intel quad-core CPUs (Opteron quad-core cpus are out of question due to ridiculous pricing), good balance of price/performance<br>2. reasonably fast interconnect (IB SDR 10Gb/s would suffice our computational needs (running LAMMPs molecular dynamics and VASP DFT codes)<br>

3. 48U rack (preferably with good thermal management)<br><br>I used newegg plus some extra info to get pricing for IB. This is what I got:<br><br>Single node configuration<br>------------------------------------------------------------------------------------------------------------------<br>

- 2x Intel Xeon E5420 Hapertown 2.5 GHz quad core CPU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp; 2x$350=$700<br>- Dual LGA 771 Intel 5400 Supermicro mb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp; $430<br>- Kingston 8 Gb (4x2Gb) DDR2 FB-DIMM DDR2 667 memory&nbsp;&nbsp;&nbsp; :&nbsp; $360<br>

- WD Caviar 750 Gb SATA HD&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp; $110<br>-Melanox InfiniHost Single port 4x IB SDR 10Gb/s PCI-e card&nbsp;&nbsp;&nbsp; :&nbsp; $125&nbsp;&nbsp; (<a href="http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=12" target="_blank">http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=12</a>)<br>

- 1U case including power supply, fans&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp; $150<br>------------------------------------------------------------------------------------------------------<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; $1,875/node<br>

<br>Cluster estimate:<br>------------------------<br>40 nodes: &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 40x$187=$75,000<br>2x24-port 4X (10Gb/s) 1U SDR IB Flextronics Switches &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2x$2400=$4,800&nbsp;&nbsp;&nbsp; <a href="http://www.colfaxdirect.com/store/pc/viewPrd.asp?idcategory=7&amp;idproduct=13">(http://www.colfaxdirect.com/store/pc/viewPrd.asp?idcategory=7&amp;idproduct=13)</a><br>

IB cables&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 40$65=$,2600<br>48U rack cabinet, PDUs, power cables,&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : $3000<br>-----------------------------------------------------------------------------------------------------------<br>

TOTAL: $85,400<br><div>
                        </div><br>I would like to get some advice from experts from this list, is this pricing realistic? Are there any flaws with configuration?<br><br>In principle, we have some experience in building and managing clusters, but with 40 node systems it would make sense to get a good cluster integrator to do the job. Can people share their recent experiences and recommend reliable vendors to deal with?<br>

<br>Many thanks,<br><br>Ivan Oleynik<br><br><br><br><br><br><br><br></div>
</div><br></div>