Can you post what were the tweaking that you had undergone to access the 4GB? &nbsp;Thank you.<br><br><div><span class="gmail_quote">On 8/31/06, <b class="gmail_sendername">stephen mulcahy</b> &lt;<a href="mailto:smulcahy@aplpi.com">
smulcahy@aplpi.com</a>&gt; wrote:</span><blockquote class="gmail_quote" style="margin-top: 0; margin-right: 0; margin-bottom: 0; margin-left: 0; margin-left: 0.80ex; border-left-color: #cccccc; border-left-width: 1px; border-left-style: solid; padding-left: 1ex">
Hi,<br><br>I'm maintaining a 20-node cluster of Tyan K8SREs (4GB RAM, dual Opteron<br>270s) which are being used primarily for Oceanographic modelling (MPICH2<br>running on Debian/Linux 2.6 kernel).<br><br>I had to make some tweaks to make all 4GB of RAM visible to the OS.
<br><br>I'm now at the point where I'm considering a pass at performance tuning<br>the system. Before I start on OS level tuning, I'm trying to figure out<br>whether there are any performance improvements to be had from tweaking
<br>BIOS settings, particularly those relating to Memory and ECC. I have a<br>reasonable conceptual understanding of what the various settings are doing<br>(and have glanced at the AMD BIOS developers guide for reference) but I am
<br>very unclear on what the potential performance impact of any of these<br>settings are. Does anyone have any general advice or pointers to good<br>reference information on this?<br><br>My current settings are,<br><br>Hammer Configuration
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;HT-LDT Frequency&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Auto<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Dual-Core Enable&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Enabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ECC Features<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ECC&nbsp;&nbsp;&nbsp;&nbsp; Enabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ECC Scrub Redirection&nbsp;&nbsp; Enabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Dram ECC Scrub CTL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Disabled
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Chip-Kill&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Disabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;DCACHE ECC Scrub CTL&nbsp;&nbsp;&nbsp;&nbsp;Disabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;L2 ECC Scrub CTL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Disabled<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Memory Hole<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4GB Memory Hole Adjust&nbsp;&nbsp;Manual
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;4GB Memory Hole Size&nbsp;&nbsp;&nbsp;&nbsp;768 MB<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;IOMMU&nbsp;&nbsp; Enabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Size&nbsp;&nbsp;&nbsp;&nbsp;32 MB<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Memhole mapping Hardware<br><br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Memory Config<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Swizzle Memory Banks&nbsp;&nbsp;&nbsp;&nbsp;Enabled
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;DDR clock jitter&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Disabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;DDR Data Transfer Rate&nbsp;&nbsp;Auto<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Enable all memory clocks&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Populated<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Controller config mode&nbsp;&nbsp;Auto<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Timing config mode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Auto
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;AMD PowerNow!&nbsp;&nbsp; Disabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Node Memory Interleave&nbsp;&nbsp;Auto<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Dram Bank Interleave&nbsp;&nbsp;&nbsp;&nbsp;Auto<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;GART Error Reporting&nbsp;&nbsp;&nbsp;&nbsp;Disabled<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;MTRR Mapping&nbsp;&nbsp;&nbsp;&nbsp;Discrete<br><br><br>Any comments on those welcome.
<br><br>Thanks,<br><br>-stephen<br><br><br>--<br>&nbsp;&nbsp; Stephen Mulcahy&nbsp;&nbsp;&nbsp;&nbsp;Applepie Solutions Ltd&nbsp;&nbsp; <a href="http://www.aplpi.com">http://www.aplpi.com</a><br>&nbsp;&nbsp;Unit 30, Industry Support Centre, GMIT, Dublin Rd, Galway, Ireland.
<br><br>_______________________________________________<br>Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a><br>To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf">
http://www.beowulf.org/mailman/listinfo/beowulf</a><br></blockquote></div><br><br clear="all"><br>-- <br>-----------------------------------------------------------<br>Ivan S. P. Marin<br>Laboratório de Física Computacional
<br><a href="http://lfc.ifsc.usp.br">lfc.ifsc.usp.br</a><br>Instituto de Física de São Carlos - USP<br>----------------------------------------------------------