<div dir="ltr"><div>Update: The issue with the HRRR delays was due to a faulty switch in one of the supercomputer frames, the CFS retrospectives were not the cause.  This will be replaced today.<br><br></div>SDM Patrick<br></div><div class="gmail_extra"><br><div class="gmail_quote">On 20 March 2015 at 05:36, NOAA SDM <span dir="ltr">&lt;<a href="mailto:sdm@noaa.gov" target="_blank">sdm@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>All<br><br>Around 20/0041Z 13 nodes dropped offline on the Gyre supercomputer.  The repercussions of this caused 97 minute delays to the 23Z HRRR and up to 21 minute delays to the the 00Z HRRR.  IBM was eventually able to bring the nodes back online.<br><br></div><div>It is thought that a CFS retrospective job caused the nodes to drop offline.  The reason for this is still being investigated.      <br></div><span class="HOEnZb"><font color="#888888"><div><div class="gmail_extra"><br><br>-- <br><div>Senior Duty Meteorologist<br>NOAA/NWS/NCEP/NCO/PMB<br></div>
</div></div></font></span></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature">Senior Duty Meteorologist<br>NOAA/NWS/NCEP/NCO/PMB<br></div>
</div>