<div dir="ltr"><div dir="ltr">All,</div><div dir="ltr"><br></div><div dir="ltr">The global-workflow port2hera branch is now ready for cycled experiments on Hera. Please see the prior email (below) for details about running on Hera.</div><div dir="ltr"><br></div><div><b>Management has asked that users refrain from running high resolution experiments on Hera due to resource availability. Therefore, <font color="#ff0000">please do not run C768 or higher on Hera</font> unless your supervisor asks you to.</b> As with Theia the recommended resolutions are C384 and lower. I have gotten nice throughput when running C192C96.</div><div><br></div><div>There will be some final changes committed to the port2hera branch as it goes through pre-commit testing on all supported platforms. Any bugs discovered during his process will be addressed and noted in the global-workflow Redmine issue for this port. If you plan to run the FV3GFS on Hera I urge you to become a watcher on the issue to keep up-to-date on final changes that may impact your run. You can do that on the issue page by clicking the &quot;Watch&quot; text on the top right with the star next to it:</div><div><br></div><div><a href="https://vlab.ncep.noaa.gov/redmine/issues/67188">https://vlab.ncep.noaa.gov/redmine/issues/67188</a></div><div><br></div><div>Please let me know if you have any issues or questions with running the global-workflow port2hera branch on Hera. Additional announcements will be sent as the port2hera branch is merged back to the develop branch next month. Look for announcements about GFSv15.2 before that.</div><div><br></div><div>Thanks everyone! Have good weekends! :)</div><div dir="ltr"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font color="#000000"><br></font></div><div dir="ltr"><font color="#000000">Kate Friedman<br>NOAA/NWS/NCEP/EMC Engineering and Implementation Branch</font><br></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019 at 3:45 PM Kate Friedman - NOAA Federal &lt;<a href="mailto:Kate.Friedman@noaa.gov">Kate.Friedman@noaa.gov</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">All,<div><br></div><div><b>FV3GFS via global-workflow is now ready on Hera for free-forecast mode.</b> Cycled mode is essentially ready as well however I am waiting for a bug fix to come back to the GSI master before giving the go-ahead for running cycled experiments on Hera. Regardless of whether you are looking to run either free-forecast or cycled experiments on Hera please read the entirety of this email. Thanks!</div><div><br></div><div><b><u>How do I get setup on Hera?</u></b></div><div><br></div><div>If you have not attended a Hera training session please see the following quick-start guide:</div><div><br></div><div><a href="https://docs.google.com/presentation/d/1f2eEMNSyTa1PpXxtDiJgKFdxIf6qLAP3N3x9dVWEwRA/edit?usp=sharing" target="_blank">https://docs.google.com/presentation/d/1f2eEMNSyTa1PpXxtDiJgKFdxIf6qLAP3N3x9dVWEwRA/edit?usp=sharing</a></div><div><br></div><div><u><b>What do I use to run the FV3GFS on Hera?</b></u></div><div><br></div><div>Use the global-workflow &quot;port2hera&quot; branch to run on Hera:</div><div><br></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div>&gt; git clone gerrit:global-workflow</div><div>&gt; cd global-workflow</div><div>&gt; <b><font color="#000000">git checkout port2hera</font></b></div><div>&gt; cd sorc</div><div>&gt; sh checkout.sh</div><div>&gt; sh build_all.sh</div><div>&gt; sh link_fv3gfs.sh emc <b>hera</b></div></blockquote><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font color="#000000"><br></font></div><div><font color="#000000">To stay up-to-date on final changes for Hera please become a watcher on this global-workflow issue:</font></div><div><font color="#000000"><br></font></div><div><a href="https://vlab.ncep.noaa.gov/redmine/issues/67188" target="_blank">https://vlab.ncep.noaa.gov/redmine/issues/67188</a><font color="#000000"><br></font></div><div dir="ltr"><font color="#000000"><br></font></div><div><font color="#000000"><u><b>What resolutions can I run on Hera?</b></u></font></div><div><font color="#000000"><br></font></div><div><font color="#000000">The following resolutions have been tested on Hera (all L64): C48, C96, C192, C384, C768</font></div><div><font color="#000000"><br></font></div><div><font color="#000000">I have not tested 127 layers (L127) but I have been told that it works. Please use the appropriate component branches and speak with other GFSv16 developers who have run with L127 if you wish to run L127.</font></div><div><font color="#000000"><br></font></div><div><font color="#000000"><u><b>What resolutions <i>should</i> I run on Hera?</b></u></font></div><div><font color="#000000"><br></font></div><div><font color="#000000"><i>As with Theia we urge users to not run high resolution (C768+) unless necessary.</i> Recommended highest resolution is C384. Hera is only a little larger than Theia and there is no scrubbing so resource concerns still exist sadly. </font><font color="#ff0000"><i>Please be very cautious of your space utilization on Hera!</i></font></div><div><font color="#000000"><br></font></div><div><font color="#000000"><u><b>What versions of FV3GFS components does port2hera run?</b></u></font></div><div><font color="#000000"><br></font></div><div><font color="#000000">The port2hera branch currently runs the latest masters/develops/tags of the various FV3GFS system components. Some components are currently the master/develop branch but will soon be tags:</font></div><div><ul><li><font color="#000000">NEMSfv3gfs - &quot;</font>gfs.v16_PhysicsUpdate&quot; tag</li><li>ProdGSI - master branch (tag coming soon)</li><li>UFS_UTILS - develop branch (tag coming soon)</li><li>EMC_post - develop branch (tag coming soon)</li><li>EMC_gfs_wafs - &quot;gfs_wafs.v5.0.11&quot; tag</li><li>EMC_verif-global (METplus) - &quot;verif_global_v1.2.2&quot; tag</li></ul><div>Pieces outside of global-workflow (installed under glopara account):</div></div><div><ul><li>obsproc</li><ul><li>OT-obsproc_prep.v5.2.0-20190614 tag</li><li>OT-obsproc_global.v3.2.1-20190613 tag<br></li></ul><li>tracker/genesis - ens_tracker.v1.1.15.1</li><li>verification</li><ul><li>VSDB</li><li>Fit2Obs</li></ul></ul><div><b><u>How do I set up an experiment on Hera?</u></b></div></div><div><br></div><div>Just like you would on the other platforms with the setup scripts found under the ush/rocoto folder. Follow the same setup instructions that you&#39;re used to, just remember to use &quot;hera&quot; where needed during the process. See the setup section of the global-workflow wiki for instructions:</div><div><br></div><div><a href="https://vlab.ncep.noaa.gov/redmine/projects/global-workflow/wiki/Wiki#section-15" target="_blank">https://vlab.ncep.noaa.gov/redmine/projects/global-workflow/wiki/Wiki#section-15</a><br></div><div><br></div><div><font color="#000000"><b><u>Is the global dump archive (GDA) on Hera?</u></b></font></div><div><font color="#000000"><br></font></div><div><font color="#000000">Yes, a GDA has been established here on Hera:</font></div><div><font color="#000000"><br></font></div></div></div></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>DMPDIR = /scratch1/NCEPDEV/global/glopara/dump</div></div></div></div></div></blockquote><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><br></div><div><i>The Hera GDA currently holds observation dump files for 2017090100 to present.</i> It currently shares the main global space on Hera so I&#39;m limiting it to the past two years. I am still working to get a dedicated space on Hera for the GDA so it stops using our global space allocation. Please be careful about your non-stmp global space usage until I can free up those resources.  <br></div><div><br></div><div>The Hera GDA now follows a new directory structure that matches the production environment. The global-workflow system has the new structure embedded within so no change is needed on the users part. The new format is:</div><div><br></div><div>${DMPDIR}<b>/</b><font color="#ff00ff">${CDUMP}</font><font color="#ff0000">${DUMP_SUFFIX}</font>.<font color="#9900ff">${PDY}</font><b>/</b><font color="#38761d">${CYC}</font><b>/</b><font color="#ff00ff">${CDUMP}</font>.t<font color="#38761d">${CYC}</font>z.$FILE</div><div><br></div><div>...where DUMP_SUFFIX is empty for production data and a value of either nr, p, x, or y for experimental or pre-production dump data.</div><div><br></div><div>Additionally, I have been working over the past months to establish a new WCOSS GDA on the Dells that matches this new directory structure. When the port2hera branch is merged back to the global-workflow develop branch the new WCOSS-Dell GDA will become the primary GDA on WCOSS. The current phase 1 GDA will remain until phase 1 and 2 are retired early next year. All of this should be seamless to you.</div><div><br></div><div><b><u>When will the Hera changes come back to the global-workflow develop branch?</u></b></div><div><br></div><div>Mid-November. After discussions with the FV3GFS implementation team last week it was decided to hold the Hera changes out of the global-workflow develop branch until the GFSv15.2 implementation has been completed and the changes for it can come back to the develop branch. This order of merges is to maintain the ability to reproduce operations with a tag of the develop branch. The changes incoming for Hera will bring the global-workflow develop branch past v15.2 and closer to v16, therefore they have to come back after the v15.2 changes.</div><div><br></div><div>Thus the plan is to have you all use the global-workflow port2hera branch until it can be merged back to the develop branch next month. The final changes for GFSv15.2 should make their way to the develop branch once the implementation of v15.2 concludes in early November (currently scheduled for November 5th). The next few weeks will allow time for the remaining component tags to be created and some compute resource optimization to occur, as well as final I-dotting and T-crossing.</div><div><br></div><div><b><u>Troubleshooting on Hera</u></b></div><div><br></div><div>We are still breaking Hera in so do not be surprised if you run into a machine hiccup at some point. If you have a job fail that previously ran fine please try to rewind it at least once to see if it was a machine issue before reaching out to me for troubleshooting help. 

Definitely take a peek at the log for the failed job before doing anything to see if you recognize the cause for the failure.

If you suspect you&#39;re dealing with a machine issue greater than a hiccup please contact the Hera helpdesk and provide details so they can troubleshoot (<a href="mailto:rdhpcs.hera.help@noaa.gov" target="_blank">rdhpcs.hera.help@noaa.gov</a>).</div><div><br></div><div>As always I&#39;m here to help troubleshoot your FV3GFS runs on supported platforms. Please report any issues with the port2hera branch to me and become a watcher on the global-workflow Hera port issue to keep up-to-date on final updates and possible bug fixes:</div><div><br></div><div><a href="https://vlab.ncep.noaa.gov/redmine/issues/67188" target="_blank">https://vlab.ncep.noaa.gov/redmine/issues/67188</a></div><div><br></div><div><b><u>Running on WCOSS</u></b></div><div><br></div><div><i>Do not use the port2hera branch to run on WCOSS.</i> Please continue to use the develop branch (or your own branches) for your experiments on WCOSS. The port2hera branch is undergoing pre-commit testing on WCOSS currently to ensure the Hera changes did not break functionality there.</div><div><br></div><div><b><u>Verification</u></b></div><div><br></div><div>The VSDB package is available and has been tested on Hera. It is turned on by default in config.vrfy.</div><div><br></div><div>The METplus package is available and has been tested on Hera...however, there are significant timing issues as you get further than a few days into a run so it is turned off by default in config.vrfy and is not yet recommended for use. Work to speed up METplus on both Hera and WCOSS are ongoing and should be done in the coming months (if not sooner). A separate announcement will be made when it is ready for use.</div><div><br></div><div><b><u>Final notes</u></b></div><div><br></div><div>I will be sending another email once cycling is ready on Hera, should be this week barring any issues with the incoming GSI bug fix. Stay tuned!</div><div><br></div><div>Thank you to my beta-testers who ran the system on Hera and helped uncover issues!</div><div><br></div><div>Thank you all for your patience! The FV3GFS is a huge and complex system that takes time to get tested fully on a new machine so thank you very much to all of the code managers and EIB support staff who helped overcome some porting issues and get us here!<br></div><div dir="ltr"><font color="#000000"><br></font></div><div dir="ltr"><font color="#000000">Kate Friedman<br>NOAA/NWS/NCEP/EMC Engineering and Implementation Branch</font><br></div></div></div></div></div></div>
</blockquote></div></div>