<div dir="ltr"><div class="gmail_extra"><div dir="ltr" style="font-size:12.8px">I don&#39;t know how much experience people have with Jet, but please be aware there is a mpirun wrapper that supersedes the package version (impi, mvapich, etc).  I point this out because the behavior is very different than the experience on Theia, where one uses the package version mpirun directly.<div><br></div><div>We at GFDL have found Jet&#39;s wrapper to be particularly bothersome when trying to run with OpenMP as we place/space MPI-ranks explicitly as part of the mpirun request and internally manage threading via namelist options.<br></div><div><br></div></div><div class="gmail_extra" style="font-size:12.8px"><div><div class="gmail-m_-2636068731429181455gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:12.8px">Rusty</div><div style="font-size:12.8px">--</div><div style="font-size:12.8px">Rusty Benson, PhD</div><div style="font-size:12.8px">Modeling Systems Group</div><div style="font-size:12.8px">NOAA Geophysical Fluid Dynamics Lab</div><div style="font-size:12.8px">Princeton, NJ</div></div></div></div></div></div><br><div class="gmail_quote">On Fri, May 12, 2017 at 12:40 PM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>Jim,<br><br></div>Sam is working on that, we hope to make it to this release. Thanks.<br><br></div>Jun<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, May 12, 2017 at 12:37 PM, James Rosinski - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:james.rosinski@noaa.gov" target="_blank">james.rosinski@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div>Jun and others;<br><br></div>I noticed there is a build capability for fv3gfs on jet, but not any run instructions or runjob_jet.sh for jet. Is jet run capability intended, or is that for later?<br><br></div>Regards,<br></div>Jim Rosinski<br><div><br><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, May 12, 2017 at 10:16 AM, Rusty Benson - NOAA Federal <span dir="ltr">&lt;<a href="mailto:rusty.benson@noaa.gov" target="_blank">rusty.benson@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Eugene,<div><br></div><div>Responding only to point 4, what options do you see that are Cray compilation flags?<br></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail-m_-2636068731429181455m_881819779039485655m_4349914553471657777m_11006847854449668gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div style="font-size:12.8px">Rusty</div><div style="font-size:12.8px">--</div><div style="font-size:12.8px">Rusty Benson, PhD</div><div style="font-size:12.8px">Modeling Systems Group</div><div style="font-size:12.8px">NOAA Geophysical Fluid Dynamics Lab</div><div style="font-size:12.8px">Princeton, NJ</div></div></div></div></div></div><br><div><div class="gmail-m_-2636068731429181455m_881819779039485655m_4349914553471657777h5"><div class="gmail_quote"><div><div class="gmail-m_-2636068731429181455m_881819779039485655h5">On Fri, May 12, 2017 at 11:58 AM, Eugene Mirvis <span dir="ltr">&lt;<a href="mailto:eugene.mirvis@noaa.gov" target="_blank">eugene.mirvis@noaa.gov</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div bgcolor="#FFFFFF"><div class="gmail-m_-2636068731429181455m_881819779039485655h5"><div class="gmail-m_-2636068731429181455m_881819779039485655m_4349914553471657777m_11006847854449668m_-1807567512764868220moz-cite-prefix">Gerard,<br><br>Just several points to clarify.<br><br>1. NEMS practice  to call modulefiles what is actually the scripts (calling module commands),<br>that require mostly bash env in order to source and keep environment was always non standard use.<br><br>Therefore,  if the developers will take Sam&#39;s advice and make real modulefiles (starting with #%Module) from the script, &quot;export&quot; and other scripting works <br>wouldn&#39;t make sense, while Module util commands and Tcl/Tk  will work.<br><br>2. There is another dilemma - to keep needed environment and change within a workflow env. change.<br>btw, <b><br></b>unsetenv, append-path, prepend-path and remove-path  module commands are very useful for controlling that, but you have to keep<br><font size="-1">$LOADEDMODULES, and $MODULE PATH in consistent order.<br></font><br>3. Speaking of which<font size="-1">, <br>module purge <br>and<br>module switch <br>are very useful to unload application driven modules.<br>a/ You just have to do that not any moment, but before apps module is loaded, then, unload &lt;appsModulefile&gt; - not purge, but unload. <br></font>b/ On Crays, the are some internal dependencies  inside of PrgEnv. So you have to keep all &quot;module use &lt;knowns&gt;&quot;  to recover, otherwise you might find &quot;module not found&quot;<br><br>4. <br>Compiling on Theia, I&#39;m just wondering why Cray&#39;s compilation flags are utilized... allover: <br><font size="-2"><b></b></font>See for  instance<br>...<br><b>mpiifort -I/apps/netcdf/4.3.0-intel/inc<wbr>lude -fno-alias -auto -safe-cray-ptr -ftz -assume byterecl -nowarn -sox -align array64byte -i4 -real-size 64 -no-prec-div -no-prec-sqrt -xCORE-AVX2</b><b> -qno-opt-dynamic-align</b> -O2 -debug minimal -fp-model source -qoverride-limits -qopt-prefetch=3 -qopenmp -I/apps/esmf/7.0.0/intel/intel<wbr>mpi/mod/modO/<a href="http://linux.intel.64.in/" target="_blank">Linux.intel.64.in</a><wbr>telmpi.default -I/apps/esmf/7.0.0/intel/intel<wbr>mpi/include -I/apps/netcdf/4.3.0-intel/inc<wbr>lude -IENS_Cpl -I.  -I/scratch4/NCEPDEV/global/nos<wbr>crub/Eugene.Mirvis/fv3gfs.v0be<wbr>ta/FV3/nems_dir -c module_MEDIATOR_methods.f90<br>...<br><br>Thanks,<br>-Eugene</div></div></div></blockquote></div></div></div></div></blockquote></div></div></div></div></blockquote></div></div></blockquote></div></div></div></div>