<div dir="ltr">Hi Jun,<div><br></div><div>Yes, after the missing &quot;cp&quot; fix, I (and Jim too) still had a problem with this line in runjob_theia.sh:</div><div><br></div><div><div><div>module load module.fre-nctools</div></div></div><div><br></div><div>This syntax (where you specify a file name after &quot;module load&quot;) is not supported in our environment.  So what we did was first change the above line to:</div><div><br></div><div><div>. ./module.fre-nctools</div></div><div><br></div><div>to just source the module.fre-nctools file.  Also, we changed the contents of the file ${BASE_DIR}/fv3gfs.v0beta/release/v0/modulefiles/fv3gfs/fre-nctools.theia to:</div><div><br></div><div><div>   module load impi/<a href="http://5.1.2.150" target="_blank">5.1.2.150</a></div><div>   module load netcdf/4.3.0</div><div>   module load hdf5/1.8.14</div><div>   export HDF5_DIR=$HDF5</div><div>   export NETCDF_DIR=$NETCDF</div><div>   export LIBRARY_PATH=${LIBRARY_PATH}:$<wbr>{NETCDF}/lib:${HDF5}/lib</div></div><div><br></div><div>(Btw, should LIBRARY_PATH be changed to LD_LIBRARY_PATH in the last line?)  With this, the remapping worked without any error messages.  When I compared the output with the baseline run, all the files were the same EXCEPT the three 1deg files from the remapping.  I don&#39;t know why those were differnt.  They weren&#39;t exactly the same but had almost the same sizes.  </div><div><br></div><div>It would be nice to be able to use the syntax</div><div><br></div><div><div>module load module.fre-nctools</div></div><div><br></div><div>in our environment as well.  When I do a &quot;module help&quot;, I don&#39;t see this syntax as an option (where you&#39;re specifying a file name that contains several commands).  Is there a way to get this to work on theia?</div><div><br></div><div>Thanks,</div><div>Gerard</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 11, 2017 at 7:00 AM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Gerard,<br><br></div>With the fix last night, do you still have problem load the module module.fre-nctools?<br><br></div>Thanks for pointing out the forecast time specified in  runjob_theia.sh, I changed it to be consistent with the baseline. <br><br>Another fix on the forecast executable is Jim Abeles are also committed to the tag. <br><br>I am planning to commit all the changes made to the temporary beta tag to trunk later today for Sam to add jet extension, please send me any fix/suggestion. Thanks to all who are doing testing.<span class="HOEnZb"><font color="#888888"><br><br><br></font></span></div><span class="HOEnZb"><font color="#888888">Jun <br></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 11, 2017 at 5:03 AM, Gerard Ketefian - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:gerard.ketefian@noaa.gov" target="_blank">gerard.ketefian@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi all,</div><div><br></div><div>With Ligia&#39;s hints and Jun&#39;s last fix, I was able to complete the run but not the remap.  I think the remap fails because some modules don&#39;t get loaded properly.</div><div><br></div><div>To get the remap to also work, I replaced the following line in runjob_theia.sh</div><div><br></div><div>module load module.fre-nctools</div><div><br></div><div>with the following block (copied and modified from the file module.fre-nctools):</div><div><br></div><div>module load impi/<a href="http://5.1.2.150" target="_blank">5.1.2.150</a></div><div>module load netcdf/4.3.0</div><div>module load hdf5/1.8.14</div><div>export HDF5_DIR=$HDF5</div><div>export NETCDF_DIR=$NETCDF</div><div>export LIBRARY_PATH=${LIBRARY_PATH}:$<wbr>{NETCDF}/lib:${HDF5}/lib</div><div><br></div><div>This change should allow the 1deg remapped netcdf files to be generated.</div><div><br></div><div>When I do the comparison of the sample run&#39;s netcdf files with baseline, there is a about factor of 5 difference (the sample run files being larger).  This is because there are only 8 output times in the baseline files but 40 in the run output.  </div><div><br></div><div>Gerard</div><div><br></div></div><div class="gmail_extra"><div><div class="m_1280893176914492032h5"><br><div class="gmail_quote">On Wed, May 10, 2017 at 9:56 PM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Ligia,<br><br></div>Thanks for the feedback.  The suggestion on instruction is put in readme.txt. It is found that &quot;cp &quot; is missing  in line 124 in runjob_theia.sh. I committed the changes to the beta test tag: <a href="https://svnemc.ncep.noaa.gov/projects/nems/apps/NEMSfv3gfs/tags/fv3gfs.v0beta" target="_blank">https://svnemc.ncep.noaa.gov/p<wbr>rojects/nems/apps/NEMSfv3gfs/t<wbr>ags/fv3gfs.v0beta</a><br><br></div><div>Please check again. The results differences will need further investigation. Thanks.<span class="m_1280893176914492032m_-1935791140753720693HOEnZb"><font color="#888888"><br><br></font></span></div><span class="m_1280893176914492032m_-1935791140753720693HOEnZb"><font color="#888888"><div>Jun<br></div></font></span></div><div class="m_1280893176914492032m_-1935791140753720693HOEnZb"><div class="m_1280893176914492032m_-1935791140753720693h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 10, 2017 at 10:28 PM, Ligia Bernardet - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:ligia.bernardet@noaa.gov" target="_blank">ligia.bernardet@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"></blockquote>Folks,<div><br></div><div>Here is some feedback<br><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><br></blockquote><div><b>About the instructions</b></div><div><ol><li>Minor typo. The word &quot;trunk&quot; should be removed: Four
executable files will be created under fv3gfs.v0beta/<b>trunk</b>/NEMS/exe  </li><li>runjob_theia.sh: Non-NCEPDEV people need to change directories DATA and ROTDIR to an area they can write to</li><li>diff_baseline.sh: </li><ol><li>It would be helpful to tell users to add arguments to diff_baseline.sh to set resolution and machine.</li><li>Non-NCEPDEV people need to change directory dir1 to location of their output</li></ol></ol></div><div><div><b>Outcome</b></div><div>It seems I was able to get through the forecast but failed in remap. Problem seems related to loading modules, I did not fully investigate yet. Output is in /scratch4/BMC/gmtb/Ligia.Berna<wbr>rdet/fv3gfs.v0beta/release/v0/<wbr>exp</div><div><br></div><div>When running diff, NetCDF files differ from the baseline. I noticed the file sizes are different (mine are larger than the baseline).</div><div><br></div><div>Ligia<br><div><br>/scratch4/BMC/gmtb/Ligia.Berna<wbr>rdet/fv3gfs.v0beta/release/v0/<wbr>exp/../modulefiles/fv3gfs/fre-<wbr>nctools.theia module.fre-nctools<br><br>/var/spool/torque/mom_priv/job<wbr>s/<a href="http://23566207.bqs3.SC" target="_blank">23566207.bqs3.SC</a>: line 126: /scratch4/BMC/gmtb/Ligia.Berna<wbr>rdet/fv3gfs.v0beta/release/v0/<wbr>exp/../modulefiles/fv3gfs/fre-<wbr>nctools.theia: <b>Permission denied</b><br><br>+ module load module.fre-nctools<br><br>++ /apps/lmod/lmod/libexec/lmod bash load module.fre-nctools<br><br>Lmod has detected the following error: The following module(s) are unknown:<br><br>&quot;module.fre-nctools&quot;</div></div></div></div></div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907HOEnZb"><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 10, 2017 at 5:47 PM, James Rosinski - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:james.rosinski@noaa.gov" target="_blank">james.rosinski@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div>Hi Jun;<br><br></div>I am about to head home for the day, but here are my comments so far, after following the instructions for theia:<br><br></div>o The builds of models and remap codes completed successfully. One suggestion might be to have the user specify 32 or 64-bit, and nh vs. hydro in order to cut down compilation time by a factor of 4.<br><br></div>o The batch job attempting to run the model failed. Relevant lines in err_theia are:<br><br><b><span style="color:rgb(255,0,0)"><font size="1"><span style="font-family:monospace,monospace">+ cd /scratch4/NCEPDEV/stmp3/James.<wbr>Rosinski/C96fv3gfs2016092900<br>+ /bin/cp -p /scratch3/BMC/gsd-hpcs/rosinsk<wbr>i/fv3gfs.v0beta/release/v0/exp<wbr>/../../../NEMS/exe/fv3_gfs_nh.<wbr>prod.32bit.x /scratch4/NCEPDEV/stmp3/James.<wbr>Rosinski/C96fv3gfs2016092900/.<br>+ -prepend-rank -np 288 ./fv3_gfs_nh.prod.32bit.x<br>+ ERR=127<br>+ export ERR<br>+ err=127<br><br></span></font></span></b><br></div>Looks like somehow &quot;mpirun&quot; was not found (note there is nothing in front of &quot;-prepend-rank&quot;). FYI I use csh for my login shell--not sure if this is behind the error. I had no modules loaded when submitting the job.<br><br></div>If  you&#39;d like to examine the output you should have read access to it here on theia:<br><br>/scratch3/BMC/gsd-hpcs/rosinsk<wbr>i/fv3gfs.v0beta/release/v0/exp<br><br></div>More info tomorrow...<br><br></div>Regards,<br></div>Jim Rosinski<br><br></div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002HOEnZb"><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 10, 2017 at 2:55 PM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Dear all,<br><br></div>I was noticed that some directory names in the readme.txt are not correct. I just updated the tag version, please let me know if you have any further questions. Thanks.<span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491HOEnZb"><font color="#888888"><br><br></font></span></div><span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491HOEnZb"><font color="#888888">Jun<br></font></span></div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491HOEnZb"><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 10, 2017 at 4:39 PM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Rusty,<br><br></div>Thanks for quick feedback. Today we just had a VLAB meeting on how to provide information for the public release. Vijay mentioned that EMC will be setting up an FV3GFS community web page through VLAB, some basic document will be provided there. A formal instruction on how to get release code, and to compile and run experiment will be on that web page too. For questions/feedback,  a forum will be set up for users to post questions and to provide answers &amp;feedback, the purpose is that all the developers will see the questions/answers, it is suggested not to send questions/feedback to any individual&#39;s personal email (If people receive questions from users, we suggest that they post the questions along with their answers to the forum). The readme.txt is a temporary solution to get the testing started, it may be changed in the final release.<br><br></div><div>Kate Howard (<a href="mailto:kate.howard@noaa.gov" target="_blank">kate.howard@noaa.gov</a>) is working on the VLAB fv3gfs web page, she can add the gfdl fv3gfs support email on the web page too, if you have any fv3 document for general developers, please send to her.<br><br></div><div>Thanks.<span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465HOEnZb"><font color="#888888"><br><br><br></font></span></div><span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465HOEnZb"><font color="#888888"><div>Jun<br></div></font></span></div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465HOEnZb"><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465h5"><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 10, 2017 at 4:02 PM, Rusty Benson - NOAA Federal <span dir="ltr">&lt;<a href="mailto:rusty.benson@noaa.gov" target="_blank">rusty.benson@noaa.gov</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Jun and Vijay,<div><br><div>In the readme.txt Q&amp;A, you mention where to get help.  Has there been any thought to putting together a single email for tracking all questions/requests that can be used as a basis for creating a knowledgebase via a wiki or other forum?  By segmenting FV3 and physics support, I think we are missing an opportunity for personnel to get exposure to and learn about system pieces for which they may not necessarily be responsible.</div><div><br></div><div>If we do go the route of a single support email, we have an existing email for FV3 support which could be used as an alias member.  Otherwise, we would want to publish the email inside of the readme.txt and not have individual team members being contacted directly </div><div><br></div></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div><div>&lt;<a href="mailto:oar.gfdl.fvgfs_support@noaa.gov" target="_blank">oar.gfdl.fvgfs_support@noaa.g<wbr>ov</a>&gt;</div></div></blockquote><div><br></div></div><div class="gmail_extra"><br clear="all"><div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465m_7405657962799580296m_457616710214370312gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="font-size:12.8px">Rusty</div><div style="font-size:12.8px">--</div><div style="font-size:12.8px">Rusty Benson, PhD</div><div style="font-size:12.8px">Modeling Systems Group</div><div style="font-size:12.8px">NOAA Geophysical Fluid Dynamics Lab</div><div style="font-size:12.8px">Princeton, NJ</div></div></div></div></div></div></div></div>
<br><div class="gmail_quote"><div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465m_7405657962799580296h5">On Wed, May 10, 2017 at 2:08 PM, Jun Wang - NOAA Affiliate <span dir="ltr">&lt;<a href="mailto:jun.wang@noaa.gov" target="_blank">jun.wang@noaa.gov</a>&gt;</span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465m_7405657962799580296h5"><div dir="ltr"><div><div>Dear all,<br><br></div>The following email is for people who are willing to do beta testing for the fv3gfs May 15 release. Please ignore the email if you are not going to run the test. <br><br></div><div>The svn tag for beta testing is located at:<br><br> <a href="https://svnemc.ncep.noaa.gov/projects/nems/apps/NEMSfv3gfs/tags/fv3gfs.v0beta" target="_blank">https://svnemc.ncep.noaa.gov/<wbr>projects/nems/apps/NEMSfv3gfs/<wbr>tags/fv3gfs.v0beta</a><br><br></div><div>The instruction file on how to get and compile the code and to run an experiment is at:<br><br><a href="https://svnemc.ncep.noaa.gov/projects/nems/apps/NEMSfv3gfs/tags/fv3gfs.v0beta/release/v0/readme.txt" target="_blank">https://svnemc.ncep.noaa.gov/p<wbr>rojects/nems/apps/NEMSfv3gfs/t<wbr>ags/fv3gfs.v0beta/release/v0/r<wbr>eadme.txt</a><br><br></div><div>Please follow the instructions to see if you can run an experiment. <br></div><div><br> Thanks.<span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465m_7405657962799580296m_457616710214370312HOEnZb"><font color="#888888"><br><br><br></font></span></div><span class="m_1280893176914492032m_-1935791140753720693m_5638817093521666907m_-5155020568491026002m_6919815184453177491m_5846348460586593465m_7405657962799580296m_457616710214370312HOEnZb"><font color="#888888"><div>Jun<br></div><div><br><br></div></font></span></div>
<br></div></div>______________________________<wbr>_________________<br>
Ncep.list.fv3-announce mailing list<br>
<a href="mailto:Ncep.list.fv3-announce@lstsrv.ncep.noaa.gov" target="_blank">Ncep.list.fv3-announce@lstsrv.<wbr>ncep.noaa.gov</a><br>
<a href="https://www.lstsrv.ncep.noaa.gov/mailman/listinfo/ncep.list.fv3-announce" rel="noreferrer" target="_blank">https://www.lstsrv.ncep.noaa.g<wbr>ov/mailman/listinfo/ncep.list.<wbr>fv3-announce</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
Ncep.list.fv3-announce mailing list<br>
<a href="mailto:Ncep.list.fv3-announce@lstsrv.ncep.noaa.gov" target="_blank">Ncep.list.fv3-announce@lstsrv.<wbr>ncep.noaa.gov</a><br>
<a href="https://www.lstsrv.ncep.noaa.gov/mailman/listinfo/ncep.list.fv3-announce" rel="noreferrer" target="_blank">https://www.lstsrv.ncep.noaa.g<wbr>ov/mailman/listinfo/ncep.list.<wbr>fv3-announce</a><br>
<br></blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
Ncep.list.fv3-announce mailing list<br>
<a href="mailto:Ncep.list.fv3-announce@lstsrv.ncep.noaa.gov" target="_blank">Ncep.list.fv3-announce@lstsrv.<wbr>ncep.noaa.gov</a><br>
<a href="https://www.lstsrv.ncep.noaa.gov/mailman/listinfo/ncep.list.fv3-announce" rel="noreferrer" target="_blank">https://www.lstsrv.ncep.noaa.g<wbr>ov/mailman/listinfo/ncep.list.<wbr>fv3-announce</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span class="m_1280893176914492032HOEnZb"><font color="#888888">-- <br><div class="m_1280893176914492032m_-1935791140753720693gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Gerard Ketefian</div><div>Research Scientist</div><div>NOAA/OAR/ESRL/GSD/EMB, R/GSD1</div><div>325 Broadway</div><div>Boulder, CO 80305</div><div>phone: <a href="tel:(303)%20497-6209" value="+13034976209" target="_blank">303-497-6209</a></div><div><br></div></div></div>
</font></span></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Gerard Ketefian</div><div>Research Scientist</div><div>NOAA/OAR/ESRL/GSD/EMB, R/GSD1</div><div>325 Broadway</div><div>Boulder, CO 80305</div><div>phone: 303-497-6209</div><div><br></div></div></div>
</div>