注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

zevan的博客

悟以往之不谏,知来者之可追

 
 
 

日志

 
 
关于我

Debian GNU/Linux user Vegetarian Seventh-Day Adventist

在Torque中设置一个队列,并设置队列使用的CPU数目  

2013-03-04 19:56:06|  分类: Linux |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
  
     实验室有一个ADF软件。我们购买的软件许可证只允许同时运行64个CPU。如果运行的ADF数目超过64个CPU,尽管计算的状态是running,但实际上会是"wait for floating license",最终计算会失败。
    为了解决这个问题,我们建立了一个专门的队列adf_queue来处理这个问题。
cat <<eor >adf_queue.conf

create queue adf_queue
set queue adf_queue queue_type = Execution
set queue adf_queue Priority = 2000
set queue adf_queue max_queuable = 48
set queue adf_queue max_user_queuable = 16
set queue adf_queue max_running = 16
set queue adf_queue max_user_run = 8
set queue adf_queue resources_max.ncpus = 16
set queue adf_queue resources_min.walltime = 01:00:00
set queue adf_queue resources_max.walltime = 720:00:00
set queue adf_queue resources_default.nodes = 1
set queue adf_queue resources_default.walltime = 24:00:00
set queue adf_queue resources_available.ncpus = 64
set queue adf_queue resources_max.nodes = 2
set queue adf_queue enabled = True
set queue adf_queue started = True

eor

qmgr <adf_queue.conf
    在这里,使用resources_available.ncpus设置了队列可以使用的最大CPU数目。
    但是,这个参数的设置依赖于调度器的选择。当使用Torque自带的FIFO调度器时,这个参数才可以生效。而使用Maui作为调度器时,这个参数就不起作用了。
    要限制队列的CPU数目,需要在Maui的配置文件中进行设置:
    修改maui.cfg文件,在最后加上这样一行:
CLASSCFG[adf_queue]   MAXPROC=64
   重新启动pbs_server以及maui,配置即可生效。

   如果发现计算节点有计算资源,但还有任务在排队,可以使用下面的命令来运行任务:
qselect -s Q | cut -f 1 -d .  | xargs -i releasehold {}

参考文献:
https://groups.google.com/forum/?fromgroups=#!topic/rocks-clusters/DHNNUv_oL38
http://www.slidefinder.net/q/queue_server_limits/32844746
http://docs.adaptivecomputing.com/maui/index.php
http://docs.adaptivecomputing.com/maui/6.2throttlingpolicies.php
  评论这张
 
阅读(1200)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018