admin管理员组文章数量:1611946
因为看的总是绕人,就自己用自己的话写了一份说明,有不对的地方还希望指出
yarn.scheduler.capacity.root.queues 新建队列名yarn.scheduler.capacity.resource-calculator 资源调度器,默认为:org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator
资源分配配置项:
yarn.scheduler.capacity.<queue-path>.capacity=int 该队列占用总资源的百分比(队列的实际值是可以根据任务状况弹性的由其他队列上获取空闲资源)
yarn.scheduler.capacity.<queue-path>.maximum-capacity=float 该队列的最大容量,若设为-1则禁用该设置,默认为-1(实际为int,可能是官方文档错误)
yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent=int 该队列分配给其用户最少的资源百分比,若设为100,则不做任何用户限制
yarn.scheduler.capacity.<queue-path>.user-limit-factor=float 单个用户最多可以获取的队列容量
运行和应用限制配置项:
yarn.scheduler.capacity.maximum-applications=int 所有队列中的最大任务数(超出的会被强制拒绝)
yarn.scheduler.capacity.<queue-path>.maximum-applications=int 该队列中的最大任务数(可以不设置)
yarn.scheduler.capacity.maximum-am-resource-percent=float 整个集群用于运行任务的资源比例,默认为0.1
yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent 设置该队列运行任务占用整个集群的资源比例(可以不设置)
队列管理配置项:
yarn.scheduler.capacity.<queue-path>.state=
RUNNING
or
STOPPED root若为STOPPED,整合集群不工作(被停止的队列仍然会继续完成它的任务)
yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications=user_name 可以提交给改队列任务的用户名,*为所有用户,不指定同其父队列
其他优化设置:
yarn.scheduler.capacity.node-locality-delay=int 为错过队列的任务建立局部处理容器,一般设为集群节点数,默认值为40
本文标签: ResourceManageryarnschedulerCapacity
版权声明:本文标题:yarn 调度器 resourcemanager 的 Capacity Scheduler 部分配置说明 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1728621457a1166411.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论