记录关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题,
Dckr (Docker+ Compose+Kubernets+Rancher) Dckr (Docker+ Compose+Kubernets+Rancher)基于Docker的容器配置及编排的向导式构建工具    Dckr 是一款基于Docker的容器配置及编排的向导式构建工具。(支持Docker、Compose、Kubernets、Rancher的资源文件向导式构建) 通过它,你可以轻松完成以下操作: 借助语义化UI向导式构建Dockerfile、docker-compose.yaml、Kubernetes资源文件、Rancher Chart。 支持docker-compose.yaml向Kubernetes资源文件的转换。 支持docker-compose.yaml或Kubernetest(Helm Chart)向Rancher Chart的转换。 它的存在意义: 通过语义化UI向导式的指引你去构建相关容器配置、编排文件,降低了你的学习成本。 通过转换功能,能轻松地将不同容器产品的配置文件进行相互转换,极大地提高了你的工作效率。 通过它进行构建的YAML文件是符合规范的,让你摆脱编写YAML文件因缩进等格式问题带来的痛苦。 ...
VManagePlatform是什么?一个KVM虚拟化管理平台开源协议:GNU General Public License v2开源声明:欢迎大家star或者fork我的开源项目,如果大家在自己的项目里面需要引用该项目代码,请在项目里面申明协议和版权信息。开发语言与框架:编程语言:Python2.7 + HTML + JScripts前端Web框架:Bootstrap后端Web框架:Django后端Task框架:Celery + RedisVManagePlatform有哪些功能?Kvm虚拟机生产周期管理功能资源利用率(如:CPU、MEM、磁盘、网络)实例控制(如:生存周期管理、快照技术,Web Console等等)设备资源控制(如:在线调整内存、CPU资源、热添加、删除硬盘)存储池管理增减卷,支持主流类型存储类型资源利用率网络管理支持SDN,底层网络使用OpenVSwitch/Linux Bridge,IP地址分配,网卡流量限制等等。用户管理支持用户权限,用户组,用户虚拟机资源分配等等宿主机资源利用率,实例控制环境要求:编程语言:Python2.7系统:CentOS 7网络规划:管理网络接口=1,虚拟化数据网络>=1,如果只有一个网卡使用OpenVswitch时需要手动配置网络以免丢失网络SDN需求:OpenVswitch Or Linux BirdgeTIPS:控制服务器:执行1-10步骤节点服务器:执行2/3/4步骤,在控制服务器上执...
CentOS7局域网下安装离线Ambari   1.1 Ambari         Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.6.0。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等), 而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。         Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。         Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server...
 
0

Centos7安装CDP/CDH7.1.1

发表者:admin分类:大数据2021-07-14 15:36:52 阅读[3451]
Centos7安装CDP/CDH7.1.1安装CDP/CDH7.1.1.pdf
 
0
基于Ambari搭建大数据平台基于Ambari搭建大数据平台.pdf
 
0
CDP/CDH 7.1.4 大数据平台搭建 Centos7安装CDP/CDH 7.1.4具体看附件内容 CDP/CDH 7.1.4 大数据平台搭建-新手指南.pdf
Hadoop3.x  作业提交全过程-尚硅谷资料 作业提交全过程详解   (1) 作业提交   第 1 步:Client 调用 job.waitForCompletion 方法,向整个集群提交 MapReduce 作业。 第 2 步:Client 向 RM 申请一个作业 id。 第 3 步:RM 给 Client 返回该 job 资源的提交路径和作业 id。  第 4 步:Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。 第 5 步:Client 提交完资源后,向 RM 申请运行 MrAppMaster。 (2) 作业初始化   第 6 步:当 RM 收到 Client 的请求后,将该 job 添加到容量调度器中。 第 7 步:某一个空闲的 NM 领取到该 Job。  第 8 步:该 NM 创建 Container,并产生 MRAppmaster。 第 9 步:下载Client 提交的资源到本地。 (3) 任务分配   第 10 步:MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。  第 11 步:RM 将运行 MapTask 任务分配给另外两个NodeManager,另两个 NodeManager 分别领取任务并创建容器。   (4) ...
Hadoop3.x DataNode工作机制-尚硅谷资料 DN 向 NN 汇报当前解读信息的时间间隔,默认 6 小时; <property>     <name>dfs.blockreport.intervalMsec</name>     <value>21600000</value>     <description>Determines block reporting interval in  milliseconds.</description> </property> DN 扫描自己节点块信息列表的时间,默认 6 小时 <property>     <name>dfs.datanode.directoryscan.interval</name>     <value>21600s</value>     <description>Interval in seconds for Datanode to scan data directories and reconcile the difference between blocks in memory and on  the disk.     Support multiple time unit suffix(case insensitive), as described     in dfs.heartbeat.interval. </description...
    总共294页,当前第1页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11