记录关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题,
本入门教程,涵盖Kafka核心内容,通过实例和大量图表,帮助学习者理解,任何问题欢迎留言。 目录: kafka简介kafka安装和使用kafka核心概念kafka核心组件和流程--控制器kafka核心组件和流程--协调器kafka核心组件和流程--日志管理器kafka核心组件和流程--副本管理器kafka编程实战本章是学习kafka的核心章节,涵盖内容比较多,在理解上有一定的难度,需要反复阅读理解,才能参透Kafka的设计思想。 1、Kafka集群结构 在第一章我给出过一个消息系统通用的结构图,也就是下图: 实际上kafka的结构图是有些区别的,现在我们看下面的图: producer和consumer想必大家都很熟悉,一个生产消息,一个消费掉消息。这里就不再做太多解释。 此图和第一张图可以看到有几个区别: 1、多了zookeeper集群,通过前几章的学习我们已经知道kafka是配合zookeeper进行工作的。 2、kafka集群中可以看到有若干个Broker,其中一个broker是leader,其他的broker是follower 3、consumer外面包裹了一层Consumer group。 我们先讲解一下Broker和consumer group的概念,以及Topic。 Broker 一个Borker就是Kafka集群中的一个实例,或者说是一个服务单元。连接到同一个zookeeper的多...
一、Docker的网络模式介绍docker默认提供3种网络模式:bridge桥接模式、host主机模式、none无网络模式可以通过命令 docker network ls 查看1.1、bridge桥接模式 桥接模式是docker默认的网络模式。当docker服务启动后,会创建一个名字叫docker0的虚拟网桥,然后选一个与宿主机不一样的网络ip地址以及子网分配给docker0另外每创建一个容器就会新增一个容器网卡,然后以桥接方式架到docker0网桥中,docker0会以NAT地址转换的方式通过宿主机的网卡,从而与公网进行通信。如下图所示:下面进行测试演示:1、启动docker服务后,通过命令 ip addr 发现docker0网卡ip为172.17.0.12、启动一个docker容器 docker run -itd centos:7 /bin/bash ,再进行一次 ip addr 发现新增一个网卡veth506a249@if63、执行命令 yum install -y bridge-utils 安装工具,使用命令 brctl show 查看一下桥接情况可以看到容器的网卡桥接到docker0上 1.2、host主机模式主机模式是指docker容器与公网通信时使用的是宿主机的ip与端口,同时容器自己不会有ip地址,所以在这模式下容器与宿主机之间并没有隔离很分明。...
 
0
docker安装后,默认会创建三种网络类型,bridge、host和none,可通过如下命令查看sudo docker network ls1bridge:网络桥接默认情况下启动、创建容器都是用该模式,所以每次docker容器重启时会按照顺序获取对应ip地址,这就导致容器每次重启,ip都发生变化none:无指定网络启动容器时,可以通过–network=none,docker容器不会分配局域网iphost:主机网络docker容器的网络会附属在主机上,两者是互通的。创建固定ip容器1、创建自定义网络类型,并且指定网段sudo docker network create --subnet=192.168.0.0/16 staticnet1通过docker network ls可以查看到网络类型中多了一个staticnet2、使用新的网络类型创建并启动容器sudo docker run -it --name userserver --net staticnet --ip 192.168.0.2 ubuntu /bin/bash1通过docker inspect可以查看容器ip为192.168.0.2,关闭容器并重启,发现容器ip并未发生改变
Oracle 创建视图与 使用函数转换时间戳方法。CREATE OR REPLACE FORCE VIEW VIEW_SIM(   SIM,   BILL_NUM,   EQUIP_TYPE,   POSITION_TYPE,   SIGN_STATE,   GOLD_STATE,   OPERATE_ID,   STARTTIME,   UPDATETIME)AS   SELECT t.sim,          t.bill_num,          t.equip_type,          t.position_type,          t.sign_state,          t.gold_state,          t.operate_id,          fun_utc2date (UTCDATE   => t.starttime,                        PATTERN   => 'YYYY-MM-DD HH24:MI:SS')             AS starttime,          fun_utc2date (UTCDATE   => t.updatetime,      &n...
目录一、简介Kafka 简介Zookeeper 简介Kafka Manager 简介二、部署过程三、Kubernetes 部署 Zookeeper & Kafka & Kafka Manager1、创建 StorageClass2、Kubernetes 部署 Zookeeper3、Kubernetes 部署 Kafka4、Kubernetes 部署 Kafka Manager四、进入 Kafka Manager 管理 Kafka 集群五、附录:镜像参数配置Zookeeper 镜像可配置变量参数Kafka 镜像可配置变量参数 正文系统环境:Kubernetes 版本:1.14.0kafka 版本:2.3.0zookeeper 版本:3.4.14kafka manager 版本:1.3.3示例部署文件 Github 地址:https://github.com/my-dlq/blog-example/tree/master/kubernetes/kafka-zookeeper-deploy回到顶部一、简介Kafka 简介       Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,由 Scala 和 Java 编写。它是一个分布式、支持分区的的、多副本,基于 zookeeper 协调的分布式消息系统。它最大特性是可以实时的处理大量数据以满足各种需求场景,比如基于 Hadoop 的批处理系统、低延时的实时系统、storm/Spark 流式处理引擎,web/nginx 日志,访问日志,消息服务等等。Zookeeper 简介      &...
一、kafka-manager 简介       为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:管理多个集群轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配(基于生成的分配)使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)删除主题(仅支持0.8.2+并记住在代理配​​置中设置delete.topic.enable = true)主题列表现在指示标记为删除的主题(仅支持0.8.2+)批量生成多个主题的分区分配,并可选择要使用的代理批量运行重新分配多个主题的分区将分区添加到现有主题更新现有主题的配置kafka-manager 项目地址:https://github.com/yahoo/kafka-manager 二、kafka-manager 安装1、环境要求1.安装jdk8 2.kafka集群 服务器: ...
 
0

k8s部署traefik

发表者:admin分类:云计算容器2020-09-11 16:58:16 阅读[51]
k8s部署traefik基础知识 同nginx相比,traefik能够自动感知后端容器变化,从而实现自动服务发现。  traefik部署在k8s上分为daemonset和deployment两种方式各有优缺点:    daemonset 能确定有哪些node在运行traefik,所以可以确定的知道后端ip,但是不能方便的伸缩    deployment 可以更方便的伸缩,但是不能确定有哪些node在运行traefik所以不能确定的知道后端ip    一般部署两种不同类型的traefik:      面向内部(internal)服务的traefik,建议可以使用deployment的方式      面向外部(external)服务的traefik,建议可以使用daemonset的方式  建议使用traffic-type标签     traffic-type: external    traffic-type: internal  traefik相应地使用labelSelector    traffic-type=internal    traffic-type=external1. 下载源码git clone https://github.com/containous/traefik.git官方网址:  https://docs.traefik.io/获取配置文件wget https://raw.githubusercontent.com/containous/traefik/v1.7/examples/k8s/tra...
 
0

k8s部署Traefik

发表者:admin分类:云计算容器2020-09-11 16:29:58 阅读[41]
Ingress:ingress是从kubernetes集群外访问集群的入口,将用户的URL请求转发到不同的service上。Ingress相当于nginx、apache等负载均衡方向代理服务器,其中还包括规则定义,即URL的路由信息,路由信息得的刷新由Ingress controller来提供。Ingress Controller 实质上可以理解为是个监视器,Ingress Controller 通过不断地跟 kubernetes API 打交道,实时的感知后端 service、pod 等变化,比如新增和减少 pod,service 增加与减少等;当得到这些变化信息后,Ingress Controller 再结合下文的 Ingress 生成配置,然后更新反向代理负载均衡器,并刷新其配置,达到服务发现的作用。TraefikTraefik是一款开源的反向代理与负载均衡工具。它最大的优点是能够与常见的微服务系统直接整合,可以实现自动化动态配置。部署Traefik①创建ingress-rbac.yaml.将用于service account验证。apiVersion: v1 kind: ServiceAccount metadata: name: ingress namespace: default --- kind: ClusterRoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: ingress subjects: - kind: ServiceAccount name: ingress namespace: default...
    总共273页,当前第1页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11