同步操作将从 陌溪/LearningNotes 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
etcd:目前比较火的开源库,docker和k8s都是使用的它
目标:使用etcd优化日志收集项目
etcd是使用Go语言开发的一个开源的、高可用的分布式key-value存储系统,可以用于配置共享和服务的注册和发现,类似项目有Zookeeper和consul
etcd具有以下特点
服务发现要解决的也是分布式系统中最常见的问题之一,即在同一个分布式集群中的进程或服务,要如何才能找到对方并建立连接。本质上来说,服务发现就是想要了解集群中是否有进程在监听udp或tcp端口,并且通过名字就可以查找和连接。
将一些配置信息放到etcd上进行集中管理。这类场景的使用方式通常是这样的:应用启动的时候,主动从etcd获取一次配置信息,同时,在etcd节点上注册一个Watcher并等待,以后每次配置有更新的时候,etcd都会实时通知订阅者,以此达到获取最新配置信息的目的。
因为etcd使用Raft算法保持了数据的强一致性,某次操作存储到集群中的值必然是全局一致性的,所以很容易实现分布式锁。锁服务有两种使用方式,一种是保持独占,二是控制时序。
上图就是三个同时来竞争锁,最后只有一个获取到了锁
etcd 实现的这些功能,ZooKeeper都能实现。那么为什么要用etcd 而非直接使用ZooKeeper呢?相较之下,ZooKeeper有如下缺点:
而etcd作为一个后起之秀,其优点也很明显
简单:使用Go语言编写部署简单;使用HTTP作为接口使用简单;使用Raft 算法保证强一致性让用户易于理解。
数据持久化:etcd 默认数据一更新就进行持久化。
安全:etcd 支持SSL客户端安全认证。
最后,etcd作为一个年轻的项目,真正告诉迭代和开发中,这既是一个优点,也是一个缺点。优点是它的未来具有无限的可能性,缺点是无法得到大项目长时间使用的检验。然而,目前CoreOS、Kubernetes 和CloudFoundry等知名项目均在生产环境中使用了etcd,所以总的来说,etcd值得你去尝试。
从etcd的架构图中我们可以看到,etcd主要分为四个部分
etcd作为一个高可用键值存储系统,天生就是为集群化而设计的,由于Raft算法在做决策时需要多数节点投票,所以etcd一般部署集群推荐奇数个节点,推荐的数量为3、5或者7个节点构成一个集群。
在每个etcd节点指定集群成员,为了区分不同的集群最好同时配置一个独一无二的token。
下面是提前定义好的集群信息,其中n1、n2和n3表示3个不同的etcd节点。
在n1这台机器上执行以下命令来启动etcd:
在n2这台机器上执行以下命令启动etcd:
在n3这台机器上执行以下命令启动etcd:
etcd官网提供了一个公网访问的etcd存储地址,你可以通过如下命令得到etcd服务的目录,并把它作为-discovery参数使用
找到对应的 Github官网,到相应的releases,找到windows平台的压缩包进行下载
解压完成后的目录
双击etcd.exe就是启动了etcd。其它平台解压之后在bin目录下找etcd可执行文件。
默认会在2379端口监听客户端通信,在2380端口监听节点间的通信。
etcdctl.ext可以理解为一个客户端或者本机etcd的控制端
默认的etcdctrl使用的是v2版本的命令,我们需要设置环境变量ETCDCTL_API=3来使用v3版本的API,而默认的也就是环境变量为ETCDCTL_API=2是使用v2版本的API
修改环境变量指定使用API的版本
SET_ETCDCTL_API=3
.\etcdctl.exe --endpoints=http://127.0.0.1:2379 put baodelu "dsb"
显示设置成功~
.\etcdctl.exe --endpoints=http://127.0.0.1:2379 get baodelu
.\etcdctl.exe --endpoints=http://127.0.0.1:2379 del baodelu
这里使用官方的 etcd/clientv3包来连接etcd并进行相关操作
go get go.etcd.io/etcd/clientv3
put命令用来设置键值对数据,get命令用来根据key获取值
package main
import (
"context"
"fmt"
"go.etcd.io/etcd/clientv3"
"time"
)
func main() {
cli, err := clientv3.New(clientv3.Config {
Endpoints: []string{"127.0.0.1:2379"}, // etcd的节点,可以传入多个
DialTimeout: 5*time.Second, // 连接超时时间
})
if err != nil {
fmt.Printf("connect to etcd failed, err: %v \n", err)
return
}
fmt.Println("connect to etcd success")
// 延迟关闭
defer cli.Close()
// put操作 设置1秒超时
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
_, err = cli.Put(ctx, "moxi", "lalala")
cancel()
if err != nil {
fmt.Printf("put to etcd failed, err:%v \n", err)
return
}
// get操作,设置1秒超时
ctx, cancel = context.WithTimeout(context.Background(), time.Second)
resp, err := cli.Get(ctx, "q1mi")
cancel()
if err != nil {
fmt.Printf("get from etcd failed, err:%v \n", err)
return
}
fmt.Println(resp)
}
在我们运行代码的时候,突然出错了,undefined: resolver.BuildOption
经过排查,是因为 google.golang.org/grpc 1.26后的版本不支持clientv3的
所以我们只能将其改成1.26版本的就可以了,具体操作需要在go.mod上加上以下代码
replace google.golang.org/grpc => google.golang.org/grpc v1.26.0
使用watch可以做服务的热更新
import (
"context"
"fmt"
"go.etcd.io/etcd/clientv3"
"time"
)
// etcd 的watch操作
func main() {
cli, err := clientv3.New(clientv3.Config {
Endpoints: []string{"127.0.0.1:2379"}, // etcd的节点,可以传入多个
DialTimeout: 5*time.Second, // 连接超时时间
})
if err != nil {
fmt.Printf("connect to etcd failed, err: %v \n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// watch
// 派一个哨兵,一直监视着 moxi 这个key的变化(新增,修改,删除),返回一个只读的chan
ch := cli.Watch(context.Background(), "moxi")
// 从通道中尝试获取值(监视的信息)
for wresp := range ch{
for _, evt := range wresp.Events{
fmt.Printf("Type:%v key:%v value:%v \n", evt.Type, evt.Kv.Key, evt.Kv.Value)
}
}
}
然后我们往etcd中插入数据的时候
我们的代码就会监听到数据的变化
见代码部分 18_LogAgent
etcd底层如何实现watch给客户端发通知(websocket)
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。