# Spider

**Repository Path**: EdenPP/Spider

## Basic Information

- **Project Name**: Spider
- **Description**: 信链数据采集，基于go-micro框架业务
- **Primary Language**: Go
- **License**: Not specified
- **Default Branch**: dev1.0
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 1
- **Created**: 2018-10-31
- **Last Updated**: 2021-07-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Spider micro server

## `Consul` 服务发现机制

```$xslt
$ brew install consul
$ consul agent -dev      # -dev表示开发模式运行，另外还有-server表示服务模式运行
```

或者 

```$xslt
$ docker run consul
```

## 插件与包

```$xslt
go get github.com/micro/go-micro
go get github.com/micro/protobuf/{proto,protoc-gen-go}

go get github.com/micro/micro
```

## micro 客户端

```$xslt
$ micro list services
```

## 服务

### 1). 初始化 `coin_market` 和 `exchange_market` 表
> 这两个表用于初始化 `CoinMarketCap` 上的币种和交易所元数据，用于将 `CoinMarketCap` 上 `id-币种` 和 `id-交易所` 进行映射，用于以后查找数据。
> 
> 这时，可以基于这个两个表的币种和交易所的 ID 映射关系，在本地选择要展示和查询的币种和交易所数据

```$xslt
$ cmc --action init-coin
$ cmc --action init-exchange [*]
```

TIP: 一次性命令

### 2).  交易所交易对信息及交易对24h交易量获取

```$xslt
$ cmc --action exchange-pairs [*]
```

此命令既可以获取交易所的交易对，也能获取各交易对24h交易量，提供交易币和目标币的统计，也能获取`USD`,`CNY`,`BTC`相关统计

请求频率：5min/次

### 3). 获取所有交易所24h总成交量

```$xslt
$ cmc --action all-exchanges [*]
```

### 4). 获取交易所各币种信息及24小时变化百分比

```$xslt
$ cmc --action all-coins
```

## 交易对获取和更新
> 定时获取交易所交易对数据信息，同步到数据库和缓存
```
$ symbol
```

## 通用服务
> 一些基础信息获取和计算的服务
```apple js
$ common 
```


## 深度获取

```$xslt
$ depth --slug bit-z
```

## Ticker 数据获取

```$xslt
$ ticker --slug bit-z
```


## 分析服
> 包含分析币种和交易所，分析币种和交易对K线

### a). 分析交易所和币种ticker
```apple js
$ analysis --type ticker
```

### b). 分析交易对K线

```apple js
$ analysis --type=kline --target=pair --slug=<bit-z>
```

### c). 分析币种K线
> 币种K线依赖交易对K线
```apple js
$ analysis --type=kline --target=coin
```

## web服务

### a). go-micro web 服务器发现机制

```apple js
$ micro web
```

### a). http 服务

```apple js
$ web/app
```

### c). websocket 服务

```apple js
$ web/ws
```