48 Star 499 Fork 229

GVP袋鼠云 / chunjun

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
carbondatareader.md 3.33 KB
一键复制 编辑 原始数据 按行查看 历史
tudou 提交于 2021-02-05 18:05 . 1、新增Oracle LogMiner实时采集插件

Carbondata Reader

一、插件名称

名称:carbondatareader

二、支持的数据源版本

Carbondata 1.5及以上

三、参数说明

  • path
    • 描述:carbondata表的存储路径
    • 必选:是
    • 字段类型:String
    • 默认值:无

  • table
    • 描述:carbondata表名
    • 必选:否
    • 字段类型:String
    • 默认值:无

  • database
    • 描述:carbondata库名
    • 必选:否
    • 字段类型:String
    • 默认值:无

  • filter
    • 描述:简单过滤器,目前只支持单条件的简单过滤,形式为 col op value,col为列名;op为关系运算符,包括=,>,>=,<,<=; value为字面值,如1234, "ssss"
    • 必选:否
    • 字段类型:String
    • 默认值:无

  • column
    • 描述:所配置的表中需要同步的字段集合。
      字段包括表字段和常量字段,

表字段的格式:

{
	"name": "col1",
	"type": "string"
}
- name:字段名称
- type:字段类型,可以和数据库里的字段类型不一样,程序会做一次类型转换
- value:如果数据库里不存在指定的字段,则会把value的值作为常量列返回,如果指定的字段存在,当指定字段的值为null时,会以此value值作为默认值返回
  • 必选:是
  • 字段类型:List
  • 默认值:无

  • hadoopConfig
    • 描述:集群HA模式时需要填写的namespace配置及其它配置
    • 必选:是
    • 字段类型:Map
    • 默认值:无

  • defaultFS
    • 描述:Hadoop hdfs文件系统namenode节点地址。
    • 必选:是
    • 字段类型:String
    • 默认值:无

四、使用示例

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "carbondatareader",
          "parameter": {
            "path": "hdfs://ns1/user/hive/warehouse/carbon.store1/sb/tb2000",
            "hadoopConfig": {
              "dfs.ha.namenodes.ns1": "nn1,nn2",
              "dfs.namenode.rpc-address.ns1.nn2": "rdos2:9000",
              "dfs.client.failover.proxy.provider.ns1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
              "dfs.namenode.rpc-address.ns1.nn1": "rdos1:9000",
              "dfs.nameservices": "ns1"
            },
            "defaultFS": "hdfs://ns1",
            "table": "tb2000",
            "database": "sb",
            "filter": " b = 100",
            "column": [
              {
                "name": "a",
                "type": "string"
              },
              {
                "name": "b",
                "type": "int"
              }
            ]
          }
        },
        "writer": {
          "parameter": {
            "print": true
          },
          "name": "streamwriter"
        }
      }
    ],
    "setting": {
      "restore": {
        "maxRowNumForCheckpoint": 0,
        "isRestore": false,
        "restoreColumnName": "",
        "restoreColumnIndex": 0
      },
      "errorLimit": {
        "record": 100
      },
      "speed": {
        "bytes": 0,
        "channel": 1
      },
      "log": {
        "isLogger": false,
        "level": "debug",
        "path": "",
        "pattern": ""
      }
    }
  }
}

Java
1
https://gitee.com/dtstack_dev_0/chunjun.git
git@gitee.com:dtstack_dev_0/chunjun.git
dtstack_dev_0
chunjun
chunjun
1.10_release

搜索帮助