# DPIR

**Repository Path**: ChehgAnXu/DPIR

## Basic Information

- **Project Name**: DPIR
- **Description**: DPIR是数据交换语言的中间代表，一个程序只要支持了DPIR就等于支持了XML、JSON、YAML等所有数据交换语言。
DPIR还可以作为不同数据交换语言之间相互转换的中介，只要实现了一种数据交换语言和DPIR之间的相互转换，就等于实现了该数据交换语言和所有其它数据交换语言之间的相互转换。
- **Primary Language**: Unknown
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-03-28
- **Last Updated**: 2022-03-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

**此处只是简介，详细文档请稳步Wiki**


# DPIR：用于数据交换语言的中间代表

所谓数据交换语言就是像 **JSON、XML、YAML** 这样的用于在程序与程序之间、程序与用户之间进行数据交换的语言；传统的数据交换方式普遍都采用这些数据交换语言来实现。

但是传统的数据交换方式有两大弊端：
1. 使用不同数据交换语言的程序之间无法交换数据。
2. 为了方便人工编辑，数据交换语言都是可读性很强的文本形式，这种形式不够底层，程序解析起来很麻烦。

为了解决这些弊端，我从 **LLVM** 中得到灵感——为什么不设计一种用于数据交换语言的中间代表(Intermediate Representation)？
我将这种 **IR** 命名为 **DPIR**(Data Propagating Intermediate Representation)。
**DPIR** 要足够底层，使程序可以很方便地对它进行读写，同时所有数据交换语言都要能够在它们自己和 **DPIR** 之间自由转换。

这样一来，所有程序只要能够支持 **DPIR**，就相当于支持了所有的数据交换语言，而且还省去了解析数据交换语言的麻烦。

当然，还要开发出一套工具用来在各种数据交换语言和 **DPIR** 之间进行相互转换。




# DPIR的初步设计

为了照顾种类繁多的字符编码，**DPIR** 的字符串要用单独的字符串文件保存，非字符串内容则用数据文件保存。

### 字符串文件

字符串文件的命名格式为`name.dpir-str-code`。
其中`name`是源文件名，比如从`config.json`文件转换来的字符串文件`name`就是`config`；`code`是字符串编码格式名，比如采用 **UTF-8** 编码格式保存的字符串文件名就是`config.dpir-str-utf8`。
一个 **DPIR** 中可以有多个采用不同编码格式的字符串文件。

字符串文件中的每个字符串都以`\0`结尾，通过由1开始的索引访问，0索引用于代表空字符串。

### 数据文件

数据文件的命名格式为`name.dpir-data`。

**以类GO语法描述的数据文件格式：**

```go
// 全文件结构，所有字段对齐到block。
type full_file struct{
  fileHead    file_head      // 文件头，记录了一些全局元信息。
  root        array_table/map_tabl/list_table/struct_table/string/integer/float/complex
  // root是整个数据结构的根，可以是数组table, map table, list table, struct table或字符串、整数、浮点数、复数。
  // 后续是root的子孙table们(如果有的话)；每个table都对齐到整block。
}
//--------------------------------------------------









//*******************************************************************
type file_head struct{
  blockSizeLog        uint8    // 用于指定block的size，(以byte为单位)：blockSize=1 << blockSizeLog
  fileHeadSize        uint8    // file_head的Size(以block为单位)
  majorVersion        uint8    // 主版本号
  minorVersion        uint8    // 副版本号
  generalEncodeFlag   byte    // UTF和ASCII在多种字符集中都兼容，所以要单独用一个byte来表示，以便可以和其它字符集自由组合。
  charSetFlag         byte    // 支持的字符集
  encodeFormatFlag    byte    // 支持的字符编码格式，需要和charSetFlag配合使用。
  rootTypeFlag        byte    // 用于指定root的type
  sonKeyTypeFlag      byte    // (当rootTypeFlag为TYPE_MAP时)指定对应的map_table的所有entry的keyType
  sonValueTypeFlag    byte    // (当rootTypeFlag为TYPE_ARRAY或TYPE_MAP时)指定对应的array_table或map_table的所有entry的valueType
  // file_head全文件只有一个，占不了多少空间，所以file_head中的sonKeyTypeFlag和sonValueTypeFlag即使用不到也会保留。
  reserveFileHead     [n]byte  // 保留空间，用于将file_head补齐到整block。
}
// generalEncodeFlag:
const(
  ASCII      =  1<<iota
  UTF8
  UTF16LE
  UTF16BE
  UTF32LE
  UTF32BE
)


// charSetFlag: 代表了各种字符集，不可按位组合(互斥)。
const(
  CHINESE      = 1+iota        // 中文字符集。
  JAPANESE                    //  日文字符集。
  // ....等等等等
)


// encodeFormatFlag: 代表了一种字符集中的各种编码格式，可按位组合，需要与charSetFlag配合使用。
const(
  FLAG1    =  1<<iota  
  FLAG2
  FLAG3
  FLAG4
  FLAG5
  FLAG6
  FLAG7
  FLAG8
)
// 比如当charSetFlag为CHINESE时，FLAG1代表GBK，FLAG2代表GB2312，FLAG3代表GB18030......
// 当charSetFlag为JAPANESE时，FLAG1代表Shift_JIS，FLAG2代表EUC-JP，FLAG3代表ISO-2022-JP......





// typeFlag: 用于rootTypeFlag，keyTypeFlag，valueTypeFlag，sonKeyTypeFlag，sonValueTypeFlag。
// 不可按位组合。
const(
  TYPE_ARRAY      =  iota      // 数组类型
  TYPE_MAP                    // MAP类型
  TYPE_LIST                    // LIST类型
  TYPE_STRUCT                  // 结构体类型
  TYPE_STRING                  // 字符串类型
  TYPE_INT8
  TYPE_INT16
  TYPE_INT32
  TYPE_INT64
  TYPE_INT128
  TYPE_INT256
  TYPE_UINT8
  TYPE_UINT16
  TYPE_UINT32
  TYPE_UINT64
  TYPE_UINT128
  TYPE_UINT256
  TYPE_FLOAT16
  TYPE_FLOAT32
  TYPE_FLOAT64
  TYPE_FLOAT128
  TYPE_FLOAT256
  TYPE_FLOAT512
  TYPE_COMPLEX32
  TYPE_COMPLEX64
  TYPE_COMPLEX128
  TYPE_COMPLEX256
  TYPE_COMPLEX512
  TYPE_COMPLEX1024
)
//----------------------------------------------------------------------










//*******************************************************************
// 数组table：
type array_table  struct{
  entryNum            uint16   // 当前table中entry数
  tableSize           uint8    // 当前table的size，以block为单位。
  sonKeyTypeFlag      byte     // 只有当前table的entry们都为map_table时(由当前table的父entry的sonValueType指定)才有本字段，用于指定子map_table的所有entry们的keyType。
  sonValueTypeFlag    byte     // 只有当前table的entry们都为array_table或map_table时(由当前table的父entry的sonValueType指定)才有本字段，用于指定子array_table或map_table中entry们的valueType。
  entrys              [entryNum]array_entry    // 当前table的entry们。
  reserveTable        [n]byte  // 保留空间，用于对齐到block。
}


// 数组entry:
type  array_entry    struct{
  value  [valueSize]byte    // 同一个array_table中的所有array_entry的类型都是相同的，且在父entry中就指定了，所以value的类型和size也是固定的。
  // value的具体含意由父entry的sonValueTypeFlag指定：
  // 如为TYPE_ARRAY, TYPE_MAP, TYPE_LIST或TYPE_STRUCT，则value是个uint16值，指定了对应的array_table, map_table, list_table或struct_table的偏移地址，相对于当前entry所在table的结尾(已对齐到block)，以block为单位。
  // 如为TYPE_STRING，则value是个uint16字符串索引。
  // 如为其它类型，则value即为该类型值(int64, complex128等)，size由值的类型决定。
}
//---------------------------------------------------------------------------------------









//*******************************************************************************************
// map table:
type  map_table  struct{
  entryNum           uint16            // 当前table中entry数
  tableSize          uint8             // 当前table的size，以block为单位。
  sonKeyTypeFlag     byte              // 只有当前table的entry们都为map_table时(由当前table的父entry的sonValueTypeFlag指定)才有本段，用于指定子map_table的所有entry们的keyType
  sonValueTypeFlag   byte              // 只有当前table的entry们都为array_table或map_table时(由当前table的父entry的sonValueTypeFlag指定)才有本字段，用于指定子array_table或map_table的所有entry们的valueType。
  entrys             [entryNum]map_entry      // 当前table的entry们
  reserveTable       [n]byte            // 保留空间，用于对齐到block。
}


// map entry
type  map_entry  struct{
  // 同一map_table中所有entry的key和value的类型和size都是相同的，且已经在父entry中指定。
  key      [keySize]byte          // map_entry的key，类型和size由父entry的sonKeyTypeFlag指定。
  value    [valueSize]byte        // map_entry的value，具体含意由父entry的sonValueTypeFlag指定：
  // 如为TYPE_ARRAY, TYPE_MAP, TYPE_LIST或TYPE_STRUCT，则value是个uint16值，指定了对应的array_table, map_table, list_table或struct_table的偏移地址，相对于当前entry所在table的结尾(已对齐到block)，以block为单位。
  // 如为TYPE_STRING，则value是个uint16字符串索引。
  // 如为其它类型，则value即为该类型值(int64, complex128等)，size由值的类型决定。
}
//-------------------------------------------------------------------------------------









//*************************************************************************************
// list table:
type list_table  struct{
  entryNum      uint16      // 当前table中entry数。
  tableSize     uint8       // 当前table的size，以block为单位。
  entrys        [entryNum]list_entry
  exValues      [n]byte    // 标准entry表示不了的额外值。
  reserveTable  [n]byte    // 保留空间，用于对齐到block。
}


// list entry:
type  list_entry    struct{
  // list_entry的size固定为5byte
  valueTypeFlag     byte      // 指定当前entry的valueType
  sonKeyTypeFlag    byte      // 只有在valueTypeFlag为TYPE_MAP时才有本字段，指定子map_table的所有entry的keyType。
  sonValueTypeFlag  byte      // 只有在valueTypeFlag为TYPE_MAP或TYPE_ARRAY时才有本字段，指定子table的所有entry的valueType。
  value             [n]byte    // 当前entry的"值"。
  reserveEntry      [n]byte    // 保留空间，用于将entry对齐到5byte。
  // value的具体含意由valueTypeFlag指定：
  // 当为TYPE_ARRAY, TYPE_MAP, TYPE_LIST或TYPE_STRUCT时，value为uint16类型的当前entry对应子table的偏移地址，相对于当前table结尾，以block为单位。
  // 当为TYPE_STRING时，value为uint16类型的字符串索引。
  // 当为size小于32bit的类型时(int8-32/uint8-32等)，value即为当前entry的值。
  // 当为size大于32bit的类型时(float64/complex128等)，value为uint32类型的真正值的偏移地址，相对于exValue的开头，以byte为单位。
}
//---------------------------------------------------------------------------------------









//*******************************************************************************************
// 结构体table:
type  struct_table  struct{
  entryNum      byte     // 当前table中entry数。
  tableSize     uint8    // 当前table的size，以block为单位。
  entrys        [entryNum]struct_entry
  exValues      [n]byte  // 标准entry表示不了的额外值。
  reserveTable  [n]byte  // 保留空间，用于对齐到block。
}


// 结构体entry：
type  struct_entry  struct{
  // struct_entry的size固定为7byte。
  valueTypeFlag     byte      // 指定当前entry的valueType。
  key               uint16    // key的字符串索引。
  sonKeyTypeFlag    byte      // 只有在valueTypeFlag为TYPE_MAP时才有本字段，指定子map_table的所有entry的keyType。
  sonValueTypeFlag  byte      // 只有在valueTypeFlag为TYPE_MAP或TYPE_ARRAY时才有本字段，指定子table的所有entry的valueType。
  value             [n]byte    // 当前entry的"值"。
  reserveEntry      [n]byte    // 保留空间，用于将entry对齐到7byte。
  // value的具体含意由valueTypeFlag指定：
  // 当为TYPE_ARRAY, TYPE_MAP, TYPE_LIST或TYPE_STRUCT时，value为uint16类型的当前entry对应子table的偏移地址，相对于当前table结尾，以block为单位。
  // 当为TYPE_STRING时，value为uint16类型的字符串索引。
  // 当为size小于32bit的类型时(int8-32/uint8-32等)，value即为当前entry的值。
  // 当为size大于32bit的类型时(float64/complex128等)，value为uint32类型的真正值的偏移地址，相对于exValue的开头，以byte为单位。
}
```