# field_statistic

**Repository Path**: jimonik/field_statistic

## Basic Information

- **Project Name**: field_statistic
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2025-02-12
- **Last Updated**: 2026-01-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 处理数据
### 目的
- 根据不同类别获取字段的多个统计值
- 类别定义: oa
# 普通字段
#### GEO字段:   3个：
- geo_country_iso
- geo_province_name
- geo_city_name
#### 状态码字段: 5个：
- status_code_1x_count
- status_code_2x_count
- status_code_3x_count
- status_code_4x_count
- status_code_5x_count
#### 时间字段:   5个：
- per_packet_req_time:每个包的请求时间（无包则用firstPacket）
- per_packet_res_time:每个包的响应时间（无包则用lastPacket）
- session_per_packet_time_mean:每个包的时间差的均值
- session_per_packet_req_time_mean:每个包的请求时间差的均值
- session_per_packet_res_time_mean:每个包的响应时间差的均值
- session_time_diff:last-first
#### 信息熵字段(entropy_): 8个：
- per_packet_req_body
- per_packet_res_body
- per_packet_all_body
- session_req_body
- session_res_body
- session_all_body
- per_packet_uri
- dns_domain
#### 其他字段:   9个：
- req_payload_visible
- req_has_payload
- res_payload_visible
- res_has_payload
- dns_domain(若dns、能获取到域名则计算信息熵)
- req_transfer_encoding
- res_transfer_encoding
- req_content_encoding
- res_content_encoding
#### 威胁字段:   14个：
- sql_injection_exist
- cmd_injection_exist
- xxe_attack_exist
- xss_attack_exist
- sensitive_data_exist
- deserialize_exist
- log_injection
- sql_injection_count
- cmd_injection_count
- xxe_attack_count
- xss_attack_count
- sensitive_data_count
- deserialize_count
- log_injection
# 缓存字段
#### 要缓存的字段相关量
- 均值
- 标准差
- 总数
#### 处理方法
- 获取标准差、均值，总数，初始为0
- 计算增量后的标准差、均值，总数
- 保存增量后的标准差、均值，总数
- 根据增量后的标准差、均值，总数计算 **缓存字段** 的
- 
#### 缓存字段(存储总量均值、标准差和总数):
- 9个session字段和_minus_mean、_z_score 三个后缀组装共计18个
```python

value=['network_bytes', 'source_bytes', 'destination_bytes', 
       'totDataBytes', 'http_requestHeaderCnt', 'http_responseHeaderCnt', 
       'source_packets', 'destination_packets', 'network_packets',
       'session_per_packet_time_mean']
```
/home/supervisor/xyt/new_backup/normal/normal_merge.csv
/home/supervisor/xyt/new_backup/abnormal/abnormal_merge.csv