# hnsw_dataprocess

**Repository Path**: ercengsha/hnsw_dataprocess

## Basic Information

- **Project Name**: hnsw_dataprocess
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-05-21
- **Last Updated**: 2025-05-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



### 数据监控和运行程序


#### 向量数据集
    测试数据及其使用说明

    78服务器 数据目录 /home/dataset  后续使用 500维的向量数据集

    先以 sift 为例
    CREATE TABLE test_vector_sift(id serial primary key, embedding vector(128));

    将向量数据导入表中
    copy test_vector_sift(embedding) from '/home/dataset/sift/test_sift_1m.csv' DELIMITER '|';

    创建索引
    CREATE INDEX ON test_vector_sift USING hnsw(embedding vector_l2_ops) WITH (m = 32, ef_construction = 128);



    PG数据库参数设置
    关键参数：并发执行的-work数量；work可用内存大小；缓冲区大小-shared_buffer

    SET maintenance_work_mem = '10GB';
    SET max_parallel_maintenance_workers = 48;



#### QPS测试工具产生
    sysbench



#### 编译参数
    依赖
      libpq-fe.h C/C++ 连接pg数据库的库 (编译时参数为-lpq)
      
    camke ..  && make -j 2



#### PG监控数据

    清空pg内置的监控数据表
    select pg_stat_statements_reset();
    select pg_stat_reset();



#### 程序功能
    其中：监控数据我们写入到其它数据库中，不影响当前测试数据库的性能

    control_write_rate.cpp
      写入向量数据

    get_pg_stat_io_write_back.cpp
      IO监控数据 写入数据库中

    get_pg_stat_read_sql_write_back.cpp

    get_pg_stat_write_back.cpp

    get_pg_statio_inde_write_back.cpp