登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
轻量养虾,开箱即用!低 Token + 稳定算力,Gitee & 模力方舟联合出品的 PocketClaw 正式开售!点击了解详情
代码拉取完成,页面将自动刷新
开源项目
>
程序开发
>
网络开发包
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
272
Star
1.1K
Fork
419
GVP
acl-dev
/
acl
代码
Issues
32
Pull Requests
0
Wiki
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
开发画像分析
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
对acl_vstring_mmap_alloc2和mmap_buf_init的改进与增加只读映射功能
待办的
#I5CPF0
zhangjijun888
创建于
2022-06-17 10:05
主要改进根据offset调整到只分配所可操作大小的内存,增加只读文件的映射。发现一个很矛盾的问题,string创建时就加了一个'\0'结尾,一但写方式映射文件后要多为'\0'分配一个字节文件空间。如果文件是以二进制操作,这个'\0'就没意义了,[],copy方法调用后都是多了个'\0',还会写到文件,最后只能用memcpy,memset。 ``` static void mmap_buf_init(ACL_VSTRING *vp, size_t offset,int enablewrite) { #ifdef ACL_UNIX /* if (acl_lseek(vp->vbuf.fd, vp->vbuf.len, SEEK_SET) != vp->vbuf.len) { acl_msg_fatal("lseek failed: %s, off: %ld", acl_last_serror(), (long) vp->vbuf.len); } if (acl_file_write(vp->vbuf.fd, "\0", 1, 0, NULL, NULL) == ACL_VSTREAM_EOF) { acl_msg_fatal("write error: %s", acl_last_serror()); } */ #endif #ifdef ACL_UNIX int swrite = enablewrite ? PROT_WRITE : 0; vp->vbuf.data = (unsigned char*) mmap(NULL, vp->maxlen, PROT_READ | swrite, MAP_SHARED, vp->vbuf.fd, offset); if ((void *) vp->vbuf.data == MAP_FAILED) { acl_msg_fatal("mmap error: %s", acl_last_serror()); } #elif defined(_WIN32) || defined(_WIN64) vp->vbuf.hmap = CreateFileMapping(vp->vbuf.fd, NULL, PAGE_READWRITE, 0, (DWORD) vp->maxlen, NULL); if (vp->vbuf.hmap == NULL) { acl_msg_fatal("CreateFileMapping: %s", acl_last_serror()); } int swrite = enablewrite ? FILE_MAP_WRITE : 0; DWORD dwFileOffsetHigh = offset / (unsigned int) -1; DWORD dwFileOffsetLow = offset % (unsigned int) -1; vp->vbuf.data = (unsigned char *) MapViewOfFile(vp->vbuf.hmap, FILE_MAP_READ | swrite, dwFileOffsetHigh, dwFileOffsetLow, 0); if (vp->vbuf.data == NULL) { acl_msg_fatal("MapViewOfFile error: %s", acl_last_serror()); } #else acl_msg_fatal("%s: not supported yet!", __FUNCTION__); #endif } ``` ``` ACL_VSTRING *acl_vstring_mmap_alloc2(ACL_FILE_HANDLE fd, size_t max_len, size_t init_len, size_t offset, int enablewrite) { const char *myname = "acl_vstring_mmap_alloc"; ACL_VSTRING *vp; if (init_len < 1) { acl_msg_panic("%s: bad length %ld", myname, (long) init_len); } if (offset > 0) { acl_pthread_once(&__once_control, get_pagesize); int n = offset % __page_size == 0 ? 0 : 1; offset = (n + offset / __page_size) * __page_size; } if (max_len < init_len) { max_len = init_len; } if (max_len < offset) { max_len = offset; } vp = (ACL_VSTRING *) acl_mymalloc(sizeof(*vp)); vp->vbuf.fd = fd; vp->slice = NULL; vp->dbuf = NULL; vp->vbuf.flags = 0; vp->vbuf.len = init_len - offset + 1;//-offset:减少分配操作不到的0到offset内存,+1:方便在未位写'\0' vp->vbuf.get_ready = vstring_buf_get_ready; vp->vbuf.put_ready = vstring_buf_put_ready; vp->vbuf.space = vstring_buf_space; /* vp->vbuf.ctx = NULL; */ vp->maxlen = max_len - offset + 1; mmap_buf_init(vp, offset, enablewrite); ACL_VSTRING_RESET(vp); //vp->vbuf.data[0] = 0; //在映射文件后这里写入一个'\0'到文件,破坏了文件内容 return vp; } ```
主要改进根据offset调整到只分配所可操作大小的内存,增加只读文件的映射。发现一个很矛盾的问题,string创建时就加了一个'\0'结尾,一但写方式映射文件后要多为'\0'分配一个字节文件空间。如果文件是以二进制操作,这个'\0'就没意义了,[],copy方法调用后都是多了个'\0',还会写到文件,最后只能用memcpy,memset。 ``` static void mmap_buf_init(ACL_VSTRING *vp, size_t offset,int enablewrite) { #ifdef ACL_UNIX /* if (acl_lseek(vp->vbuf.fd, vp->vbuf.len, SEEK_SET) != vp->vbuf.len) { acl_msg_fatal("lseek failed: %s, off: %ld", acl_last_serror(), (long) vp->vbuf.len); } if (acl_file_write(vp->vbuf.fd, "\0", 1, 0, NULL, NULL) == ACL_VSTREAM_EOF) { acl_msg_fatal("write error: %s", acl_last_serror()); } */ #endif #ifdef ACL_UNIX int swrite = enablewrite ? PROT_WRITE : 0; vp->vbuf.data = (unsigned char*) mmap(NULL, vp->maxlen, PROT_READ | swrite, MAP_SHARED, vp->vbuf.fd, offset); if ((void *) vp->vbuf.data == MAP_FAILED) { acl_msg_fatal("mmap error: %s", acl_last_serror()); } #elif defined(_WIN32) || defined(_WIN64) vp->vbuf.hmap = CreateFileMapping(vp->vbuf.fd, NULL, PAGE_READWRITE, 0, (DWORD) vp->maxlen, NULL); if (vp->vbuf.hmap == NULL) { acl_msg_fatal("CreateFileMapping: %s", acl_last_serror()); } int swrite = enablewrite ? FILE_MAP_WRITE : 0; DWORD dwFileOffsetHigh = offset / (unsigned int) -1; DWORD dwFileOffsetLow = offset % (unsigned int) -1; vp->vbuf.data = (unsigned char *) MapViewOfFile(vp->vbuf.hmap, FILE_MAP_READ | swrite, dwFileOffsetHigh, dwFileOffsetLow, 0); if (vp->vbuf.data == NULL) { acl_msg_fatal("MapViewOfFile error: %s", acl_last_serror()); } #else acl_msg_fatal("%s: not supported yet!", __FUNCTION__); #endif } ``` ``` ACL_VSTRING *acl_vstring_mmap_alloc2(ACL_FILE_HANDLE fd, size_t max_len, size_t init_len, size_t offset, int enablewrite) { const char *myname = "acl_vstring_mmap_alloc"; ACL_VSTRING *vp; if (init_len < 1) { acl_msg_panic("%s: bad length %ld", myname, (long) init_len); } if (offset > 0) { acl_pthread_once(&__once_control, get_pagesize); int n = offset % __page_size == 0 ? 0 : 1; offset = (n + offset / __page_size) * __page_size; } if (max_len < init_len) { max_len = init_len; } if (max_len < offset) { max_len = offset; } vp = (ACL_VSTRING *) acl_mymalloc(sizeof(*vp)); vp->vbuf.fd = fd; vp->slice = NULL; vp->dbuf = NULL; vp->vbuf.flags = 0; vp->vbuf.len = init_len - offset + 1;//-offset:减少分配操作不到的0到offset内存,+1:方便在未位写'\0' vp->vbuf.get_ready = vstring_buf_get_ready; vp->vbuf.put_ready = vstring_buf_put_ready; vp->vbuf.space = vstring_buf_space; /* vp->vbuf.ctx = NULL; */ vp->maxlen = max_len - offset + 1; mmap_buf_init(vp, offset, enablewrite); ACL_VSTRING_RESET(vp); //vp->vbuf.data[0] = 0; //在映射文件后这里写入一个'\0'到文件,破坏了文件内容 return vp; } ```
评论 (
1
)
登录
后才可以发表评论
状态
待办的
待办的
进行中
已完成
已关闭
负责人
未设置
标签
未设置
标签管理
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (
-
)
标签 (
-
)
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
参与者(1)
C++
1
https://gitee.com/acl-dev/acl.git
git@gitee.com:acl-dev/acl.git
acl-dev
acl
acl
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册