# 文件多线程处理

**Repository Path**: yaoye119/wenjianduoxianchengchuli

## Basic Information

- **Project Name**: 文件多线程处理
- **Description**: 当文件很大时，全部加载进内存在处理，很可能会出现OOM。此项目用恒定大内存，多线程处理文件
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 7
- **Created**: 2023-08-11
- **Last Updated**: 2023-08-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#大文件 恒定内存、多线程处理

JAVA对于文本文件在读时是独占的，即使可以用多线程去读也涉及到一个POS（定位读）的问题，这在设计框架上会带来许多的复杂性，同时也带来代码上的不可维护性以及会经常出一些千奇百怪的错误（多线程程序由其如此）。

###解决方式
在数据提取的设计时基于以下几个指标考虑：
* 内存占用数始终必须恒定值
* 使用多线程非阻塞式算法，即不加线程锁机制
* 尽可能少的占用数据库的打开游标数和CPU效率
* 保证数据读和写的速度
![输入图片说明](https://git.oschina.net/uploads/images/2017/0616/170245_85e10421_469991.png "在这里输入图片标题")

在此，我们将利用阻塞队列+多线程来加快我们的大数据文件的处理速度即使用

Demo请查看App这个类