# research_online_learning

**Repository Path**: pi-lab/research_online_learning

## Basic Information

- **Project Name**: research_online_learning
- **Description**: 在线学习与增量式学习的研究资料
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 4
- **Forks**: 2
- **Created**: 2019-11-18
- **Last Updated**: 2025-09-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 在线学习

目前大部分的机器学习方法通过实现训练好一个模型，然后在使用过程用这个网络做正向推理，并不能在运行过程改进网络模型，因此无法应对新的数据、或者新的情况。但是人类的认知过程中，学习和推理是一个有机的整体，人能够根据新的场景及时做出调整，从而很快适应新的变化。此外，大部分的物体识别、差异检测算法，都需要事先标定好数据，在某些应用场景是无法或者很难实现的。因此非常有必要研究如何将模型训练和推理整合到一起，能够接收监督信号从而及时调整网络模型。目前主要的研究思路有：1） 在线优化算法，即根据线上的反馈数据，实时对网络进行调整； 2） 增量式学习，能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识。


## 方向1： 在线优化算法
### 1. 研究目标
Online Learning并不是一种模型，而是一种模型的训练方法，Online Learning能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。

### 2. 主要思路
1、先通读一下主要的参考文献，建立对所研究问题的基本认识，了解基本的方法等。

2、尝试了解FTRL及实现。

3、尝试了解kaggle中关于ctr比赛。例如：https://www.kaggle.com/c/avazu-ctr-prediction/data

4、了解最新的基于强化学习的推荐算法。

### 3. 参考代码
https://github.com/comadan/FM_FTRL

### 4. 参考文献
相关资料可参考[references](reference/task1)目录

4.1 FTRL算法
* Ad Click Prediction: a View from the Trenches

4.2 在线元学习
* Online Meta-Learning.(ICML2019)

4.3 RL相关的在线学习
* Predictor-Corrector Policy Optimization.(ICML2019)
* Generative Adversarial User Model for Reinforcement Learning Based Recommendation System


## 方向2： 增量式学习
### 1. 研究目标
一个学习系统能不断地从新样本中学习新的知识,并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中,每天学习和接收新的事物,学习是逐步进行的,而且,对已经学习到的知识,人类一般是不会遗忘的。

### 2. 主要思路

1. 先通读一下主要的参考文献，建立对所研究问题的基本认识，了解基本的方法等。

2. 了解解决灾难遗忘的策略和方法。

3. 将增量学习与[元学习](meta-learning.md)、[主动学习](active-learning.md)或是计算机视觉相关任务进行结合。


### 3. 参考代码
https://github.com/xialeiliu/Awesome-Incremental-Learning

### 4. 参考文献 
相关资料可参考[references](reference/task2)目录

4.1 近三年，增量式学习顶会论文（incremental/continual/lifelong learning）
* https://github.com/xialeiliu/Awesome-Incremental-Learning


4.2 与计算机视觉结合

* RILOD: Near Real-Time Incremental Learning for Object Detection at the Edge
* Incremental Learning Techniques for Semantic Segmentation 
* Incremental Learning in Person Re-Identification
* Incremental learning for the detection and classification of GAN-generated images


4.3 与元学习结合
* Incremental Few-Shot Learning with Attention Attractor Networks
* Incremental Few-Shot Learning for Pedestrian Attribute Recognition