# week9

**Repository Path**: yaotengdong/week9

## Basic Information

- **Project Name**: week9
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-05-22
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# week9

## 基础作业：

### 1. 为什么Bagging能改进模型性能？（10分）

因为偏差越小，方差越小，模型性能越好；
Bagging是一种降低算法方差的方式，平均多个模型的预测，使得模型的性能越来越好。

### 2. 随机森林中随机体现在哪些方面？（10分）

Bagging是先做Bootstrap， 即对原始数据进行N次有放回的的随机采样，抽取的样本数目与原始样本数目一样
随机选择一部分特征
随机选择一部分样本
总结：随机森林即是对决策树做Bagging后再随机选择抽取特征和样本

### 3. 随机森林和GBDT的基学习器都是决策树。请问这两种模型中的决策树有什么不同。（10分）
 
随机森林:Bagging与决策树的融合得到，决策树的层数不会很深，一般是3~10之间
GBDT：Boosting与决策树的融合得到，降低模型的方差，偏差没变化，希望每一棵树的精度比较高，比较复杂的树，即偏差比较小，树的层数比较深，即叶子节点比较多

### 4. 请简述LightGBM的训练速度问什么比XGBoost快。（30分） 

LightGBM比XGBoost大概快一倍，可能直方图做差导致速度有极大提高，还与数据的稀疏程度有关


### 代码因为太大，是push上来的，好像有点问题，老师直接看结果就行

### LightGBM_gbdt 的得分是0.44268 大概在568名

### LightGBM_goss 的得分是 0.44963  大概在703名，这个排名没有我，只能看到分数推测