# bd_analysis_visual

**Repository Path**: youngyixi/bd_analysis_visual

## Basic Information

- **Project Name**: bd_analysis_visual
- **Description**: 京东小米13手机评论数据分析与可视化
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-07-04
- **Last Updated**: 2023-07-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 个人项目

## 京东小米13手机评论数据分析与可视化

### 项目描述
通过爬虫获取京东小米13手机的评论数据，并利用Spark进行数据分析，使用Python的pyspark库进行数据可视化，并通过Flask和Echarts完成数据大屏展示。

#### 数据爬取与清洗
- 开发了基于Python的爬虫程序，使用京东网站的API或网页爬取京东小米13手机的评论数据。
- 抓取的数据包括评论内容、用户评分、评论时间等关键信息。
- 对爬取的数据进行清洗，去除重复数据和缺失值，确保数据的准确性和完整性。

#### 数据存储与处理
- 将清洗后的评论数据存储到本地csv文件。
- 使用Spark进行大规模数据处理和分析，利用其分布式计算能力处理海量数据。
- 对数据进行进一步的清洗和预处理，处理异常值和缺失数据。

#### 数据分析与挖掘
- 运用Spark提供的强大功能，对评论数据进行统计。
- 分析用户对小米13手机的评价、偏好和情感倾向，挖掘关键词和热门话题。
- 提取关键指标，如用户满意度、评论趋势等，。

#### 数据可视化与展示
- 使用pyspark库进行数据可视化，生成各种图表、图形和可交互的数据展示。
- 使用Echarts库实现数据的可视化呈现，包括词云图、柱状图、折线图等，以便直观地展示数据分析的结果和趋势。
- 搭建基于Flask框架的数据大屏展示平台，将数据可视化结果嵌入到Web页面中，实现动态展示和交互功能。

### 技术栈
- Python：用于编写爬虫程序、数据处理和可视化分析。
- Spark：用于大规模数据处理和分析。
- pyspark：用于数据处理和可视化，与Spark集成。
- Echarts：用于数据可视化，生成各种图表和图形。
- Flask：用于搭建数据大屏展示平台，实现Web页面展示和交互功能。