# Image_text_understanding_system

**Repository Path**: nonomi-3/image_text_understanding_system

## Basic Information

- **Project Name**: Image_text_understanding_system
- **Description**: 课程设计的图文理解系统，利用BLIP，CLIP和stable_diffusion预训练模型进行图像描述文本生成，文搜图，文生图的测试。
- **Primary Language**: Unknown
- **License**: Unlicense
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-30
- **Last Updated**: 2026-07-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 多模态图文理解系统（BLIP + CLIP + Stable Diffusion）

## 1. 项目背景

随着多模态大模型的发展，图像与文本之间的跨模态理解逐渐成为人工智能的重要研究方向。图像描述、文本检索以及文本生成图像等任务已经广泛应用于智能搜索、辅助创作、人机交互等领域。

本项目基于开源视觉语言模型，设计并实现了一个多模态图文理解系统。系统能够完成：

* 图像描述生成（Image Captioning）
* 文本检索图像（Text-to-Image Retrieval）
* 文本生成图像（Text-to-Image Generation）

同时利用 Web 页面实现交互式操作，构建一个完整的多模态应用系统。

---

## 2. 系统功能

### （1）BLIP 图像描述

用户上传图像后，系统利用 BLIP 模型自动生成对应的图像描述。

功能特点：

* 自动识别图像内容
* 生成自然语言描述
* 支持描述复制至文生图模块
* 支持人工修改 Prompt

---

### （2）CLIP 文本检索

用户输入文本描述，系统利用 CLIP 模型计算文本与图像特征之间的相似度，从数据集中检索最匹配的图像。

功能特点：

* 跨模态文本检索
* 相似度计算
* 检索结果展示
* 显示数据集人工标注结果

当前实验数据集(未上传，可自行在程序主文件夹添加）：

* Tiny TR-CAP

---

### （3）Stable Diffusion 文生图

用户输入文本提示词，系统调用 Stable Diffusion 模型生成对应图像。

功能特点：

* Prompt 输入
* 参数调节
* 图像生成
* 图片保存
* BLIP 描述联动

---

## 3. 系统流程

```text
输入图像
    ↓
BLIP 图像描述
    ↓
文本描述
    ↓
┌────────────┬────────────┐
↓            ↓
CLIP检索     Stable Diffusion生成
↓            ↓
相似图像     生成图像
```

---

## 4. 使用模型

### 4.1 BLIP

模型：

* Salesforce/blip-image-captioning-base

功能：

* 图像描述生成
* Image Captioning

特点：

* 支持视觉与语言联合建模
* 推理速度较快
* 适合教学实验

---

### 4.2 CLIP

模型：

* openai/clip-vit-base-patch32

功能：

* 文本编码
* 图像编码
* 跨模态检索

特点：

* 共享语义空间
* 支持零样本学习
* 检索效果稳定

---

### 4.3 Stable Diffusion

模型：

* Stable Diffusion v1.5

功能：

* 文本生成图像

特点：

* 开源文生图模型
* 支持 GPU 推理
* 可扩展 LoRA 微调

---

## 5. 项目结构

```text
Image_text_understanding_system
│
├── app.py                     Flask版本
├── app_streamlit.py           Streamlit版本
│
├── models
│   ├── blip_model.py
│   ├── clip_model.py
│   └── sd_model.py
│
├── dataset
│   └── Tiny TR-CAP
│       ├── images
│       └── tiny-trcap.json
│
├── stable_diffusion_v1_5
│
├── outputs
│
├── static
│
├── templates
│
└── utils
```

---

## 6. 运行环境

推荐环境：

* Python 3.10
* CUDA 12
* PyTorch 2.x

主要依赖：

```text
torch
transformers
diffusers
Pillow
streamlit
flask
huggingface_hub
```

安装依赖：

```bash
pip install torch torchvision
pip install transformers
pip install diffusers
pip install streamlit
pip install flask
pip install pillow
```

---

## 7. 系统运行

### Streamlit版本（推荐）

启动：

```bash
streamlit run app_streamlit.py
```

浏览器访问：

```text
http://localhost:8501
```

---

### Flask版本

启动：

```bash
python app.py
```

浏览器访问：

```text
http://127.0.0.1:5000
```

---

## 8. 实验数据集

数据集：

* Tiny TR-CAP

数据内容：

* 图像样本
* 多人工标注文本
* 图文配对信息

系统利用数据集标注结果对 CLIP 检索结果进行人工验证。

---

## 9. 系统特点

* 本地部署，无需调用在线接口
* 支持 GPU 加速推理
* 三种典型多模态任务统一集成
* 支持图像描述、图像检索与图像生成
* 支持网页交互
* 适合作为多模态课程设计与教学实验平台

---

## 10. 后续改进方向

* LoRA 轻量化微调
* Prompt Learning
* Top-K 图像检索
* 检索结果排序优化
* 多轮人机交互
* 更丰富的前端界面设计
* 多语言描述生成
* 多模型融合推理

---

## 作者

本项目用于《人工智能专业实践》课程设计实验，实现了基于开源模型的图文理解与生成系统，并完成本地部署与交互式应用开发。
于2025/6/30