# llamaindex_demo

**Repository Path**: wfg_admin/llamaindex_demo

## Basic Information

- **Project Name**: llamaindex_demo
- **Description**: llamaindex_rag实现本地知识库功能
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-04-09
- **Last Updated**: 2025-04-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# llamaindex-demo

#### 介绍
使用llamaindex加外挂rag库进行本地知识库搭建和部署

#### 软件架构
## 如果本地不支持 CUDA，因为 CUDA 是 NVIDIA 的 GPU 计算平台。因此，你无法使用 CUDA 版本的 PyTorch（如 torch==2.1.2+cu118）来加速计算。
    requrements.txt 中的版本，不要按照下面安装，去掉
    torch==2.1.2+cu118
    torchaudio==2.1.2+cu118
    torchvision==0.16.2+cu118 
    
    这个也是NVIDIA的gpu加速器编码依赖包， 本地不支持先去掉，后面再找替代方案
    triton==2.1.0

#### 安装教程

1.  00 文件夹中是基于本地部署大模型编写代码， 本地没部署的情况下就不看了

```shell
poetery install
```

```shell
streamlit run app.py
```


#### 使用说明

##### 1.  在 macOS 系统 上，使用 Intel UHD Graphics 630 显卡的情况下，无法直接安装和使用 Triton。以下是原因和替代方案：
1. Triton 的硬件要求
Triton 是一个针对 NVIDIA GPU 的高性能编程语言和编译器。
它依赖于 CUDA（NVIDIA 的并行计算平台），而 CUDA 只能在 NVIDIA 显卡上运行。
Intel UHD Graphics 630 是 Intel 的集成显卡，不支持 CUDA，因此无法运行 Triton。
2. macOS 的限制
即使你有 NVIDIA 显卡，macOS 从 10.14 (Mojave) 开始不再支持 NVIDIA 的官方驱动，因此无法在 macOS 上使用 CUDA。
如果你使用的是较新的 macOS 系统（如 Big Sur 或 Monterey），几乎不可能在 macOS 上运行 Triton。

3. 替代方案
虽然无法在 macOS 上直接使用 Triton，但你可以通过以下方式间接使用 Triton 或实现类似的功能：

方案 1：使用 CPU 版本的 Triton
Triton 目前主要针对 GPU 优化，但你可以尝试使用其 CPU 后端（如果支持）。
安装 Triton 的 CPU 版本：

```
pip install triton
```

然后编写代码时，显式指定使用 CPU：

```python
import triton
import triton.language as tl

@triton.jit
def kernel():
    # 你的代码
    pass

kernel[1]()  # 在 CPU 上运行
```

注意：CPU 版本的性能可能远不如 GPU 版本。

方案 2：使用其他 GPU 编程工具
如果你需要在 macOS 上编写高效的 GPU 代码，可以考虑以下工具：
Metal Performance Shaders (MPS)：
macOS 自带的 GPU 编程框架，支持 Intel 和 AMD 显卡。
你可以使用 PyTorch 的 MPS 后端来加速计算：

```python
import torch
device = torch.device('mps')  # 使用 macOS 的 GPU
x = torch.randn(100, 100, device=device)
```

OpenCL：

一种跨平台的 GPU 编程框架，支持 Intel、AMD 和 NVIDIA 显卡。
你可以使用 PyTorch 的 OpenCL 后端（需要额外配置）。
方案 3：使用远程服务器
如果你需要运行 Triton 代码，可以租用一台带有 NVIDIA GPU 的远程服务器（如 AWS、Google Cloud 或 Azure）。
在远程服务器上安装 Triton 并运行代码，然后将结果传回本地。

方案 4：使用 Docker 或虚拟机
如果你有 NVIDIA 显卡的 Windows 或 Linux 机器，可以在 macOS 上通过 Docker 或虚拟机运行 Triton。

例如，使用 Docker 运行 Triton：

```python
docker run --gpus all -it nvidia/cuda:11.8-base
pip install triton
```
4. 总结
在 macOS 上使用 Intel UHD Graphics 630 显卡的情况下，无法直接安装和运行 Triton，因为 Triton 依赖于 CUDA，而 CUDA 只能在 NVIDIA 显卡上运行。
你可以尝试以下替代方案：
使用 Triton 的 CPU 版本（性能有限）。
使用 macOS 自带的 Metal Performance Shaders (MPS) 或 OpenCL。
租用带有 NVIDIA GPU 的远程服务器。
使用 Docker 或虚拟机在 macOS 上运行 Triton。