# local-llm-gpt4all

**Repository Path**: bzsometest/local-llm-gpt4all

## Basic Information

- **Project Name**: local-llm-gpt4all
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-12
- **Last Updated**: 2025-12-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# local-llvm

- 使用python本地部署lvm，并提供OpenAI API接口，支持仅CPU运行

- 主要用途：应用程序自带离线版AI大模型。简化大模型安装和部署

## 运行项目

```shell
poerty install
uvicorn main:app --host 0.0.0.0 --port 8000 --log-level info
```

## 其它技术

llama-cpp-python 、 llama-openai-api 、ollama、gpt4all

## 注意

代码默认不支持流式输出，chatbox会没有返回，需要关闭chatbox的流式输出

C:/Users/chao/PycharmProjects/gpt4all-t1

## AI问询词

```text
使用python3.11代码本地部署大模型，支持纯CPU。
启动后提供OpenAI API，支持通获取模型列表等接口。
使用已有的工具，不要自己写接口，不要执行命令。
使用的模型是Qwen3-0.6B.Q4_K_M.gguf
使用gpt4all，给出pyproject.toml配置，poetry管理依赖
```