# 日志分析网站 **Repository Path**: ljdgit/log-analysis-website ## Basic Information - **Project Name**: 日志分析网站 - **Description**: 用于分析日志的网站. - **Primary Language**: Python - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-20 - **Last Updated**: 2026-11-20 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 网站日志分析 把访问日志(Apache / Nginx combined 格式)导入本地 SQLite,提供一个可查询全部 访问记录的网站。日志通过页面右上角「更新数据」导入,或由定时任务自动获取, **不依赖服务器上预先放好的原始日志文件**。 当前索引:**1,891,787 条记录**,586,261 个独立 IP,时间范围 2026-11-17 17:30 ~ 2026-11-20 17:30。 ## 启动 直接双击 `start.bat`,或在本目录执行: ```bat python server.py ``` 浏览器打开: 结束服务:在窗口按 `Ctrl+C`。 ## 常用参数 ```bat python server.py --port 9000 :: 换端口 python server.py --host 0.0.0.0 :: 允许局域网访问 python server.py --rebuild 访问.log :: 从指定日志全量重建索引再启动 python import_log.py --log 访问.log :: 只重建索引,不启动服务 ``` 日常更新日志不需要原始日志文件:在页面右上角「更新数据」按天替换即可(推荐), 或用右上角「定时任务」自动抓取。只有需要**从一份完整日志重新建库**时才用到 `--rebuild`。 ## 更新数据 点击页面右上角 **更新数据**,选择数据来源并指定要替换的日期: - **远程链接**:填写日志或压缩包的 http / https 下载地址 - **本地文件**:选择本机日志文件,支持拖拽 - **服务器路径**:填写运行服务的这台电脑上的文件或目录(目录会递归扫描) **更新日期为必填项。** 系统只读取该日期的记录,日志中其他日期的内容一律忽略; 导入后用新数据整体替换库中原有的同一天数据(不是追加)。统计卡片、趋势图、 IP / 路径排行和日志明细会立即刷新。若文件中没有该日期的记录,更新会直接失败, 并提示文件中实际包含哪些日期,数据库不会被改动。 支持纯文本日志,以及 gzip、zip、bzip2、xz、tar、tar.gz 等压缩包, 系统按文件内容自动识别格式并解压,不依赖扩展名。单文件上限 8 GB。 ## 定时更新 页面右上角 **定时任务** 可按固定间隔自动更新:到点获取**当天日期**的日志, 替换库中当天的数据,其他日期不受影响。 - **执行间隔**:每隔多少小时、多少分钟执行一次,例如每 6 小时、每 1 小时 30 分钟 (最少 1 分钟,最长 168 小时) - **计时起点**:启用时从当前时间开始计时;单次更新耗时较长时,以下次结束时间为起点 重新计时,不会刚跑完又立刻再跑 - **数据源**:远程链接(http / https)或服务器路径(运行服务的这台电脑) - **日期占位符**:链接或路径里可写 `{date}`(2026-11-19)、`{yyyymmdd}`(20261119)、 `{YYYY}`、`{MM}`、`{DD}`、`{yesterday}`,执行时按当天日期替换。 例如 `https://example.com/logs/access-{yyyymmdd}.log.gz` - **立即执行一次**:保存设置后立刻按当天日期跑一次,便于验证 - **补跑与重试**:服务停机超过一个间隔,启动后会立即补跑一次;找不到当天日志或更新 失败时每 10 分钟重试,最多 3 次,之后等下一个间隔 - **状态**:弹窗里显示上次执行时间、下次执行时间和执行结果,任务卡片右上角的 小圆点表示已启用(执行中为黄色闪烁) 配置保存在 `data/schedule.json`,重启服务后仍然有效;同一时间只会运行一个更新任务。 ## AI 风险分析 顶部导航 **AI 风险分析** 会筛选访问次数超过指定阈值的 IP,结合访问频率、 状态码、路径分布、User-Agent、请求方法和可疑请求特征,判断它是否属于 攻击、漏洞扫描、暴力破解、伪爬虫或恶意采集,并查询 IP 归属地。 - **访问次数 ≥**:只分析达到该次数的 IP,默认 100 - **最多分析**:一次最多分析 50 / 100 / 200 / 500 个高频 IP - **统计日期**:跟随顶部全局日期选择器,默认分析全部日期 - **风险等级**:分为高危、中危、低危,可按等级筛选结果 - **访问者**:判断每个 IP 背后是 **人 / 爬虫 / 机器**,悬停可看判定理由 - **详情**:展开后可查看判定依据、访问时间、常见 User-Agent、高频路径、 可疑请求样本和状态码分布 - **查看日志**:点击 IP 或「日志」可直接跳转到该 IP 的日志明细 默认使用内置的本地风险模型,不依赖外部 AI 服务。归属地通过 [ip-api.com](https://ip-api.com/) 查询,结果会缓存到数据库的 `ip_geo` 表, 同一 IP 30 天内不会重复查询。查询归属地时会把 IP 地址发送到该服务。 **访问者类型**(人 / 爬虫 / 机器)在本地判定,不发起任何外部请求: | 类型 | 判定依据 | |---|---| | 人 | 浏览器或 App 内置浏览器 UA(Chrome / Safari / Edge / 微信 / 支付宝等),频率与路径分布正常 | | 爬虫 | UA 命中已知爬虫(Googlebot、Bingbot、GPTBot、AhrefsBot 等);或浏览器 UA 但路径高度分散 / 峰值频率远超真人(批量采集、高频抓取) | | 机器 | curl、wget、Python / Go / Java 客户端、无头浏览器、扫描器;无 User-Agent;带有注入 / 后门 / 穿越特征;自称搜索引擎却行为不符的伪爬虫 | **分析记录会按日期保存最后一次结果**(`data/ai_history/<日期>.json`): 切换顶部日期、刷新页面或重新打开浏览器后,会自动恢复该日期上次的分析结果, 包括阈值、数量和明细,并在结果标题里显示记录时间。点「清除记录」可删除当前 日期的记录;某天的日志数据被更新后,该日期旧的记录会自动清除。 ### 可选:大模型复核 如需让大模型复核本地分析结果,把 `ai_config.example.json` 复制为 `ai_config.json`,填写 API Key 和模型: ```json { "provider": "deepseek", "api_key": "sk-...", "model": "deepseek-chat", "max_ips": 50, "timeout": 60 } ``` 支持 OpenAI 兼容接口,`provider` 可填 `deepseek`、`openai`、`moonshot`(Kimi)、 `dashscope`(通义千问)、`zhipu`、`siliconflow`,也可以用 `base_url` 指定其他 兼容地址。也可以改用环境变量:`WEBLOG_AI_PROVIDER`、`WEBLOG_AI_BASE_URL`、 `WEBLOG_AI_API_KEY`、`WEBLOG_AI_MODEL`、`WEBLOG_AI_MAX_IPS`。 大模型只复核前 `max_ips` 个结果,其余保持本地分析;调用失败会自动回退本地结果。 配置好后,**AI 风险分析** 页面的控制区会多出一个「大模型复核」开关: - 打开:本地规则先打分,再交大模型复核结论(右上角标签显示 `大模型复核:模型名`); - 关闭:本次分析只跑本地规则,不发出任何外部请求(标签显示 `本地风险模型`), 适合只需要快速判断、或不想消耗额度的场景; - 开关状态记在浏览器本地,下次打开保持上次选择;分析进行中开关会自动锁定。 未配置 `ai_config.json`(或缺少 `api_key` / `model`)时开关为不可用状态, 页面只显示「本地风险模型」。 **分析顺序**:始终先用本地规则引擎跑完全部分析,结果立即显示在列表里;启用大模型时 再按批复核,列表最右侧的「AI 复核」列会从「复核中」逐批变为「已复核」,卡片数字也随 复核结论刷新。关闭开关或未配置大模型时,该列显示「未复核」。 ## 功能 - **访问密码**:进入页面需先输入访问密码(存放在 `config.json`,可随时修改),所有 API 接口都做校验,未登录只能看到空壳页面 - **顶部导航**:首页 / 日志明细 / AI 风险分析 三个独立栏目,可用 `#home`、`#logs`、`#security` 直达 - **全局日期筛选**:顶部日期选择器可按天切换,统计卡片、趋势图、IP 排行、路径排行、日志明细和 CSV 导出全部跟随;默认「全部日期」,选中某天时趋势图自动切换为 24 小时分时图 - **数据更新**:右上角「更新数据」支持远程链接、本地上传、服务器路径三种来源,自动识别并解压日志文件,按日期整体替换数据 - **定时任务**:右上角「定时任务」可设置每隔多少小时/分钟自动更新当天日志,支持日期占位符、补跑与失败重试 - **数据管理**:右上角「数据管理」可按日期删除日志,控制数据库体积 —— 列出每天的行数与流量、可勾选删除或「保留最近 N 天」,可选删除后 `VACUUM` 真正压缩库文件;删除为后台任务、带进度,完成后自动刷新统计与 AI 记录 - **AI 风险分析**:按访问次数阈值筛选 IP,识别攻击、扫描、暴力破解、伪爬虫等行为,查询归属地并给出风险等级;可选大模型复核;按日期保留最后一次分析记录 - **总体统计**:总请求量、独立 IP、总流量、4xx / 5xx 错误量与占比 - **每日访问趋势**:柱状图,点击某天直接筛选当天日志 - **IP 访问排行**:访问次数、流量、首次 / 最近访问时间,支持搜索与排序;点击 IP 查看其全部记录 - **热门路径排行**:按访问次数 / 流量排序,点击路径筛选日志 - **日志明细**: - 分页浏览全部 1,392,154 条记录(每页 20 / 50 / 100 / 200 条) - 关键词搜索:IP、路径、来源页、User-Agent - 指定 IP(支持前缀)、状态码(2xx/3xx/4xx/5xx 或具体代码)、请求方法、起止时间 - 组合筛选,筛选条件以标签形式展示、可单独移除 - 点击任意记录查看完整字段和原始日志行,可一键复制 - 详情弹窗里的 **AI 分析** 按钮会对这一条记录单独判定:结合本条的状态码、路径 / 参数特征、 请求方法、User-Agent,以及该 IP 当天的频率、路径分散度、4xx 占比和归属地, 给出风险分、等级、结论和判定依据(配置了 `ai_config.json` 时再交大模型复核) - 按当前筛选条件导出 CSV(UTF-8 BOM,Excel 可直接打开) ## 访问密码 打开页面时会先要求输入访问密码,验证通过后才加载数据。密码保存在项目根目录的 `config.json`: ```json { "accessPassword": "weblog2026", "sessionHours": 12 } ``` - **修改密码**:直接改 `accessPassword`,保存即生效(无需重启);改完所有已登录 的浏览器都需要重新输入 - **默认密码**:`weblog2026`,第一次使用请改成自己的密码 - **关闭密码**:把 `accessPassword` 改为空字符串 `""`,页面不再要求登录 - **登录有效期**:`sessionHours` 小时(默认 12),期间刷新页面不用重新输入 - **防爆破**:同一 IP 连续输错 5 次,锁定 5 分钟 - 密码只存在于服务端,前端只拿到签名后的登录 Cookie(`HttpOnly`,脚本读不到); 校验覆盖所有 `/api/*` 接口,绕过页面直接请求接口同样拿不到数据 - 静态页面(HTML / CSS / JS)本身不含数据,可匿名访问 ## 文件说明 | 文件 | 作用 | | --- | --- | | `server.py` | Web 服务 + JSON 查询 API | | `import_log.py` | 日志解析、SQLite 索引与统计表构建 | | `data_updater.py` | 按日期更新日志:格式识别、解压、解析与统计重建 | | `ai_analyzer.py` | IP 风险分析:特征统计、归属地查询、本地风险模型与大模型复核 | | `ai_config.example.json` | 大模型复核配置示例(复制为 `ai_config.json` 后填写) | | `web/index.html` | 页面结构 | | `web/styles.css` | 页面样式 | | `web/app.js` | 前端交互逻辑 | | `data/weblog.db` | 日志索引数据库(由导入脚本生成) | | `data/schedule.json` | 定时更新任务的配置与最近执行状态(首次保存后生成) | | `data/ai_history/` | 各日期最后一次 AI 风险分析结果(JSON) | | `config.json` | 访问密码与会话有效期 | > 不再需要把原始日志(如 `pc.688580.com.log`)放在项目目录里。日志通过页面 > 「更新数据」或定时任务导入,服务器上只需要数据库。 ## 说明 - 服务默认只监听 `127.0.0.1`。除「AI 风险分析」查询归属地(以及可选的大模型复核)外,数据不会离开本机。 - 更新数据时先解析到临时库,再在事务中整体替换,失败不会破坏原有数据。 - 统计表按天增量维护:只重算本次替换涉及的 IP / 路径,其余行保持不动, 因此更新耗时取决于「被替换那天的数据量」,与库的总大小无关。 - 风险分析只读取日志库并缓存归属地,不会修改日志记录。 - 全量关键词搜索需要扫描全部记录,通常约 1 秒;IP、状态码、时间等条件走索引,几十毫秒内返回。 - SQLite 数据库约 600 MB,首次打开页面只加载统计与当前页,不会把日志全部推给浏览器。