代码拉取完成，页面将自动刷新
同步操作将从 喵了个咪/trace-log-spring-boot-starter 强制同步，此操作会覆盖自 Fork 仓库以来所做的任何修改，且无法恢复！！！
确定后同步将在后台操作，完成时将刷新页面，请耐心等待。
trace-log-spring-boot-starter （traceLog）一个简单易用的java分布式链路跟踪日志组件，
支持百亿级别， 日志从搜集到查询， 不用去文件中翻阅日志方便快捷， 支持查询一个调用链的日志，
支持链路追踪， 查看调用链耗时情况， 在分布式系统中也可以查询关联日志， 能够帮助快速定位问题，
简单易用，没有代码入侵， 查询界面友好，高效，方便，
只要你是java系统，不要做任何项目改造，接入直接使用，
日志不落本地磁盘，无需关心日志占用应用服务器磁盘问题,觉得项目好用帮忙点个星星， 您的star是我们前进的动力
目前进度：1.0版本完成
一.系统介绍
1、无入侵的分布式日志系统，基于elk搜集日志，采用Skywalking设置链路ID，方便查询关联日志
2、基于elasticsearch作为查询引擎
3、高吞吐，查询效率高
4、支持redis实时日志、es历史日志查询
5、Skywalking 6.0.0-beta 支持跟踪如下中间件的日志
HTTP Server
HTTP Client
RPC Frameworks
MQ
RocketMQ 4.x
Kafka 0.11.0.0 -> 1.0
ActiveMQ 5.10.0 -> 5.15.4
RabbitMQ 5.x
Pulsar 2.2.x -> 2.4.x
NoSQL
Redis
Jedis 2.x
Redisson Easy Java Redis client 3.5.2+
Lettuce 5.x
MongoDB Java Driver 2.13-2.14, 3.4.0-3.11.1
Memcached Client
Spymemcached 2.x
Xmemcached 2.x
Elasticsearch
Service Discovery
Spring Ecosystem
Scheduler
JSON
Cache
Kotlin
软件架构说明
1、 log-spring-boot-starter 客户端starter，收集链路日志，通过 log-spring-boot-netty 发送日志给 log-spring-boot-core
2、 log-spring-boot-core 日志核心组件，将收集到的日志异步存入redis 和 es
3、log-spring-boot-netty 网络通信组件，starter 和 core 基于netty进行通信
软件技术栈
1、spring boot
2、skywalking
3、redis
4、es
5、netty
7、kafka
linux或者Windows都行 ，下面为Linux
cd /home/data/app/
wget https://mirror.bit.edu.cn/apache/skywalking/6.6.0/apache-skywalking-apm-es7-6.6.0.tar.gz
tar -xzvf apache-skywalking-apm-es7-6.6.0.tar.gz
2、服务端
2.1 、 application.properties 新增配置
# netty 服务端端口
ddfeiyu.netty.server.port=8082
## 日志redis队列 （注意redis集群模式和单机模式可任意配置一项。如果全部配置，则采用集群ip ，下面实例则为redis集群模式）
# redis集群模式
ddfeiyu.redis.cluster.nodes=10.10.10.1:7001,10.10.10.2:7001,10.10.10.3:7001
ddfeiyu.redis.cluster.max-redirects=5
#redis单机模式
ddfeiyu.redis.host=192.168.0.125
ddfeiyu.redis.port=6379
ddfeiyu.redis.password=
ddfeiyu.redis.database=0
#连接超时时间
ddfeiyu.redis.timeout=6000
#连接池最大连接数，pool已经分配了maxActive个jedis实例，则此时pool的状态为exhausted(耗尽)。默认值8
ddfeiyu.redis.jedis.pool.max-active=1000
#连接池最大阻塞等待时间(使用负值没有限制)，# 等待可用连接的最大时间，单位毫秒，默认值为-1，表示永不超时
ddfeiyu.redis.jedis.pool.max-wait=1000
#连接池中的最大空闲连接，默认值8
ddfeiyu.redis.jedis.pool.max-idle=8
#连接池中的最小空闲连接，默认值0
ddfeiyu.redis.jedis.pool.min-idle=8
项目引入例子 ,参考 log-spring-boot-demo
3.1、修改skywalking的agent.config配置 目录： C:\apache-skywalking-apm-6.6.0\apache-skywalking-apm-bin\agent\config\agent.config
collector.backend_service=10.19.93.169:11800
修改collector.backend_service 为skywalking 服务端ip
3.2、VM参数加入如下参数
-javaagent:C:\apache-skywalking-apm-6.6.0\apache-skywalking-apm-bin\agent\skywalking-agent.jar -Dskywalking.agent.service_name=log-demo
3.3、引入依赖
<dependency>
<groupId>com.ddfeiyu</groupId>
<artifactId>log-spring-boot-starter</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
3.4 、 application.properties 新增配置
# 显示在全链路日志中的app名称，可根据项目定义
spring.application.name=log-app-demo
## 日志redis队列 （注意redis集群模式和单机模式可任意配置一项。如果全部配置，则采用集群ip ，下面实例则为redis集群模式）
# redis集群模式
ddfeiyu.redis.cluster.nodes=10.10.10.1:7001,10.10.10.2:7001,10.10.10.3:7001
ddfeiyu.redis.cluster.max-redirects=5
#redis单机模式
ddfeiyu.redis.host=192.168.0.125
ddfeiyu.redis.port=6379
ddfeiyu.redis.password=
ddfeiyu.redis.database=0
#连接超时时间
ddfeiyu.redis.timeout=6000
#连接池最大连接数，pool已经分配了maxActive个jedis实例，则此时pool的状态为exhausted(耗尽)。默认值8
ddfeiyu.redis.jedis.pool.max-active=1000
#连接池最大阻塞等待时间(使用负值没有限制)，# 等待可用连接的最大时间，单位毫秒，默认值为-1，表示永不超时
ddfeiyu.redis.jedis.pool.max-wait=1000
#连接池中的最大空闲连接，默认值8
ddfeiyu.redis.jedis.pool.max-idle=8
#连接池中的最小空闲连接，默认值0
ddfeiyu.redis.jedis.pool.min-idle=8
3.5 、打日志：需要打日志的类和方法分别打上如下注解
类上加注解
@EnableTraceLog
方法上加注解
@TraceLog(description = "第一个日志demo")
@Trace
示例如下：
@EnableTraceLog
public class LogController {
@TraceLog(description = "第一个日志demo")
@Trace
@GetMapping("/log")
public String log(){
String traceId = TraceContext.traceId();
log.info("trcaeId: [ {} ]", traceId);
return traceId;
}
3.6 、查询全链路日志
我们已经知道链路tarceId,并且日志已经在redis队列中了，那么怎么查询到全链路日志呢， 参考示例
1、下面例子简单模拟获取全链路日志
@GetMapping("/print")
public List<String> print(@RequestParam(name = "traceId") String traceId){
log.info("trcaeId: [ {} ]", traceId);
List<String> traceLogList = new ArrayList<>();
String traceLog = "";
while ((traceLog = redisQueueUtil.dequeue(traceId)) != null){
log.info("trcaeId: [ {} ], traceLog: [ {} ]", traceId , traceLog);
traceLogList.add(traceLog);
}
return traceLogList;
}
2、其它方式：服务端也可通过websocket方式将日志推送给前端等等
3.1、启动 log-spring-boot-core
3.2 启动 log-spring-boot-demo
3.3. 产生日志
返回一个tarceId
3.4 查询链路日志
http://localhost:8080/log/print?traceId=549.36.15908961313010001
{
"app":"log-app-demo",
"arguments":"[UserDto(userId=方法带注解)]",
"clazzName":"com.ddfeiyu.service.UserServiceImpl",
"description":"打上日志TraceLog注解的日志",
"elapsedTime":0,
"errorMsg":"",
"host":"169.254.141.95",
"logTime":"2020-05-31 11:35:33.369",
"methodName":"sayHelloWithAnnotation",
"parameterTypes":"[class com.ddfeiyu.dto.UserDto]",
"status":"成功",
"traceId":"549.36.15908961313010001"
}
{
"app":"log-app-demo", 应用名称
"arguments":"[UserDto(userId=方法带注解)]", 方法入参
"clazzName":"com.ddfeiyu.service.UserServiceImpl", 类名
"description":"打上日志TraceLog注解的日志", 日志描叙
"elapsedTime":0, 方法耗时
"errorMsg":"", 异常消息
"host":"169.254.141.95", 应用ip
"logTime":"2020-05-31 11:35:33.369", 日志时间
"methodName":"sayHelloWithAnnotation", 方法名称
"parameterTypes":"[class com.ddfeiyu.dto.UserDto]", 入参参数类型
"status":"成功", 方法执行状态
"traceId":"549.36.15908961313010001" 链路跟踪id
}
1.0 版本（已实现）
a、增加全链路追踪功能
b、日志写入redis队列
2.0版本，
a、优化日志抓取写入，采用高性能无锁队列Disruptor处理日志 https://www.cnblogs.com/aheizi/p/6879931.html
b、日志写入es做历史日志归档和查询
3.0版本
a、编写前端页面，提供日志索引管理、日志查询、日志队列管理功能
b、抓取链路中db sql，写入日志
QQ群： 816929140
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手