这篇文章主要为大家介绍了Spring Boot日志收集及链路追踪实现示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
正文
Spring Boot版本：2.3.4.RELEASE
最基本的日志功能及自定义日志
添加logback依赖：
net.logstash.logback logstash-logback-encoder 5.3
在application配置文件中设置日志保存路径：
server: port: 8888 # 日志保存路径 logging: file: path: _logs/mylog-${server.port}.logs 关于logback的配置文件
logback-spring.xml：
logback-spring-file.level.xml：
${LOG_PATH}.INFOLevel.%d{yyyy-MM-dd}.%i.log 50MB 15 50MB INFO ACCEPT DENY %d{"yyyy-MM-dd HH:mm:ss.SSS"} %-5level -[%X{traceId}] - %msg%n ${LOG_PATH}.WARNLevel.%d{yyyy-MM-dd}.%i.log 50MB 15 50MB WARN ACCEPT DENY %d{"yyyy-MM-dd HH:mm:ss.SSS"} %-5level -[%X{traceId}] - %msg%n ${LOG_PATH}.ERRORLevel.%d{yyyy-MM-dd}.%i.log 50MB 15 50MB ERROR ACCEPT DENY %d{"yyyy-MM-dd HH:mm:ss.SSS"} %-5level - [%X{traceId}] - %msg%n ${LOG_PATH}.MYLOGGERLevel.%d{yyyy-MM-dd}.%i.log 300MB 15 300MB INFO ACCEPT DENY %d{"yyyy-MM-dd HH:mm:ss.SSS"}\t%X{traceId}\t%msg%n
配置文件里的注释比较详细，可以根据需要自行修改，配置里有一个“traceId”，这不是logback自带的，是我为了实现日志追踪而添加的，后面会说到。
写接口来测试一下：
package com.cc.controller; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.util.UUID; import java.util.logging.Logger; @RestController public class TestController { Logger LOGGER = Logger.getLogger(this.getClass().toString()); Logger MyLogger = Logger.getLogger("my_logger"); @GetMapping("/w") public String logWarning() { LOGGER.warning("这是一段 warning 日志:" + UUID.randomUUID().toString().replace("-", "")); return "输出 warning 日志"; } @GetMapping("/e") public String logError() { LOGGER.severe("这是一段 error 日志:" + UUID.randomUUID().toString().replace("-", "")); return "输出 error 日志"; } @GetMapping("/m") public String logMyLogger() { MyLogger.info("这是一段 自定义 日志:" + UUID.randomUUID().toString().replace("-", "")); return "输出 自定义 日志"; } } 启动项目，分别执行测试接口，然后我们就可以在_logs文件夹内看到4个日志文件，分别是记录启动信息的INFO日志、记录警告的WARN日志、记录错误的ERROR日志以及自定义的MYLOGGER日志。
日志链路追踪
我们给HTTP请求赋予一个traceId，这个traceId将贯穿整个请求，请求过程中所有的日志都会记录traceId，由此达到快速定位问题和过滤无关日志的效果。
为了好看些，我们定义一个常量类：
package com.cc.config.logback; /** * Logback常量定义 * @author cc * @date 2021-07-12 10:41 */ public interface LogbackConstant { String TRACT_ID = "traceId"; } 然后是logback过滤器：
package com.cc.config.logback; import org.slf4j.MDC; import org.springframework.stereotype.Component; import javax.servlet.*; import java.io.IOException; import java.util.UUID; /** * 日志追踪id * @author cc * @date 2021-07-12 10:41 */ @Component public class LogbackFilter implements Filter { @Override public void init(FilterConfig filterConfig) {} @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { try { MDC.put(LogbackConstant.TRACT_ID, UUID.randomUUID().toString().replace("-", "")); chain.doFilter(request, response); } finally { MDC.remove(LogbackConstant.TRACT_ID); } } @Override public void destroy() {} } 我们用处理后的UUID作为traceId，现在再调用测试接口，可以看到日志中附带的traceId。
EFK日志收集系统
EFK是指Elasticsearch、Filebeat、和Kibana，原本还有个logstash，但是logstash的使用没有filebeat简单，并且它的内容过滤功能并不是刚需，所以就不加上了，但是后面仍然会附带logstash的简要介绍。
先说明一下EKF的工作流程
- Spring Boot应用的日志会保存在指定的路径
- filbeat会检测到日志文件的变化，并将内容发送到elasticsearch
如果使用logstash，则会将内容发送到logstash
logstash将内容进行过滤分析以及格式转换等操作，再发送给elasticsearch，这种处理会使日志数据在kibana上显示的更加详细。
- 访问kibana可视化界面，在kibana中操作或查看elasticseach的保存的日志数据
环境准备
因为我的EFK环境是搭建在虚拟机的docker上，本机是Windows，所以为了让docker上的filebeat容器能检测到我的日志文件变化，我有两种方案：
- 将项目部署成jar包在虚拟机的Linux上运行，并将日志保存路径设置到指定位置
- 本机和虚拟机建立共享文件夹
因为VMWare建立共享文件夹十分简单，并且我也能在本地开发环境实时更新代码，所以选择了方案1。
容器创建
这里假设读者对docker有一定的了解，毕竟关于docker的介绍篇幅不小，而且也与主题无关，就不在这里细说了。
# 创建一个网络，用于容器间的通讯 docker network create mynetwork docker run --name myes -p 9200:9200 -p 9300:9300 -itd --restart=always -v /etc/localtime:/etc/localtime -v /home/mycontainers/myes/data:/data --net mynetwork -e "discovery.type=single-node" -e "ES_JAVA_OPTS=-Xms256m -Xmx256m" elasticsearch:7.12.0 docker run --name myfilebeat -itd --restart=always -v /etc/localtime:/etc/localtime -v /mnt/hgfs/myshare/_logs:/data --net mynetwork -v /home/filebeat.yml:/usr/share/filebeat/filebeat.yml elastic/filebeat:7.12.0 docker run --name mykibana -p 5601:5601 -itd --restart=always -v /etc/localtime:/etc/localtime --net mynetwork -m 512m --privileged=true kibana:7.12.0
上面filebeat的容器文件映射路径要注意，映射到了我的共享文件夹，所以不一定和大家一样，按需修改即可。
并且为了方便，我们直接映射了一个filebeat.yml配置文件到filebeat容器内，省的后面再进去修改了。
filebeat.yml：
filebeat.inputs: - type: log enabled: true paths: - /data/*.log output.elasticsearch: hosts: ['myes'] index: "filebeat-%{+yyyy-MM-dd}" setup.template.name: "filebeat" setup.template.pattern: "filebeat-*" processors: - drop_fields: fields: ["log","input","host","agent","ecs"] 配置文件说明：
filebeat.inputs: // 输入源 - type: log // 标注这是日志类型 enabled: true // 启用功能 paths: // 路径 - /data/*.log // filebeat容器内的/data文件夹下，所有后缀为.log的文件 output.elasticsearch: // 输出位置：elasticsearch，后面简称es hosts: ['myes'] // es的链接，因为我们做了网段所以可以通过容器名进行通讯 index: "filebeat-%{+yyyy-MM-dd}" // 自定义es索引 setup.template.name: "filebeat" // 配置了索引，就需要设置这两项 setup.template.pattern: "filebeat-*" // 配置了索引，就需要设置这两项 processors: // 处理器 - drop_fields: // 过滤或者叫移除指定字段，因为进入es的数据默认会带上这些 fields: ["log","input","host","agent","ecs"] 让kibana连接到elasticsearch
进入kibana容器中，修改配置文件并重启：
docker exec -it mykibana bash
cd config/
vi kibana.yml
原内容：
server.name: kibana server.host: "0" elasticsearch.hosts: [ "http://elasticsearch:9200" ] monitoring.ui.container.elasticsearch.enabled: true
修改成：
server.name: kibana server.host: "0" elasticsearch.hosts: [ "http://myes:9200" ] monitoring.ui.container.elasticsearch.enabled: true
可以看出，如果es的容器名就是elasticsearch的话，就可以不用改。
测试容器有效性
elasticsearch：访问 http://ip:9200 ，有json内容出现则成功
kibana：访问 http://ip:5601 ，没有报错，出现可视化UI界面则成功，如果失败，基本是连接问题，请确认配置文件内连接elasticsearch的内容是否正确，确认容器间是否在同一个网段可以进行通讯，调试时可以在容器内互相ping进行确认。
filebeat：等会进kibana可视化界面就能知道
测试效果
调用接口 localhost:8888/w，或者是e/m接口，以输出日志内容到指定位置。此时filebeat已经能检测到文件内容变更并推送到elasticsearch
- 在指定的目录可以看到输出的日志文件，则说明日志文件保存成功。
- 打开kibana可视化面板：IP:5061，点击左上角的三横线图标，显示菜单，找到Analytics-Discover，第一次进需要创建Index Patterns，因为我们在filebeat.yml中设置的索引是filebeat，所以这里也要用上，填写了filebeat之后可以看到有匹配项，下一步，步骤2选择时间过滤器，然后确定即可。此时已经可以看到logback->filebeat->elasticsearch的日志内容，然后借助kibana面板就能方便的进行数据检索了。
至此，EFK入门级部署完成。
用Golang手撸一个轻量级日志收集工具
EFK使用方便，界面美观，并且还支持分布式，可以说十分好用了，但是因为我的服务器内存没有那么充裕，用EFK的话要消耗接近1G，所以我选择了另一种方案：用Golang写一个服务，结合Linux的grep指令，从日志文件中提取匹配的内容。这种方案好处是用Golang写，内存占用很低，缺点是搜索效率低，但是对于我的小项目来说正合适。
附上Golang的代码，其实原理很简单，就是使用Gin框架启动一个Web服务，然后调用shell脚本提取内容：
package main import ( "fmt" "os/exec" "github.com/gin-gonic/gin" ) func main() { runServer() } func runServer() { r := gin.Default() r.GET("/log", func(c *gin.Context) { id := c.Query("id") result := runScript("./findLog.sh " + id) c.Header("Content-Type", "text/html; charset=utf-8") c.String(200, result) }) r.Run(":18085") } func runScript(path string) string { cmd := exec.Command("/bin/bash", "-c", path) output, err := cmd.Output() if err != nil { fmt.Printf("Execute Shell:%s failed with error:%s", path, err.Error()) return err.Error() } fmt.Printf("Execute Shell:%s finished with output:\n%s", path, string(output)) return string(output) } findLog.sh：
cd /Users/chen/Desktop/mycontainers/mall-business/data/logs id=$1 grep $id *.log%
将这个Golang应用打包到指定平台运行即可。
以上就是Spring Boot日志收集及链路追踪实现示例的详细内容，更多关于SpringBoot日志收集链路追踪的资料请关注0133技术站其它相关文章！
以上就是Spring Boot日志收集及链路追踪实现示例的详细内容，更多请关注0133技术站其它相关文章！
