Cxx0822/blog-press
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat:更新fluentbit文档

Browse Source
This commit is contained in:
Cxx0822
2026-04-21 20:02:23 +08:00
parent 906e8ea5d5
commit 94c1157260
1 changed files with 419 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

423
docs/DevOps/OpenObserve.md
View File

@@ -23,7 +23,7 @@ Fluent Bit 的功能通过“插件”来扩展。
3. Output（输出）​​
定义数据目的地，例如 Elasticsearch、Splunk、Kafka、Datadog、Loki、S3、另一个 Fluentd/Fluent Bit 实例等。
### 1.1.3 核心架构与数据流
### 1.1.3 核心架构
1. Input（输入）​
一个或多个输入插件持续地从数据源收集数据。每条数据被读入后，会带上时间戳和标签等信息，被包装成一个内部的事件记录。
2. ​​Parser（解析器）​
@@ -95,7 +95,7 @@ volumes:
driver: local
```
  fluent bit配置文件：
  fluent bit配置文件fluent-bit.conf：
```conf
[SERVICE]
Flush 5
@@ -125,7 +125,422 @@ volumes:
  INPUT为日志输入源，监听24422端口。
  OUTPUT为日志输出源，将日志发送到openobserve中（这里使用的是容器名称），URI表示openobserve接收数据的api路径，default/default表示组织名称/流名称，可以更改为其他的名称。_json表示以json的格式。
# 三、简单使用
# 三、数据接入
## 3.1 SpringBoot
### 3.1.1 安装依赖
```xml
<properties>
<logback-more-appenders.version>1.8.8</logback-more-appenders.version>
<fluency-fluentd.version>2.7.0</fluency-fluentd.version>
</properties>
<dependencies>
<!-- SpringBoot 日志启动 -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</dependency>
<!-- 扩展 logback appender -->
<dependency>
<groupId>com.sndyuk</groupId>
<artifactId>logback-more-appenders</artifactId>
<version>${logback-more-appenders.version}</version>
</dependency>
<!-- Fluentd 日志搜集和转发 -->
<dependency>
<groupId>org.komamitsu</groupId>
<artifactId>fluency-fluentd</artifactId>
<version>${fluency-fluentd.version}</version>
</dependency>
</dependencies>
```
### 3.1.2 日志配置
```yml
logging:
config: classpath:logback-spring.xml
fluentd:
host: host.docker.internal
port: 24224
level:
root: info
```
### 3.1.3 配置文件
```xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">
<!-- 自定义属性 -->
<springProperty scope="context" name="fluentdHost" source="logging.fluentd.host" defaultValue="localhost"/>
<springProperty scope="context" name="fluentdPort" source="logging.fluentd.port" defaultValue="24224"/>
<springProperty scope="context" name="topic" source="spring.application.name" defaultValue="default"/>
<!-- log路径 -->
<property name="log.path" value="logs/${topic}"/>
<!--控制台日志格式：彩色日志-->
<!-- magenta:洋红 -->
<!-- boldMagenta:粗红-->
<!-- cyan:青色 -->
<!-- white:白色 -->
<!-- magenta:洋红 -->
<property name="CONSOLE_LOG_PATTERN"
value="%yellow(%date{yyyy-MM-dd HH:mm:ss}) |%highlight(%-5level) |%blue(%thread) |%blue(%file:%line) |%green(%logger) |%cyan(%msg%n)"/>
<!--文件日志格式-->
<property name="FILE_LOG_PATTERN"
value="%date{yyyy-MM-dd HH:mm:ss} |%-5level |%thread |%file:%line |%logger |%msg%n"/>
<!--编码-->
<property name="ENCODING"
value="UTF-8"/>
<!--输出到控制台-->
<appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<!--日志级别-->
<level>DEBUG</level>
</filter>
<encoder>
<!--日志格式-->
<Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
<!--日志字符集-->
<charset>${ENCODING}</charset>
</encoder>
</appender>
<!--输出到文件-->
<appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!--日志过滤器：此日志文件只记录INFO级别的-->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>INFO</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_info.log</file>
<encoder>
<pattern>${FILE_LOG_PATTERN}</pattern>
<charset>${ENCODING}</charset>
</encoder>
<!-- 日志记录器的滚动策略，按日期，按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!-- 每天日志归档路径以及格式 -->
<fileNamePattern>${log.path}/info/log-info-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<!-- 日志文件的最大大小 -->
<maxFileSize>100MB</maxFileSize>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
</appender>
<appender name="WARN_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 日志过滤器：此日志文件只记录WARN级别的 -->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>WARN</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_warn.log</file>
<encoder>
<pattern>${FILE_LOG_PATTERN}</pattern>
<charset>${ENCODING}</charset> <!-- 此处设置字符集 -->
</encoder>
<!-- 日志记录器的滚动策略，按日期，按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<fileNamePattern>${log.path}/warn/log-warn-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<!-- 日志文件的最大大小 -->
<maxFileSize>100MB</maxFileSize>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
</appender>
<appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 日志过滤器：此日志文件只记录ERROR级别的 -->
<filter class="ch.qos.logback.classic.filter.LevelFilter">
<level>ERROR</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<!-- 正在记录的日志文件的路径及文件名 -->
<file>${log.path}/log_error.log</file>
<encoder>
<pattern>${FILE_LOG_PATTERN}</pattern>
<charset>${ENCODING}</charset> <!-- 此处设置字符集 -->
</encoder>
<!-- 日志记录器的滚动策略，按日期，按大小记录 -->
<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<fileNamePattern>${log.path}/error/log-error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
<!-- 日志文件的最大大小 -->
<maxFileSize>100MB</maxFileSize>
<!--日志文件保留天数-->
<maxHistory>15</maxHistory>
</rollingPolicy>
</appender>
<!--输出到FLUENCY-->
<appender name="FLUENCY" class="ch.qos.logback.more.appenders.FluencyLogbackAppender">
<remoteHost>${fluentdHost}</remoteHost>
<port>${fluentdPort}</port>
<additionalField>
<key>topic</key>
<value>${topic}</value>
</additionalField>
<ignoredField>caller</ignoredField>
<useEventTime>true</useEventTime>
</appender>
<!-- 开发环境 -->
<springProfile name="dev">
<root level="INFO">
<appender-ref ref="CONSOLE"/>
</root>
</springProfile>
<!-- 生产环境 -->
<springProfile name="prod">
<root level="INFO">
<appender-ref ref="INFO_FILE"/>
<appender-ref ref="WARN_FILE"/>
<appender-ref ref="ERROR_FILE"/>
</root>
</springProfile>
<!-- 容器环境 -->
<springProfile name="docker">
<root level="INFO">
<appender-ref ref="CONSOLE"/>
<appender-ref ref="FLUENCY"/>
</root>
</springProfile>
</configuration>
```
::: tip
这里是用docker部署的，如果是非docker部署，host为服务器ip地址。
:::
## 3.2 .NET
### 3.2.1 安装Nuget包
&emsp;&emsp;安装NLog.Extensions.Hosting和NLog.Targets.Network包。
::: tip
NLog.Targets.Fluentd这个包也可以，但是无法定制FluentBit的消息格式。
:::
### 3.2.2 使用NLog
```cs
var host = Host.CreateDefaultBuilder(args)
.UseNLog()
.Build();
```
### 3.2.3 配置NLog
&emsp;&emsp;在项目目录创建`NLog.config`并设置复制到输出目录为始终复制。
```xml
<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
autoReload="true">
<extensions>
<add assembly="NLog.Targets.Network" />
</extensions>
<targets async="true">
<target name="fluentbit" xsi:type="Network"
newLine="true" lineEnding="LF"
address="tcp://ip:5170">
<layout xsi:type="JsonLayout">
<attribute name="topic" layout="message-hub"/>
<attribute name="timestamp" layout="${longdate:universalTime=true}"/>
<attribute name="level" layout="${level:uppercase=true}"/>
<attribute name="logger" layout="${logger}"/>
<attribute name="message" layout="${message}"/>
<attribute name="throwable" layout="${exception:format=ToString}"/>
</layout>
</target>
<target name="stdout"
xsi:type="Console"
layout="${longdate} ${level:uppercase=true}: ${logger} - ${message}${onexception:${newline}${exception:format=ToString}}" />
</targets>
<rules>
<logger name="*" minlevel="Info" writeTo="stdout, fluentbit"/>
</rules>
</nlog>
```
::: tip
这里的topic为项目名称。
:::
### 3.2.3 配置fluentbit
&emsp;&emsp;NLog的network采用Tcp传输，需要在FluentBit中增加TCP接口：
```conf
[INPUT]
Name tcp
Listen 0.0.0.0
Port 5170
Tag tcp
```
::: tip
docker-compose文件中也要增加5170端口映射。
:::
## 3.3 Python
### 3.3.1 安装依赖
```bash
pip install fluent-logger
```
### 3.3.2 配置文件
```.env
FLUENT_HOST=ip
FLUENT_PORT=24224
FLUENT_TAG=test-server
```
### 3.3.3 日志配置
```py
import logging
from datetime import datetime
from fluent import sender, event
from dotenv import load_dotenv
import os
load_dotenv()
# Fluent-bit配置
FLUENT_HOST = os.getenv("FLUENT_HOST", "localhost")
FLUENT_PORT = int(os.getenv("FLUENT_PORT", 24224))
FLUENT_TAG = os.getenv("FLUENT_TAG", "default")
class FluentHandler(logging.Handler):
"""Fluent-bit日志处理器"""
def emit(self, record):
try:
log_data = {
"level": record.levelname,
"message": record.message,
"module": record.module,
"line": record.lineno,
"topic": FLUENT_TAG,
}
event.Event(record.levelname.lower(), log_data)
except Exception as e:
print(f"Fluent日志发送失败: {str(e)}")
def setup_logger():
logger = logging.getLogger("app_logger")
logger.setLevel(logging.DEBUG)
logger.propagate = False # 防止日志重复输出
# 日志格式
formatter = logging.Formatter("%(asctime)s - %(levelname)s - %(module)s:%(lineno)d - %(message)s")
# 控制台处理器（所有环境启用）
console_handler = logging.StreamHandler()
console_handler.setFormatter(formatter)
console_handler.setLevel(logging.DEBUG)
logger.addHandler(console_handler)
# 输出到fluent-bit
sender.setup(FLUENT_TAG, host=FLUENT_HOST, port=FLUENT_PORT)
fluent_handler = FluentHandler()
fluent_handler.setFormatter(formatter)
fluent_handler.setLevel(logging.INFO)
logger.addHandler(fluent_handler)
return logger
# 全局日志实例
logger = setup_logger()
```
## 3.4 Unity
### 3.4.1 日志配置
```cs
using UnityEngine;
using UnityEngine.Networking;
using System.Collections;
using System;
public class FluentBitLogger : MonoBehaviour
{
private string url = "http://ip:9880";
void OnEnable() => Application.logMessageReceived += HandleLog;
void OnDisable() => Application.logMessageReceived -= HandleLog;
void HandleLog(string logString, string stackTrace, LogType type)
{
// 1. 准备数据
var logData = new LogData
{
topic = "default",
message = logString,
logType = type.ToString(),
timestamp = DateTime.Now.ToString("o")
};
// 2. 转 JSON 并发送
string json = JsonUtility.ToJson(logData);
StartCoroutine(Send(json));
}
IEnumerator Send(string json)
{
// 快速判断设备是否连接到互联网
if (Application.internetReachability == NetworkReachability.NotReachable)
{
yield break;
}
using (UnityWebRequest req = UnityWebRequest.Put(url, json))
{
req.method = "POST";
req.timeout = 1;
req.SetRequestHeader("Content-Type", "application/json");
yield return req.SendWebRequest();
}
}
[Serializable]
public class LogData
{
public string topic;
public string message;
public string logType;
public string timestamp;
}
}
```
### 3.4.2 配置fluentbit
&emsp;&emsp;Unity日志采用http传输，需要在FluentBit中增加http接口：
```conf
[INPUT]
Name http
Listen 0.0.0.0
Port 9880
Tag unity.logs
```
::: tip
docker-compose文件中也要增加9880端口映射。
:::
# 四、简单使用
## 3.1 配置数据流
&emsp;&emsp;打开控制台，选择数据流->添加数据流，输入fluent bit配置文件中的流名称，选择数据流类型为Logs。
&emsp;&emsp;在新添加的数据流中，点击查看，跳转到日志页面即可看到上次的日志信息。
@@ -235,7 +650,7 @@ curl -X 'POST' \
&emsp;&emsp;注意这里要加上Basic auth认证，并提供username和password。
![暂无图片](https://cxx0822.iepose.cn/rustfs/blog/d29ddbd369e32cb7c2770464e8d0a142.png 'API查看日志.png')
# 四、自定义日志告警服务
# 五、自定义日志告警服务
![暂无图片](https://cxx0822.iepose.cn/rustfs/blog/74d5efdb80f506395b81988258433d9d.png '日志框架.png')
&emsp;&emsp;基本原理为通过提供一个HTTP的API接口，当Openobserver触发告警时，调用该接口，并传入当前的alert_name和timestamp，然后根据timestamp和Openobserver提供的API接口去查询最近一段时间内的所有日志信息，并存储到SqLite数据库中。同时也可以选择是否同步推送到企业微信和邮箱。
&emsp;&emsp;最后也需要提供一个查询历史日志告警信息的接口，并可视化显示，方便运维和开发查看。