openresty+graylog 记录proxy 请求以及响应日志
openresty nginx 的增强版，同时基于灵活的生命周期阶段，我们可以做好多灵活的事情，以下就是一个简单的处理请求以及响应log记录的，原本的打算是基于log_filter_by_lua 阶段处理的，后边发现直接使用access_log 更简单省事，同时集成graylog灵活的log 处理能力，我们可以快速的实现proxy 请求以及响应内容记录
环境准备
- nginx 配置
注意处理body 部分，我们需要使用ctx 进行数据存储方便读取response 数据（因为nginx 基于chunk 的数据传输）
同时我们需要使用escape=json （格式以及中文处理）
worker_processes 1;
user root;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
gzip on;
log_format graylog2_json escape=json '{ "timestamp": "$time_iso8601", '
'"remote_addr": "$remote_addr", '
'"body_bytes_sent": $body_bytes_sent, '
'"request_time": $request_time, '
'"response_status": $status, '
'"request": "$request", '
'"request_method": "$request_method", '
'"host": "$host",'
'"request_body":"$request_body",'
'"response_body":"$resp_body",'
'"upstream_cache_status": "$upstream_cache_status",'
'"upstream_addr": "$upstream_addr",'
'"http_x_forwarded_for": "$http_x_forwarded_for",'
'"http_referrer": "$http_referer", '
'"http_user_agent": "$http_user_agent" }';
real_ip_header X-Forwarded-For;
real_ip_recursive on;
upstream api {
server xxxx:port weight=20;
server xxx:port weight=10;
server xxxx:port weight=10;
}
server {
listen 80;
charset utf-8;
default_type text/html;
location / {
set $resp_body "";
access_log /usr/local/openresty/nginx/logs/access_test.log graylog2_json;
access_log syslog:server=graylog-server:12301 graylog2_json;
body_filter_by_lua_block {
local resp_body = string.sub(ngx.arg[1], 1, 1000)
ngx.ctx.buffered = string.sub((ngx.ctx.buffered or "") .. resp_body, 1, 1000)
-- arg[2] is true if this is the last chunk
if ngx.arg[2] then
ngx.var.resp_body = ngx.ctx.buffered
end
}
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $remote_addr;
client_body_buffer_size 10M;
client_max_body_size 10G;
proxy_buffers 1024 4k;
proxy_read_timeout 120s;
proxy_connect_timeout 2s;
proxy_pass http://api;
real_ip_header X-Forwarded-For;
real_ip_recursive on;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
- graylog content pack
graylog 已经提供了相关的content pack 我们只需要导入即可，同时会创建相关的input，stream，rules，dashboard
一些说明
我们最好是对于不同的log提供不同的索引（可以基于规则处理数据存储），这样可以减少一些问题，同时对于openresty的body_filter 需要做一些处理才能准确的获取response数据
