BlueXIII's Blog

热爱技术,持续学习

0%

netcat的正确打开方式

简介

nc(netcat)是一个能通过TCP和UDP读写数据的工具,很多Linux发行版已经预装。最近发现了关于nc的很多有趣的应用场景,果然名副其实,很是牛叉。。。于是简单梳理了一下。

参数说明

  • -g <网关> 设置路由器跃程通信网关,最丢哦可设置8个。
  • -G <指向器数目> 设置来源路由指向器,其数值为4的倍数。
  • -h 在线帮助。
  • -i <延迟秒数> 设置时间间隔,以便传送信息及扫描通信端口。
  • -l 使用监听模式,管控传入的资料。
  • -n 直接使用IP地址,而不通过域名服务器。
  • -o <输出文件> 指定文件名称,把往来传输的数据以16进制字码倾倒成该文件保存。
  • -p <通信端口> 设置本地主机使用的通信端口。
  • -r 乱数指定本地与远端主机的通信端口。
  • -s <来源位址> 设置本地主机送出数据包的IP地址。
  • -u 使用UDP传输协议。
  • -v 显示指令执行过程。
  • -w <超时秒数> 设置等待连线的时间。
  • -z 使用0输入/输出模式,只在扫描通信端口时使用。

使用场景

测试端口连通性

使用nc -z可以测试远程主机端口的连通性。
以前我们测试某台远程主机的某个端口是否能连通,通常都是用telnet ip port,现在可以用nc来替代了。

示例:

1
2
nc -z 192.168.1.60 19011
Connection to 192.168.1.60 port 19011 [tcp/*] succeeded!

端口扫描

使用-z参数时,还可以指定一个端口范围进行扫描。
以后简单场景下,就不需要动用nmap这种专业工具了。

示例:

1
2
3
4
5
TCP:
nc -z -v 192.168.1.60 19000-19100 2>&1 | grep succeeded

UDP:
nc -z -v -u 192.168.1.60 19000-19100 2>&1 | grep succeeded

启监听端口

很多时候,如果拜托网管为我们做一个NAT映射,或新配置了一个防火墙策略后,通常要启一个临时的tomcat/apache/nginx行测试,非常麻烦。
如果只是临时测试的话,直接使用nc -l 端口号就可以启一个监听了,如果早点知道的话就可以省去很多时间了。

示例:

1
nc -l 33333

HTTP服务健康监控

nc配合echo来使用,可以模拟发送一段HTTP请求报文,对一个HTTP服务进行健康度检测。
如果服务支持HEAD方法的话,可以尽量使用HEAD以减轻测试时对服务端的压力。
于是简单场景下,我们又可以抛弃wgetcurl了。。。

示例:

1
2
echo -e "GET /mobsale-service/health HTTP/1.0\r\n\r\n" |nc -t 192.168.1.60 19011
echo -e "HEAD /mobsale-service/client HTTP/1.0\r\n\r\n" |nc -t 192.168.1.60 19011

文件传输

通常,我们在两台服务器之前传递文件,首选都是sftp/scp,或者ftp,或者更古老的sz/rz
但如果这些方式都被禁用的话怎么办呢?可以用nc来自己铺路,只要能连网,就能传文件!

示例:

1
2
3
4
5
传递方:
cat readme.txt | nc -l 33333

收接方:
nc 192.168.1.61 33333 > readme.txt

如果要传递目录的话,需要配合tar/zip等工具进行打包。

聊天工具

还可以使用nc来进行单方向聊天,这貌似是一个然并卵的东西。。。
和文件传输的原理其实是一样的。

示例:

1
2
3
4
5
接收方:
nc -l 33333

发送方:
nc 192.168.1.61 33333

发送发输入内容回车之后,接收方就会显示了

简易WEB服务器

不借助tomcat/nginx/httpd等WEB容器,仅用nc就可以用快速搭建一个单页面的WEB服务器。

首先新建一个index.html文件:

1
2
3
4
5
6
7
8
9
10
<!doctype html>
<html>
<head>
<meta charset="utf-8">
<title>Test Page</title>
</head>
<body>
<h1>It Works!</h1>
</body>
</html>

执行以下脚本,将一个简单的HEAD与index.html中的BODY拼接并输出:

1
while true;do { printf '%b\r\n' 'HTTP/1.1 200 OK' '%b\r\n';cat index.html; }|nc -l 33333;done

在浏览器上输入http://ip:port/whatever 就可以看到刚才的页面了

远程桌面

设想如下场景:
如果某台远程主机禁用了某用户(例如root)的SSH远程登录权限,只能通过低权限的管理用户登录,再用su -的方式切换过去进行操作。如果觉得不爽,有没有可能绕过这个限制呢?
使用nc就可以在远程新开一个任意监听端口,然后在本地就可以模拟SSH登录了,可以说是命令行版的”远程桌面”吧。

原理如下:

  1. 从网络收到命令写入fifo文件中
  2. cat命令读取fifo文件,并且发送到bash命令
  3. bash执行完的结果发送给nc
  4. nc通过网络把内容发送给客户端
1
2
3
4
5
远程:  
mkfifo /tmp/tmp_fifo; cat /tmp/tmp_fifo | /bin/bash -i 2>&1 | nc -l 33333 > /tmp/tmp_fifo

本地:
nc -n 192.168.1.60 33333

四层反向代理

与上面的”模拟SSH登录”原理类似,nc的另一个场景是可以充当一个4层的反向代理,这个比较实用了,LVS/HA/Nginx统统都可以下岗了。。。

示例:

1
mkfifo backpipe; nc -l 33333  0<backpipe | nc 192.168.1.60 19011 1>backpipe

后记

大体先写这么多了,以后的使用过程中如果还有新的发现,随时补充。

spring-boot中使用slf4j+log4j

背景

spring-boot默认是使用slf4j+logback做日志输出的, 本文主要演示如何切换为slf4j+log4j。
正常情况下,建议直接使用logback。

在某SpringBoot项目中,因为要使用ELK做日志采集,局方要求使用log4j并给出了一组日志格式规范:

  1. 日志分为xxx-info和xxx-error两个文件,分开打印
  2. 日志格式要求为
    1
    %d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n
    所以只能有两种方案可供选择:
  3. 配置logback,并保证与之前的log4j的行为一致
  4. 将logback切换为log4j

由于面对日志格式中的一大堆%比较头大,于是选择了不怎么优雅的方案2,切换为log4j。

配置Maven依赖

首先要显式的引入spring-boot-starter,并将其中的spring-boot-starter-logging排除掉
然后新增一个spring-boot-starter-log4j的依赖

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j</artifactId>
<version>1.2.5.RELEASE</version>
</dependency>

配置log4j

新建src/resource/log4j.properties,按正常方式配置即可
下面是一个双日志输出的样例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
log4j.rootCategory=info,file_info,file_error,stdout
log4j.logger.org.springframework.web.filter.CommonsRequestLoggingFilter=debug,file_info,stdout
log4j.additivity.org.springframework.web.filter.CommonsRequestLoggingFilter=false

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

log4j.appender.file_info=org.apache.log4j.RollingFileAppender
log4j.appender.file_info.layout=org.apache.log4j.PatternLayout
log4j.appender.file_info.MaxFileSize=100MB
log4j.appender.file_info.MaxBackupIndex=10
log4j.appender.file_info.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n
log4j.appender.file_info.Threshold=DEBUG
log4j.appender.file_info.append=true
log4j.appender.file_info.File=/opt/logs/busi/crm_sdtools-info.log

log4j.appender.file_error=org.apache.log4j.RollingFileAppender
log4j.appender.file_error.layout=org.apache.log4j.PatternLayout
log4j.appender.file_error.MaxFileSize=100MB
log4j.appender.file_error.MaxBackupIndex=10
log4j.appender.file_error.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} [%-5p](%-30c{1}) [TxId : %X{PtxId} , SpanId : %X{PspanId}] [ET:%X{ENV_TYPE},AN:%X{APP_NAME},SN:%X{SERVICE_NAME},CN:%X{CONTAINER_NAME},CI:%X{CONTAINER_IP}] %m%n
log4j.appender.file_error.Threshold=ERROR
log4j.appender.file_error.append=true
log4j.appender.file_error.File=/opt/logs/busi/crm_sdtools-error.log

系统设置工具

raspi-config

设置root密码

sudo passwd root

修复ping权限

ls -lsa /bin/ping
sudo chmod 4711 /bin/ping

网络设置

vi /etc/network/interfaces
auto eth0
iface eth0 inet static
address xxx.xxx.xxx.xxx
netmask 255.255.248.0
gateway xxx.xxx.xxx.xxx
dns-nameservers xxx.xxx.xxx.xxx

启动网卡

sudo ifup eth0
sudo /etc/init.d/networking restart

代理设置

sudo vi /etc/environment
export http_proxy=”http://134.32.87.142:1080"
export http_proxy=”http://134.32.32.13:31315"

export http_proxy=”http://134.32.32.13:31081"

sudo vi /etc/apt/apt.conf.d/10proxy
Acquire::http::Proxy “http://134.32.87.142:8080/";
Acquire::http::Proxy “http://134.32.32.13:31315/";

apt-get使用阿里云镜像

sudo vi /etc/apt/sources.list
deb http://mirrors.aliyun.com/raspbian/raspbian/ wheezy main non-free contrib
deb-src http://mirrors.aliyun.com/raspbian/raspbian/ wheezy main non-free contrib

redsocks透明代理网关

开启IPV4转发:
sudo vi /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p /etc/sysctl.conf

源码编译Redsocks:
sudo apt install libevent-dev
make

redsocks配置文件:
sudo vi /etc/redsocks.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
base {
log_debug = off;
log_info = on;
log = "file:/home/pi/redsocks/logs/redsocks.log";
daemon = off;
redirector = iptables;
}
redsocks {
local_ip = xxx.xxx.xxx.xxx;
local_port = 3128;
ip = xxx.xxx.xxx.xxx;
port = 31080;
type = socks5;
}

iptables配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
iptables -F
iptables -X
iptables -Z

iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT

iptables -A INPUT -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -p icmp -j ACCEPT
iptables -A INPUT -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -p tcp --dport 3128 -m state --state NEW,ESTABLISHED -j ACCEPT

iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -j MASQUERADE
iptables -t nat -N REDSOCKS

iptables -t nat -A REDSOCKS -d 127.0.0.1 -j RETURN
iptables -t nat -A REDSOCKS -d 10.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 172.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 192.168.0.0/16 -j RETURN
iptables -t nat -A REDSOCKS -d 132.0.0.0/8 -j RETURN
iptables -t nat -A REDSOCKS -d 134.0.0.0/8 -j RETURN

iptables -t nat -A SS -p tcp -j REDIRECT --to-port 3128

iptables -t nat -A PREROUTING -p tcp -j SS
iptables -t nat -A OUTPUT -p tcp -j SS

dnsmasq架设DNS服务器

sudo apt install dnsmasq

shadowsocks

apt-get install python-pip
pip install shadowsocks

nginx配置端口

sudo vi /etc/nginx/sites-available/default
listen 30080;

设置时间

sudo raspi-config
ntpd -q -g
sudo date -s “2016-11-8 14:20:00”