结合awk/sed/xargs/sort/find等命令过滤海量数据的处理

清华大佬耗费三个月吐血整理的几百G的资源,免费分享!....>>>

#查找最近多少时间内流量大于多少的ip端口,并且去重
find ./ -regex ".*2014041322.*\.tmp" | xargs grep '.*' | sort -nr | awk -F ';' '{split($6,a,"%"); split($11,b,"%"); if(a[1]>=1 || b[1]>=1) print $0;}' | awk -F '|' '{print $3":"$5}' | sort -u | sed 's/_NetIO//g'