孤独是一种态度
backup
快速的压缩包合并
三 31st
快速的压缩包合并
经常要合并日志,将前端的服务器上的日志合并到一起用于分析数据。为了加快传输速度每次传输都将前端的日志先gzip压缩,然后同步到日志服务器上,再将所有的日志解压整合到一个文件里,然后再压缩(最后一步压缩为了节省日志服务器的空间)。
日志少还可以,慢慢的日志越来越多每次合并需要很长时间。
新方法:
用cat输出压缩文件重定向到另一个gz文件里就可以合并。最后还可以解压出来,不丢任何数据。
cat *.gz >> all.gz
原创文章,转载请注明: 转载自gjw_apparitor 博客
本文链接地址: 快速的压缩包合并