有时候会遇到这样的需求，比如log日志文件，这个文件很大，甚至上百M，需要把所有的日志拿来做统计，这时候我们如果用单进程来处理，效率会很慢。

如果我们想要快速完成这项需求，我们可以利用Linux的一个利器split，先根据这个文件的总大小、总行数，来按照一个比例来分割，在根据分割的文件数量，fork出一定比例合适的子进程数量分批处理，那么效率可想而知。

linux的split可以看这篇文章来学习测试下

//shell# split -l 1000 -d test.txt new_test.txt --verbose   //比如这里切割了10份