具体工程中cpu、内存使用感受

介绍

做了一个有几十亿数据，几千万用户，截止目前，数据刚收集没多久。
对内存和cpu的使用率有一点总结。

总结

就像一般服务器的负载原小于核心数才好一样，内存和cpu是重要资源，随着数据的增长可能大幅增加。
在设计算法时，将它们控制在一个较低百分比十分重要。
以我处理的数据为例，5个线程一起跑，要处理的每个文件在2G多，还在持续增长。
在并发处理时，16G的内存能达到90%，这是非常不好的。
经过一些分割处理，将文件减小到原来的1/16，文件数量也增加了16倍。
拿文件数量换了内存空间。