虚拟机Spark模拟优化

在虚拟机中模拟Spark环境完全可行，但要获得接近物理机的性能，关键不在于调大内存，而在于合理分配CPU核心数、切换IO调度模式、并针对JVM和Spark参数做专项调优，很多初学者在虚拟机里跑Spark，第一反应就是“卡、慢、崩”，然后归咎于虚拟化，Spark在虚拟机里的性能瓶颈往往来自资源争抢和默认配置的不适……