jvm重用是hadoop調優參數的內容,其對hive的性能具有非常大的影響,特別是對于很難避免小文件的場景或task特別多的場景,這類場景大多數執行時間都很短 hadoop的默認配置通常是使用派生jvm來執行map和reduce任務的.這時jvm的啟動過程可能會造成相當大的開銷,尤其是執行的job包含成百上千task任務的情況.jvm重用可以使得jvm實例在同一個job中重新使用N次.N的值可以在hadoop的mapred-site.xml文件中配置.通常在10-20之間,具有多少需要根據具體業務場景測試得出 ~~~ <property> <name>mapreduce.job.jvm.numtasks</name> <value>10</value> <description>How many tasks to run per jvm. If set to -1, there is no limit.</description> <property> ~~~ 這個功能的缺點就是,開啟jvm重用將一直占有使用到的task插槽,以便進行重用,直到任務完成后才能釋放. 如果某個"不平衡"的job有某幾個reduce task執行時間要比其他reduce task消耗的時間多的多的話,那么保留的插槽就會一直空閑著卻無法被其他的job使用,直到所有的task都結束了才會釋放.