從 Spark 1.2 版本之后引入了 ML Pipeline，經過多個版本的發展，Spark ML克服了 MLlib 在處理復雜機器學習問題的一些不足(如工作比較復雜，流程不清晰等)，<mark>向用戶提供基于 DataFrame 之上的更加高層次的 API 庫</mark>，以更加方便的構建復雜的機器學習工作流式應用，使整個機器學習過程變得更加易用、簡潔、規范和高效。 Spark 的 Pipeline 與 Scikit 中 Pipeline 的功能相近、理念相同。