Spark SQL的前身是Shark，設計目標是作為Hive的一個補充。其缺陷是：對Hive的改造，繼承了大量Hive代碼，給優化和維護帶來了大量的麻煩，所以Spark拋棄了Shark 原有的架構，單獨開發出了Spark SQL，它汲取了 Shark 的一些優點，除了覆蓋 Shark 的所有功能外，還提供了 SQL DSL API 和靈活的程序擴展，擺脫了對 Hive 的依賴。