ABAB Pedia

Databricks

Databricks 是2013年創立、總部位於美國舊金山的數據與人工智能公司,起源於加州大學伯克利分校的 Apache Spark 研究團隊。公司提供結合數據工程、分析、治理、機器學習和 AI 應用開發的雲平臺,並參與 Spark、Delta Lake、MLflow 和 Unity Catalog 等開源項目。

本頁目錄9 節
詞條資料

2013—2016年:從 Berkeley 研究團隊到雲服務

Databricks 的起源與加州大學伯克利分校 AMPLab 的大規模數據處理研究有關。Matei Zaharia 於2009年在攻讀博士期間啟動 Spark 項目;2013年,Ali GhodsiAli GhodsiAli Ghodsi是計算機科學家、Databricks聯合創始人兼首席執行官,以及加州大學伯克利分校兼職教授。他在瑞典完成高等教育,後在伯克利參與分佈式計算與大數據研究,2013年參與創辦Databricks,2016年正式出任首席執行官,推動公司從開源技術走向企業數據與AI平臺。點擊查看完整詞條、Ion Stoica、Matei Zaharia、Patrick Wendell、Reynold Xin、Andy Konwinski 和 Arsalan Tavakoli-Shiraji 共同創立 Databricks,將相關技術發展為面向企業的產品。⁠[1][2][3]

早期 Databricks 為用戶提供開發和部署 Spark 應用的雲平臺,以簡化計算集群管理,並通過交互式工作區查詢和可視化數據。Berkeley 對校友企業的介紹記載,公司在2014年完成3300萬美元 B 輪融資並推出產品,當時由 Ion Stoica 擔任首席執行官。2016年1月,原工程與產品管理負責人 Ali Ghodsi 接任 CEO。⁠[3][2]

2018—2020年:雲合作與開源工具擴展

2018年3月22日,Azure Databricks 正式商用。MicrosoftMicrosoftMicrosoft(微軟)是由 Bill Gates 和 Paul Allen 於1975年創辦、總部位於美國華盛頓州雷德蒙德的科技公司,業務涵蓋 Windows、Microsoft 365、Azure、企業軟件、人工智能、遊戲和設備。點擊查看完整詞條 將其與 Azure 的數據與計算服務整合,當時提供虛擬網絡對等連接、Power BI 的 Spark 連接器和 Azure Data Factory 等集成能力,使企業可以在 Azure 環境中運行協作式數據分析。⁠[4]

同年,Databricks 在 Spark + AI Summit 推出 MLflow,用於管理機器學習開發過程中的實驗記錄、代碼與數據版本、可復現運行和模型部署。⁠[5]

2019年10月,Linux Foundation 宣佈託管 Delta Lake。該項目在數據湖上增加 ACID 事務、併發讀寫和數據結構約束,以減少數據損壞或格式不一致造成的問題。2020年6月,MLflow 也加入 Linux Foundation。兩個項目分別對應數據可靠性及模型開發管理,成為 Databricks 平臺之外也可使用的開源基礎組件。⁠[6][5]

擴展到 Google Cloud

2021年2月,Google Cloud 與 Databricks 宣佈合作,將 Databricks 帶到 Google Cloud,並與 Cloud Storage、BigQuery、Looker、Pub/Sub 和當時的 AI Platform 連接。公告介紹了基於 Google Kubernetes Engine 的運行方式,使同一數據平臺能與 GoogleGoogleGoogle是一家美國科技公司,由Larry Page與Sergey Brin創辦,1998年註冊成立,2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條 的存儲、分析及模型服務共同工作。⁠[7]

2023—2024年:生成式 AI 與數據格式互通

2023年7月19日,Databricks 宣佈完成收購 MosaicML。後者提供大模型訓練平臺及 MPT 模型系列,收購的產品方向是讓客戶基於自有數據訓練和部署定製模型,並保持對數據的控制。完成交易公告同時表示,MosaicML 產品仍可單獨購買,雙方將在後續推進與 Databricks Lakehouse 的結合。⁠[8]

2024年6月,Databricks 宣佈達成收購 Tabular 的協議。Tabular 由 Apache Iceberg 的原始開發者 Ryan Blue、Daniel Weeks 以及 Jason Reid 創立;交易的技術目標是改善 Iceberg 與 Delta Lake 等開放數據格式之間的兼容性。公告把 UniForm 作為近期實現互通的途徑,並明確更長期的統一標準需要社區持續合作,不能把這一目標理解為兩種格式已經完全合併。⁠[9]

Neon 與事務型數據庫

2025年5月14日,Neon 宣佈將通過收購加入 Databricks,當日公告仍以交易完成為前提。Neon 將 PostgreSQL 的計算與存儲分離,並提供數據庫分支、歷史狀態與按需擴縮容能力,面向應用及 AI 代理的狀態存儲需求。此後 Neon 官網確認其已成為 Databricks 平臺的一部分,並說明其技術為 Lakebase 提供基礎。⁠[10][11]

戰略融資與產品組合

公告將新資金的重點列為 Lakebase、Genie 和 Unity AI Gateway:Lakebase 是無服務器 PostgreSQL 數據庫,Genie 利用企業數據提供問答和操作協助,Unity AI Gateway 用於多模型治理、路由與成本控制。這一組合將原有數據分析業務進一步連接到企業 AI 應用和代理的運行需求。⁠[12]

新加坡擴展計劃

9月16日,Databricks 宣佈計劃在未來三年向新加坡投入超過3.5億美元,擴大其亞太及日本區域中心,擬設立新的區域辦公室並把當地員工從約250人增至500人以上。公司同時公佈與 EDB、IMDA 及當地高校合作的人才計劃,目標是在三年內進一步培訓2萬人,並安排創業加速項目於11月啟動。投資額、招聘和培訓人數均為公告中的未來目標。⁠[13][14]

平臺架構與公司組織

Databricks 的平臺採用 lakehouse(數據湖倉)架構,把數據湖存儲與數據倉庫的分析和管理能力結合,用於數據工程、批量與流式處理、商業分析、機器學習和 AI 開發。Spark、Delta Lake 和 MLflow 等開源項目構成其中的重要基礎;平臺還提供統一治理、數據共享及面向 Python、SQL、筆記本和開發環境的工具。⁠[15]

公司總部位於舊金山。截至2026年9月查閱,官網列 Ali Ghodsi 為 CEO、Ion Stoica 為執行董事長、Matei Zaharia 為 CTO,並繼續列出全部七位聯合創始人。官方介紹稱平臺服務超過2萬家機構,包括財富500強的70%;這些採用規模數字來自公司自身披露。⁠[1][2]

來源

  1. About Databricks(在新窗口打開)
  2. Databricks Founders(在新窗口打開)
  3. 10 Hot Data Science Companies with Berkeley Roots(在新窗口打開)
  4. March 2018: Azure Databricks is now generally available(在新窗口打開)
  5. The MLflow Project Joins Linux Foundation(在新窗口打開)
  6. The Delta Lake Project Turns to Linux Foundation(在新窗口打開)
  7. Databricks on Google Cloud(在新窗口打開)
  8. Databricks Completes Acquisition of MosaicML(在新窗口打開)
  9. Databricks Agrees to Acquire Tabular(在新窗口打開)
  10. Neon and Databricks(在新窗口打開)
  11. About Neon(在新窗口打開)
  12. Databricks Grows >80% YoY, Surpasses $7B Revenue Run-Rate(在新窗口打開)
  13. Databricks to Invest More Than US$350 Million in Singapore(在新窗口打開)
  14. Databricks Partners with EDB and IMDA(在新窗口打開)
  15. Data Lakehouse Architecture(在新窗口打開)