Databricks
Databricks 是2013年創立、總部位於美國舊金山的數據與人工智能公司,起源於加州大學伯克利分校的 Apache Spark 研究團隊。公司提供結合數據工程、分析、治理、機器學習和 AI 應用開發的雲平臺,並參與 Spark、Delta Lake、MLflow 和 Unity Catalog 等開源項目。
本頁目錄9 節
詞條資料
2013—2016年:從 Berkeley 研究團隊到雲服務
Databricks 的起源與加州大學伯克利分校 AMPLab 的大規模數據處理研究有關。Matei Zaharia 於2009年在攻讀博士期間啟動 Spark 項目;2013年,Ali GhodsiAli GhodsiAli Ghodsi是計算機科學家、Databricks聯合創始人兼首席執行官,以及加州大學伯克利分校兼職教授。他在瑞典完成高等教育,後在伯克利參與分佈式計算與大數據研究,2013年參與創辦Databricks,2016年正式出任首席執行官,推動公司從開源技術走向企業數據與AI平臺。點擊查看完整詞條、Ion Stoica、Matei Zaharia、Patrick Wendell、Reynold Xin、Andy Konwinski 和 Arsalan Tavakoli-Shiraji 共同創立 Databricks,將相關技術發展為面向企業的產品。[1][2][3]
2018—2020年:雲合作與開源工具擴展
2018年3月22日,Azure Databricks 正式商用。MicrosoftMicrosoftMicrosoft(微軟)是由 Bill Gates 和 Paul Allen 於1975年創辦、總部位於美國華盛頓州雷德蒙德的科技公司,業務涵蓋 Windows、Microsoft 365、Azure、企業軟件、人工智能、遊戲和設備。點擊查看完整詞條 將其與 Azure 的數據與計算服務整合,當時提供虛擬網絡對等連接、Power BI 的 Spark 連接器和 Azure Data Factory 等集成能力,使企業可以在 Azure 環境中運行協作式數據分析。[4]
同年,Databricks 在 Spark + AI Summit 推出 MLflow,用於管理機器學習開發過程中的實驗記錄、代碼與數據版本、可復現運行和模型部署。[5]
2021年擴展到 Google Cloud
2021年2月,Google Cloud 與 Databricks 宣佈合作,將 Databricks 帶到 Google Cloud,並與 Cloud Storage、BigQuery、Looker、Pub/Sub 和當時的 AI Platform 連接。公告介紹了基於 Google Kubernetes Engine 的運行方式,使同一數據平臺能與 GoogleGoogleGoogle是一家美國科技公司,由Larry Page與Sergey Brin創辦,1998年註冊成立,2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條 的存儲、分析及模型服務共同工作。[7]
2023—2024年:生成式 AI 與數據格式互通
2023年7月19日,Databricks 宣佈完成收購 MosaicML。後者提供大模型訓練平臺及 MPT 模型系列,收購的產品方向是讓客戶基於自有數據訓練和部署定製模型,並保持對數據的控制。完成交易公告同時表示,MosaicML 產品仍可單獨購買,雙方將在後續推進與 Databricks Lakehouse 的結合。[8]
2024年6月,Databricks 宣佈達成收購 Tabular 的協議。Tabular 由 Apache Iceberg 的原始開發者 Ryan Blue、Daniel Weeks 以及 Jason Reid 創立;交易的技術目標是改善 Iceberg 與 Delta Lake 等開放數據格式之間的兼容性。公告把 UniForm 作為近期實現互通的途徑,並明確更長期的統一標準需要社區持續合作,不能把這一目標理解為兩種格式已經完全合併。[9]
2025年Neon 與事務型數據庫
2026年8月戰略融資與產品組合
2026年8月13日,Databricks 宣佈完成50億美元戰略融資,估值為1900億美元,投資方包括 CoatueCoatueCoatue 是 Philippe Laffont 於1999年創建、以科技和創新為核心的投資管理機構,業務同時覆蓋公開市場和私募市場。當前官網把 Thomas Laffont 列為聯合創始人兼私募投資首席投資官;2026年7月29日 Form ADV 披露監管資產管理規模為927.05722582億美元。點擊查看完整詞條、BlackstoneBlackstoneBlackstone是一家另類資產管理機構,服務機構與個人投資者。其官網披露,截至2026年6月30日,管理資產規模超過1.3萬億美元。點擊查看完整詞條、MGX、T. Rowe PriceT. Rowe PriceT. Rowe Price(普徠仕)是總部位於美國馬里蘭州巴爾的摩的全球資產管理公司,由 Thomas Rowe Price Jr. 於1937年創立,主要提供主動股票、固定收益、多資產、退休及另類投資管理。集團股票在納斯達克交易,代碼為 TROW。Rob Sharps 擔任董事長兼首席執行官。點擊查看完整詞條 相關賬戶及 Sixth Street Growth。公司同時稱季度收入同比增長超過80%,收入年化運行率超過70億美元;年化運行率反映某一階段收入速度,並非已確認實現的全年營收。[12]
公告將新資金的重點列為 Lakebase、Genie 和 Unity AI Gateway:Lakebase 是無服務器 PostgreSQL 數據庫,Genie 利用企業數據提供問答和操作協助,Unity AI Gateway 用於多模型治理、路由與成本控制。這一組合將原有數據分析業務進一步連接到企業 AI 應用和代理的運行需求。[12]
2026年9月新加坡擴展計劃
平臺架構與公司組織
Databricks 的平臺採用 lakehouse(數據湖倉)架構,把數據湖存儲與數據倉庫的分析和管理能力結合,用於數據工程、批量與流式處理、商業分析、機器學習和 AI 開發。Spark、Delta Lake 和 MLflow 等開源項目構成其中的重要基礎;平臺還提供統一治理、數據共享及面向 Python、SQL、筆記本和開發環境的工具。[15]
來源
- About Databricks(在新窗口打開)
- Databricks Founders(在新窗口打開)
- 10 Hot Data Science Companies with Berkeley Roots(在新窗口打開)
- March 2018: Azure Databricks is now generally available(在新窗口打開)
- The MLflow Project Joins Linux Foundation(在新窗口打開)
- The Delta Lake Project Turns to Linux Foundation(在新窗口打開)
- Databricks on Google Cloud(在新窗口打開)
- Databricks Completes Acquisition of MosaicML(在新窗口打開)
- Databricks Agrees to Acquire Tabular(在新窗口打開)
- Neon and Databricks(在新窗口打開)
- About Neon(在新窗口打開)
- Databricks Grows >80% YoY, Surpasses $7B Revenue Run-Rate(在新窗口打開)
- Databricks to Invest More Than US$350 Million in Singapore(在新窗口打開)
- Databricks Partners with EDB and IMDA(在新窗口打開)
- Data Lakehouse Architecture(在新窗口打開)