失控的不僅僅是云成本：一年為可觀測(cè)性狂燒 4.5 億，有錢(qián)的“大冤種”也扛不住了
作者 | 褚杏娟、核子可樂(lè)
“到底是哪家公司 2022 年在 Datadog 身上花掉了 6500 萬(wàn)美元？”Datadog 最近在財(cái)務(wù)會(huì)議上透露，一項(xiàng)客戶一次性支付高達(dá) 6500 萬(wàn)美元預(yù)付款，此事瞬間引發(fā)業(yè)內(nèi)關(guān)注：哪家公司出手這么闊綽？可觀測(cè)供應(yīng)商這么賺錢(qián)？
(資料圖片)
Datadog 是可觀測(cè)性的主要力量，2019 年融資上市，目前市值為 280 億美元。該公司 2022 年內(nèi)的收入為 16.7 億美元，月均在 1.4 億美元左右。在一個(gè)關(guān)于降本的小調(diào)查中，“AWS”和“Datadog”是被提及最多的兩家供應(yīng)商。這顯然證明基礎(chǔ)設(shè)施和可觀測(cè)性成本已經(jīng)相當(dāng)高昂，其中 AWS 是基礎(chǔ)設(shè)施領(lǐng)域的領(lǐng)導(dǎo)者。
在 5 月 4 日的財(cái)報(bào)電話會(huì)議上，Datadog 首席財(cái)務(wù)官 David Obstler 提到了一筆“非經(jīng)常性支出”（也稱一次性費(fèi)用），并表示：
“本季度收入為 5.11 億美元，較上年同期增長(zhǎng) 15%。2022 年第一季度，曾有客戶支付一筆巨額預(yù)付款；但 2023 年第一季度沒(méi)有類似的大額支出。根據(jù)對(duì)該客戶的估算，其賬單同比增長(zhǎng)率將低于 30%。”
這一細(xì)節(jié)被摩根大通研究部執(zhí)行董事兼金融分析師 Mark Ronald Murphy 捕捉到了。在進(jìn)行計(jì)算后，Murphy 透露出該筆預(yù)付款約為 6500 萬(wàn)美元（約合人民幣 4.5 億），Datadog 也承認(rèn)了該數(shù)字的準(zhǔn)確性。Obstler表示，該公司改變了計(jì)費(fèi)頻率和金額，因此隨著時(shí)間的推移，該客戶的帳單將分?jǐn)偟酶唷?
Obstler 透露，“這是一家加密貨幣公司，目前仍是我們的客戶。他們是一家早期優(yōu)化廠商，所處的行業(yè)正是我們經(jīng)常討論的受影響最大、優(yōu)化空間最廣的領(lǐng)域。”
Datadog 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Olivier Pomel 表示，在過(guò)去的一年里，該客戶所在垂直行業(yè)幾乎被摧毀了。他們自己的業(yè)務(wù)收入減少了 3 到 4 倍。“在這種情況下，我們會(huì)與客戶合作，重組他們與我們的合同。我們想成為他們解決方案的一部分，而不是問(wèn)題的一部分。”
至此，網(wǎng)上對(duì)于“到底是哪家加密公司 2022 年 內(nèi)在 Datadog 身上花掉了 6500 萬(wàn)美元”一事充滿各種猜測(cè)。
投資者 Turner Novak推測(cè)是 Coinbase，但并不是很確定。網(wǎng)上甚至出現(xiàn)了冒充 Coinbase 員工的人。比如Hacker News上的某位匿名評(píng)論者，其聲稱 6500 萬(wàn)美元其實(shí)是未來(lái)三年的預(yù)付款，但消息內(nèi)容無(wú)法核實(shí)。后來(lái)，F(xiàn)ARMLEND 全棧工程師 Gergely Orosz 發(fā)文稱自己確認(rèn)了該公司就是 Coinbase，而那筆款項(xiàng)就是他們當(dāng)年的到期賬單。下面我們看下 Orosz 的詳細(xì)說(shuō)法。
“沒(méi)人關(guān)心基礎(chǔ)設(shè)施成本了”
Coinbase 公司于當(dāng)年 6 月上市，上市首日估值 857 億美元。相比之下，將近兩年后，該公司的估值約為 140 億美元，下降了約 75%。在繁榮時(shí)期，交易量激增，屢創(chuàng)新高，而 Coinbase 基礎(chǔ)設(shè)施幾乎無(wú)法跟上。Coinbase 首席執(zhí)行官 Brian Amstrong 曾表示：
“2021 年對(duì) Coinbase 來(lái)說(shuō)是不可思議的一年，這種態(tài)勢(shì)不要說(shuō)在人的一生中非常罕見(jiàn)，拿到整個(gè)商業(yè)發(fā)展史上看也是屈指可數(shù)。我們的月交易用戶達(dá)到創(chuàng)歷史新高的 1140 萬(wàn)，同比增長(zhǎng) 4 倍。400%的增長(zhǎng)率，簡(jiǎn)直令人難以置信。”
在 2021 年首次公開(kāi)募股之后，Coinbase 公司里已經(jīng)沒(méi)人關(guān)心基礎(chǔ)設(shè)施成本了，唯一的目標(biāo)就是繼續(xù)保持增長(zhǎng)。該公司先后向 AWS、Snowflake 和 Datadog 等廠商支付了巨額費(fèi)用。于是乎，2021 年這 6500 萬(wàn)美元確實(shí)花給了 Datadog，Coinbase 則在 2022 年第一季度結(jié)清了這筆支出。
可 2022 年伊始，Coinbase 的情況急轉(zhuǎn)直下、需要立即削減基礎(chǔ)設(shè)施支出。這是因?yàn)榧用苄袠I(yè)突然遇冷，Coinbase 的業(yè)務(wù)自然也受到影響。隨著收入枯竭，該公司開(kāi)始將注意力轉(zhuǎn)向降本增效。
在可觀測(cè)性方面，Coinbase 成立了專項(xiàng)團(tuán)隊(duì)，目標(biāo)是把這部分功能從 Datadog 轉(zhuǎn)移到內(nèi)部 Grafana/Prometheus/Clickhouse 技術(shù)棧上 。下面對(duì)這些技術(shù)稍做介紹：
Prometheus：一種時(shí)序數(shù)據(jù)庫(kù)。作為一套非常流行的系統(tǒng)和服務(wù)監(jiān)控開(kāi)源解決方案，Prometheus 會(huì)按給定的時(shí)間間隔從配置的目標(biāo)（服務(wù)）處收集指標(biāo)，并結(jié)合評(píng)估規(guī)則以觸發(fā)警報(bào)。Prometheus 主要由 Go 編寫(xiě)，也有用到 Java、Python 和 Ruby 代碼。Prometheus 可將時(shí)序數(shù)據(jù)以一種高效、可定制的格式存儲(chǔ)在內(nèi)存內(nèi)和持久存儲(chǔ)介質(zhì)（HDD 或 SSD）上，而且支持分區(qū)和聯(lián)邦部署。
Prometheus 屬于云原生基的下轄項(xiàng)目，因此在它之上構(gòu)建業(yè)務(wù)比較安全。該項(xiàng)目在當(dāng)前及可預(yù)見(jiàn)的未來(lái)都將擁有穩(wěn)定的維護(hù)和支持。
Prometheus 可以自托管，部分云服務(wù)商也在提供 Prometheus 托管服務(wù)：Googld Cloud 和 AWS 都提供生產(chǎn)級(jí)服務(wù)選項(xiàng)，Azure 的服務(wù)目前則僅提供預(yù)覽版。
Grafana：可視化指標(biāo)前端。Grafana 是一種流行的源分析和監(jiān)控可視化解決方案。如果大家需要查看或深入了解指標(biāo)或警報(bào)，那 Grafana 就是理想的首選工具，在科技企業(yè)中得到廣泛應(yīng)用。Grafana 儀表板示例： Clickhouse：日志記錄管理工具。這是一套快速、開(kāi)源，且面向列的數(shù)據(jù)庫(kù)管理系統(tǒng)，也是目前流行的日志管理選項(xiàng)。Clickhouse 主要由 C++編寫(xiě)而成，在整個(gè)行業(yè)內(nèi)得到廣泛應(yīng)用。例如，Cloudflare 就使用 Clickhouse 來(lái)存儲(chǔ)其所有 DNS 和 HTTP 日志——每秒超過(guò) 1000 萬(wàn)行！Clickhouse 還是 Uber 的中央日志記錄平臺(tái)。Coinbase 最初之所以選擇自己動(dòng)手，主要目標(biāo)并不是節(jié)約成本，而是要獲取完全控制力和可觀測(cè)性。可觀測(cè)性和可靠性，也正是 Coinbase 在市場(chǎng)上與競(jìng)爭(zhēng)對(duì)手抗衡時(shí)的最大王牌。
但隨著加密貨幣市場(chǎng)的降溫， 成本開(kāi)始成為核心關(guān)注點(diǎn)，而內(nèi)部運(yùn)營(yíng)的 Grafana/Prometheus 方案也確實(shí)要便宜得多 。Coinbase 團(tuán)隊(duì)幾個(gè)月來(lái)一直在重復(fù)調(diào)試新技術(shù)棧，最終解決了所有問(wèn)題、確認(rèn)一切運(yùn)行正常。
就這樣，Coinbase 本打算就此跟 Datadog 說(shuō)拜拜，但 Datadog 在最后一刻挽救了這段合作關(guān)系，給 Coinbase 開(kāi)出一項(xiàng)其無(wú)法拒絕的優(yōu)厚條款。簡(jiǎn)單來(lái)說(shuō)，Datadog 后續(xù)開(kāi)出的賬單將遠(yuǎn)遠(yuǎn)低于 2021 年的 6500 萬(wàn)美元。畢竟就像 Brian Amstrong 在談到 2021 年的加密貨幣市場(chǎng)時(shí)說(shuō)的那樣， 6500 萬(wàn)美元的賬單在整個(gè)商業(yè)發(fā)展史上也不常見(jiàn) 。
為留住客戶，Datadog 打“骨折”
Orosz 就此事詢問(wèn)了 Coinbase 一位同時(shí)體驗(yàn)過(guò)內(nèi)部技術(shù)棧和 Datadog 的工程師，想聽(tīng)聽(tīng)對(duì)方怎么看待繼續(xù)留用 Datadog 的決定。這位工程師認(rèn)為，考慮到合理的成本和卓越的開(kāi)發(fā)體驗(yàn)，繼續(xù)選擇 Datadog 是個(gè)正確的決定。
Coinbase 最終已經(jīng)能在內(nèi)部設(shè)計(jì)出類似的體驗(yàn)，但要想實(shí)現(xiàn)與 Datadog 相近的無(wú)縫開(kāi)發(fā)者體驗(yàn)，那可能還需要耗費(fèi) 數(shù)十年 的工程投入。
而且可觀測(cè)性工具中的“昂貴”是個(gè)相對(duì)概念。比方說(shuō)，在大幅降價(jià)之后，如今 Coinbase 每年“僅”須在 Datadog 身上花費(fèi) 1000 萬(wàn)美元。那這 1000 萬(wàn)美元到底多不多？
第一反應(yīng)似乎仍然不少，但再深入剖析后可以發(fā)現(xiàn)，像 Datadog 這樣的平臺(tái)還有助于防止中斷、即時(shí)檢測(cè)并快速緩解宕機(jī)事故。
2022 年，Coinbase 曾發(fā)生過(guò) 18 次停機(jī)，總時(shí)長(zhǎng)約為 12 小時(shí)。根據(jù) 2022 年的收入計(jì)算，該公司的日均收入約為 900 萬(wàn)美元。假設(shè) Datadog 能夠通過(guò)早期監(jiān)控來(lái)防止中斷問(wèn)題，由此將中斷次數(shù)減少了一半，那就可以認(rèn)為如果沒(méi)有 Datadog 的參與，實(shí)際停機(jī)總時(shí)長(zhǎng)將是 24 個(gè)小時(shí)。
另外，假設(shè) Datadog 支持下的 Coinbase 能夠?qū)⒒謴?fù)速度提升至 2 倍（可能是因?yàn)?Datadog 會(huì)快速將健康指標(biāo)同日志、調(diào)試操作等聯(lián)系起來(lái)，幫助查明根本原因并改進(jìn)緩解效率），那么不用 Datadog 的總停機(jī)時(shí)長(zhǎng)將進(jìn)一步延長(zhǎng)到 36 個(gè)小時(shí)。
這樣做個(gè)簡(jiǎn)單的數(shù)學(xué)計(jì)算，Coinbase 選擇了 Datadog 之后單在停機(jī)時(shí)間上就省下了 900 萬(wàn)美元，所以現(xiàn)在每年 1000 萬(wàn)美元的支出可以說(shuō)是物有所值！
千萬(wàn)美元的可觀測(cè)賬單，并不罕見(jiàn)
在 DataDog 的案例中，由于該公司提供的不僅僅是可觀測(cè)性解決方案，還包括安全賬單，數(shù)字變得更加復(fù)雜。財(cái)報(bào)沒(méi)有說(shuō)明這家未具名的公司使用了多少此類 SaaS 服務(wù)。
“雖然 6500 萬(wàn)美元是一個(gè)令人震驚的數(shù)字，但對(duì)于傳統(tǒng)的可觀測(cè)性公司來(lái)說(shuō)，1000 萬(wàn)美元的賬單并不罕見(jiàn)。”可觀測(cè)性替代提供商 Groundcover 首席執(zhí)行官 Shahar Azulay 表示。
“像 Coinbase 這樣的大公司，不久前就已經(jīng)開(kāi)始以每年 1000 萬(wàn)美元的價(jià)格進(jìn)行采購(gòu)。”Azulay 說(shuō)道，“很多公司每年會(huì)向 Splunk、Dynatrace、DataDog 這樣的可觀測(cè)提供商支付超過(guò) 1000 萬(wàn)美元，甚至同時(shí)向多個(gè)供應(yīng)商支付，每個(gè)供應(yīng)商都超過(guò)兩位數(shù)的收入，這并不罕見(jiàn)。”
Azulay 補(bǔ)充道，重點(diǎn)在于可觀測(cè)供應(yīng)商如何定價(jià)。可觀測(cè)性解決方案監(jiān)控三種類型的數(shù)據(jù)：日志、度量和跟蹤(監(jiān)視交互的路徑，例如端到端事務(wù)和服務(wù)之間發(fā)生的事情)。這些數(shù)據(jù)源的增長(zhǎng)趨勢(shì)很難預(yù)測(cè)，尤其是當(dāng)“黑色星期五”這樣的事件出現(xiàn)時(shí)，用戶的使用量會(huì)達(dá)到峰值。
“ 它充滿很大的不可預(yù)測(cè)性，并對(duì)推送到日志中的數(shù)據(jù)量有很大的依賴 ，這就是有大量定價(jià)點(diǎn)的根本原因，因?yàn)槟銦o(wú)法控制，也無(wú)法知道下個(gè)月將支付多少。”Azulay 表示，更重要的是，即使合同是針對(duì)某一梯度水平的，一旦公司超過(guò)了該等級(jí)，那從當(dāng)天起，廠商就會(huì)按更高的等級(jí)費(fèi)率收費(fèi)。
“特定的 log lines 可以成為基礎(chǔ)設(shè)施的關(guān)鍵部分，例如谷歌的搜索引擎或任何每天運(yùn)行 100 萬(wàn)次的東西——只是客戶每天使用它 100 萬(wàn)次。”Azulay 表示，開(kāi)發(fā)人員可能只是將更多的 log lines 或數(shù)據(jù)點(diǎn)推送到系統(tǒng)中，但不知道更多。有一個(gè)這樣的循環(huán)：開(kāi)發(fā)人員創(chuàng)建應(yīng)用程序，構(gòu)建組織作為產(chǎn)品提供方應(yīng)該做的業(yè)務(wù)邏輯，然后做研發(fā)管理，直到兩個(gè)月后才發(fā)現(xiàn)：哦，這讓我們的價(jià)格上漲了 50%。
Azulay 認(rèn)為， 問(wèn)題可能會(huì)落在開(kāi)發(fā)人員身上，因?yàn)樗麄兿蚩捎^測(cè)性堆棧推送了太多信息 ，導(dǎo)致監(jiān)控生產(chǎn)的數(shù)據(jù)點(diǎn)數(shù)量減少了。“這是一個(gè)奇怪的惡性循環(huán)，開(kāi)發(fā)人員想要更多的數(shù)據(jù)來(lái)排除故障，而管理人員則需要權(quán)衡，他們必須為此支付大量的錢(qián)。”
不過(guò)，并非所有可觀測(cè)性公司都是這樣收費(fèi)的。使用 eBPF 代理的 Groundcover 不收集數(shù)據(jù)，它按生產(chǎn)環(huán)境中運(yùn)行的服務(wù)器數(shù)量收費(fèi)。
誰(shuí)是“大冤種”
很明顯，供應(yīng)商會(huì)對(duì)客戶的支出削減守口如瓶，我們只是很幸運(yùn)地從 Datadog 發(fā)言的細(xì)微線索中找到了 Coinbase。但 Coinbase 的情況絕不是個(gè)例 ，更多反映了市場(chǎng)的整體趨勢(shì) 。
Datadog 公司 CEO Olivier Pomel 證實(shí)，類似的成本優(yōu)化舉措正在全體客戶中間發(fā)生 ：
“觀測(cè)我們的數(shù)據(jù)，回顧我們從超大規(guī)模客戶那邊聽(tīng)到的聲音，總結(jié)客戶關(guān)于短期未來(lái)的觀點(diǎn)，我們確實(shí)對(duì)接下來(lái)的前景沒(méi)什么信心。換言之，下個(gè)季度、最多下下季度，大規(guī)模的降本增效就要到來(lái)。因此，就目前的指導(dǎo)方針和年內(nèi)規(guī)劃而言，我們認(rèn)為剩下的半年基本都會(huì)是這個(gè)情況。”
Datadog 的危機(jī)可能也還在繼續(xù)。Orosz 透露，Shopify 正打算跟 Datadog 脫鉤。
Orosz 表示，多家體量巨大的企業(yè)都在構(gòu)建自己的內(nèi)部 Grafana/Prometheus 技術(shù)棧，打算借此脫離原有可觀測(cè)性供應(yīng)商，而歸根到底還是錢(qián)的問(wèn)題。
“每年 200 到 500 萬(wàn)美元的固定支出就是逃離供應(yīng)商的最佳理由。畢竟一旦到了這個(gè)規(guī)模，理論上還不如雇用內(nèi)部團(tuán)隊(duì)自己接手這部分工作。”O(jiān)rosz 表示。
根據(jù)指導(dǎo)經(jīng)驗(yàn)，內(nèi)部基礎(chǔ)設(shè)施的運(yùn)營(yíng)成本要遠(yuǎn)低于供應(yīng)商開(kāi)出的價(jià)格。這是因?yàn)楣?yīng)商和企業(yè)往往都在使用相同的云基礎(chǔ)設(shè)施，可能是 AWS、Google Cloud Platform 或者 Azure。最大的區(qū)別在于，企業(yè)需要聘請(qǐng)專門(mén)的工程團(tuán)隊(duì)和技術(shù)人員來(lái)構(gòu)建并運(yùn)行這套基礎(chǔ)設(shè)施。
因此從成本角度看，最終權(quán)衡可以提煉成下面這條簡(jiǎn)單規(guī)則：
基礎(chǔ)設(shè)施成本 + 平臺(tái)團(tuán)隊(duì)成本 < 現(xiàn)有供應(yīng)商成本
其中，平臺(tái)團(tuán)隊(duì)成本會(huì)高于 100 萬(wàn)美元，有時(shí)候甚至超過(guò) 200 萬(wàn)美元。這是因?yàn)槠脚_(tái)團(tuán)隊(duì)至少要有 4、5 位工程師加一名經(jīng)理，他們的平均年薪都在 15 萬(wàn)到 40 萬(wàn)美元之間，具體由成本基礎(chǔ)決定。
所以當(dāng)服務(wù)賬單每年達(dá)到 200 甚至 300 萬(wàn)美元級(jí)別時(shí)，自建就比外包顯得更靠譜了。而完成最后臨門(mén)一腳的，則是供應(yīng)商在原始基礎(chǔ)設(shè)施之上又附加了多高的保留利潤(rùn)。
Orosz 表示自己想不通 Coinbase 的行為：為什么供應(yīng)商都把價(jià)格開(kāi)到 6500 萬(wàn)美元這個(gè)級(jí)別了，他們才開(kāi)始考慮自建團(tuán)隊(duì)？
“這可是 6500 萬(wàn)美元，Coinbase 完全能用它在灣區(qū)組建一支 10 名高級(jí)/資深工程師的豪華陣容，就算這樣成本每年也不會(huì)超過(guò) 500 萬(wàn)美元。之后就是給基礎(chǔ)設(shè)施做成本預(yù)算，這部分開(kāi)支每年也就不到 100 萬(wàn)美元吧。”O(jiān)rosz 感嘆道。
參考鏈接：
https://investors.datadoghq.com/static-files/18234a4f-04f9-4a9f-9679-668cd672fb7b
https://blog.pragmaticengineer.com/datadog-65m-year-customer-mystery/
https://thenewstack.io/datadogs-65m-bill-and-why-developers-should-care/
本文轉(zhuǎn)載來(lái)源：
https://www.infoq.cn/article/Ozc6Cyi65spmUqFIiaLg
