降低雲端資料儲存成本的 4 種方法

在過去的一年裡,經濟衰退、商業放緩、貨幣緊縮等詞越來越多地被聽到。不僅在經濟新聞和媒體中,幾乎所有公司都經常聽到這些討論——在董事會、管理層會議以及與潛在投資者和客戶接觸時。

當我們在這些渾水中航行我們的技術之船時,節省成本和貨幣紀律變得越來越必要,即使在那些表現出穩定的盈利能力和增長的組織中,甚至是在不久的將來獲得大量資本的組織中也是如此。

在經濟衰退時期降低雲端儲存成本

在過去的十年中,公有雲成本不斷增加,成為組織內最大的支出之一。報告預測,明年雲端支出將達到組織內技術預算支出的近一半。在雲端儲存資料被認為比每月雲端支出中的其他項目(例如運算和網路)便宜。然而,這項費用在總支出中也在增長,人們應該將其作為雲端支出整體減少的一部分來減少。

降低資料儲存成本是可能的

儘管組織越來越依賴其數據,但雲端預算中的這條線似乎注定會不可避免地成長。然而,雖然資料肯定會成長,但好消息是有有效的方法來控制儲存資料的成本。雲端供應商盡最大努力幫助組織客製化其雲端架構,使其更具成本效益。但為了專門減少資料儲存方面的支出,需要建立針對資料儲存的獨特需求量身定制的解決方案,而不是滿足於通用的雲端成本降低技術。

現在您應該採用的 4 種方法來降低雲端資料儲存成本

在本文中,我們將概述 4 種經過驗證 阿曼 WhatsApp 號碼數據 的資料儲存成本降低方法,這些方法是基於對雲端中儲存資料的底層架構的理解。因此,這些技術的採用和實施相當簡單,並且將在幾個月內降低雲端資料儲存成本,從而顯示出明顯的投資報酬率。

1.透過分層儲存降低資料儲存成本

大多數雲端供應商都提供儲存分層功能,而且使用起來相當簡單。使用分層儲存時,存取頻率較低的舊資料可以儲存在速度較慢、成本較低的儲存中。通常,組織中只有大約 20% 的資料會被頻繁訪問,因此這可能會節省大量成本。所有雲端提供者都支援生命週期管理,使用者可以定義有關資料物件如何以及何時在不同層之間移動甚至刪除的規則。以下是領先雲端供應商的一些產品:

WhatsApp數據

透過 Azure 中的資料生命週期管理優化成本

AWS S3 中的智慧分層可降低資料儲存成本

用於降低 GCP 成 們為這些年輕企業家提供培訓 本的物件生命週期管理

2. 使用適當的檔案大小、格式和壓縮來降低雲端資料儲存成本

特別是對於分析和表格數據

優化數據儲存方式可能​​會導致儲存成本的巨大差異。使用以列格式(例如 ORC 或 Parquet)儲存的大型(>100Mb)物件可以實現更有 台灣新聞 效率的壓縮。相同的數據,當儲存為小型 JSON 物件時(即使經過壓縮!)可能會大 2 到 5 倍,並且成本更高。

對於 OLAP 用例,這種最佳化還可以

顯著節省計算量,因為這些最佳化使計算更快、更有效率。選擇最合適的檔案格式和壓縮將證明其可以降低儲存成本和計算成本。

3.透過分支使用開發測試環境,降低資料儲存成本
建置和維護多個 ETL 需要組織定期開發和測試新的和現有的管道。為了在整個資料湖上正確測試這些管道,大多數資料工程師會做的是創建整個資料湖的本地副本並對其進行測試。如果經常這樣做,這種不當行為可能會導致資料儲存的倍增使用,這是完全不必要的。

解決方案是使用資料版本控制

工具,該工具將提供分支功能,從而無需複製資料本身即可建立開發和測試環境。該解決方案無需複製、維護和擺脫這些多個克隆,可以幫助顯著降低資料儲存成本,並提高資料工程效率。

LakeFS就是這樣的解決方案,它是一種開源解決方案,可在資料湖上提供類似 git 的操作。使用lakeFS,資料工程團隊可以立即建立開發和測試環境,而無需複製任何內容,因為lakeFS使用元資料(指向資料的指標),並且不會建立資料本身的副本。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *