“數據中心”- Industry Sharing

H.L.
Oct 29, 2022

2022.10.15 產業分享

Host Sharing- “Data center brief view”-Paonias

What’s datacenter?

一開始科普一下資料中心(Data Center)是容納組織中IT設備的設施,包括伺服器、儲存、網路設備(如交換機、路由器和防火牆),以及組織和連接設備所需的機架和佈線

一個普通的data center你知道多大嗎? 幾乎是50*台北小巨蛋一樣

Telecom vs Datacom

網路屬於DataCom,通訊則為TeleCom,兩者之間存在著不小的差異,DataCom為區域網路(LAN),訊號涵蓋範圍小,最早期重視資料傳輸,用戶的頻寬是用買的;TeleCom為廣域網路(WAN),訊號涵蓋範圍大、橫跨大區域,最早期主要用於電話與數據專線,用戶的頻寬是用租的

Telecom就是台灣中華電信、美國AT&T,電信傳輸設備提供商就會是Ericsson, Huawei及Nokia,Datacom就是傳輸數據,美國google、微軟及中國阿里主要廠商

Datacenter 3 +1 category

Compute 應用程式是資料中心的引擎。這些伺服器會提供驅動應用程式的處理程序、記憶體、本機儲存空間和網路連線 ex. CPU/GUP及DPU,大部分廠商是intel, AMD幾個大廠

Storage 數據是現代數據中心的燃料。存儲系統用於存放這種有價值的商品 ex. HDD, SSD 及 DRAM,主要是Samsung, seagate等

Networking 數據中心服務、存儲和外部連接連接到最終使用者位置,Cisco, Juniper 會製造Switch等元件

SI management 整合式解決方案,有許多不同的技術選項,包括融合架構系統、超融合架構系統和專屬設備。SI管理會建議提供客戶最好的解決方案,像是應用回應時間、資料量和檔案需求,以充分瞭解環境,較有名的就是Dell及HPE

Sharing- “霧運算” — Peter

霧運算(Fog Computing)是連接最終用戶設備的邊緣設備,以分散式協作架構進行資料存儲,或進行分散式網路封包傳輸通信。霧運算是由思科(Cisco)在2014年所提出的概念,為雲端運算的延伸,這個架構可以將運算需求分層次、分區域處理,以化解可能出現的網路塞車現象

簡單來說霧是在裝置與雲之間,減少傳輸時間跟提供超低延遲服務,存取速度非常之快。有些物聯網應用,每隔一段時間就會產生好幾 TB 的資料,卻無法將資料傳送到雲端並下載回來,這種情況也是使用霧運算模型的最佳時機

霧計算 VS 雲端計算

  • 更輕壓:計算資源有限相比較雲平臺的構成單位 — 資料中心,霧節點更加輕!霧計算能夠過濾,如聚合使用者訊息(如不停傳送的感測器訊息),只將必要訊息傳送給雲,減小核心網路壓力
  • 更低層:霧節點在網路拓撲中位置更低,擁有更小的網路延遲(總延遲=網路延遲 計算延遲),反應性更強
  • 更可靠:霧節點擁有廣泛的地域分佈,為了服務不同區域使用者,相同的服務會被部署在各個區域的霧節點上,使得高可靠性成為霧計算的內在屬性,一旦某一區域的服務異常,使用者請求可以快速轉向其他臨近區域,獲取相關的服務。此外,由於使用霧計算後,相較雲端計算減少了傳送到雲端和從雲端傳送的資料量,和雲端計算相比延遲更短,安全風險也得到了進一步的降低!
  • 更低延:除了物聯網的應用外,網上游戲、視訊傳輸、AR等也都需要極低的時延,這點霧計算也是有所發揮的
  • 更靈便:霧計算支援很高的移動性,手機和其他移動裝置可以互相之間直接通訊,訊號不必到雲端甚至基站去繞一圈!此外,霧計算也支援實時互動、多樣化的軟硬體裝置以及雲端線上分析等
  • 更節能:霧計算節點由於地理位置分散,不會集中產生大量熱量,因此不需要額外的冷卻系統,從而減少耗電,霧計算更省電!

My Sharing- “數據治理”

1/ Why 為何需要數據治理

身為行銷的你,是否滿手會員資料但卻不清楚輪廓?

身為業務的你,無法有效分析業績各種維度?

公司花了幾百萬、上千萬購買厲害資料庫,以為能夠馬上進行預測分析,帶來效益,卻因為沒有好好的進行數據設計,而放了滿滿垃圾,就是所謂的「Garbage In, Garbage Out」,想要有效分析自有數據資料,就必須透過有效數據治理進行整理

到底這個月的業績是多少?「數據治理」是數據應用的基礎 Why Data Governance matters? (happylee.blog)

根據零售科學文章說明,從品牌商最寶貴的會員資料開始談起,大部分都重量不重質,往往搞不清楚自己會員數,故往往資料需要進行「清洗」,文中提及400萬會員大掃除後剩下不到100萬,為何會越洗越少,透過列舉五大點,讓各位明白進行方式與為何要做:

  1. 唯一性: 過去門市經營留下很多重複資料,沒有所謂的「key值」進行判斷,客戶時常忘記自己資料,服務員因為方便直接請會員再加入一次等狀況,造成重複狀況高-此時就需要清洗並「合併」
  2. 有效性: 需設計有效的會員資料,只留下姓名是不夠的,還需要手機、信箱與地址,且僅留下會員資料但尚未交易也需要被過濾
  3. 可驗證: 手機號碼非10碼就是一個常常可被驗證的依據,以及判斷生日的是否亂填,理論上都需要把這些資料清掉
  4. 相依性: 有一些欄位是有邏輯性的,例如性別男生對應身分證是1開頭,都能透過這樣方式去判斷
  5. 避免誤差: 洗完會員資料之後,會開始做第一次快速的會員資料分析,也會開始所有會員的年度累積貢獻加總,依據每個會員的累積貢獻做排序

簡言之,數據治理是數據品質控管的準則,用於管理、改善、維護、監控和保護企業內的數據。就是將原有的數據「活」起來,透過反覆檢查與校正,就可以明確掌握會員的樣貌

2/What 什麼是數據治理

數據治理框架式指為數據收集制定策略並符合和規姓,建立基礎的「數據模型」,所謂的數據模型內容包括3+1個部分

良好的數據始於良好的治理 (bcg.com)

數據結構: 這是治理的起點,有效幫數據建立清單、內容定義和分類,主要描述數據的類型、內容、性質以及數據間的聯繫等

數據結構是數據模型的基礎,數據操作和約束都建立在數據結構上。最常見的是每一個業務部門負責處理特定的幾項數據,擁有數據的負責人要確定該項數據可以被清楚定義、標準化並向其他的同仁說明,並在共識會議上,確認這些數據,在整個公司內有唯一的明確定義

數據策略: 一旦釐清了數據與結構定義,就開始定義數據流程,透過角色、預算分配原則,開始盤點數據品質定義與設定相對應衡量指標,數據策略必須解決公司特定問題。往往企業卻忘記這一點,官僚主義可能會導致白做工,資源的浪費

數據工具: 正如數據策略一樣,數據治理方法也不需複雜多樣的工具。可以使用電子表格構建數據域清單或數據字典,也可以使用任何類型的圖形軟體來表示數據流

數據治理與小組建立:

  • 數據決策委員會(DGC) 是與數據相關的總體決策機構,將權力下放給首席數據官(CDO)並指派數據擁有者。它定義了公司數據策略與數據治理目標、標準和策略設定了優先順序,並解決了從數據組織的其他級別升級的問題
  • 關鍵數據成員(通常是業務單位或公司職能部門的負責人),首席資訊官,數據保護,首席資訊安全和CDO。它通常由首席運營官或同等人員擔任主席。CDO負責制定議程並執行理事會中制定的策略和決策
  • 首席數據長(CDO) 全面負責數據治理,推動數據治理框架及其元件的定義和協調,幫助確定業務需求優先順序,並成為公司有價值的數據資產
  • 數據負責人 對數據進行監督與執行,最終的品質負責人,須按照公司規模與地區進行指派,主要是針對決策進行執行的監督
  • 數據管理員 每個數據擁有者組織的一部分,向數據負責人報告,專注於實現數據擁有者定義的數據品質業務目標。數據專員負責在其域中應用數據策略和標準,並向IT部門提供指導

過去幾年中,數據已成為商業價值的競爭基礎,公司在以龐大且不斷增長的數據集、嚴格的數據法規和頻繁的數據環境中競爭

數據治理是一個生態系,非單一專案

這個體系可以針對業務數據自動採集,同時在此一規則與框架下,企業有一致的標準,就能做到自動化,並且打破相對獨立的數據庫

Sign up to discover human stories that deepen your understanding of the world.

Free

Distraction-free reading. No ads.

Organize your knowledge with lists and highlights.

Tell your story. Find your audience.

Membership

Read member-only stories

Support writers you read most

Earn money for your writing

Listen to audio narrations

Read offline with the Medium app

H.L.
H.L.

Written by H.L.

Some personal reading notes. #BUSINESS #CONSULTANT #WSJ

No responses yet

Write a response