2022.10.15 產業分享
Host Sharing- “Data center brief view”-Paonias
What’s datacenter?
一開始科普一下資料中心(Data Center)是容納組織中IT設備的設施,包括伺服器、儲存、網路設備(如交換機、路由器和防火牆),以及組織和連接設備所需的機架和佈線

Telecom vs Datacom
網路屬於DataCom,通訊則為TeleCom,兩者之間存在著不小的差異,DataCom為區域網路(LAN),訊號涵蓋範圍小,最早期重視資料傳輸,用戶的頻寬是用買的;TeleCom為廣域網路(WAN),訊號涵蓋範圍大、橫跨大區域,最早期主要用於電話與數據專線,用戶的頻寬是用租的
Telecom就是台灣中華電信、美國AT&T,電信傳輸設備提供商就會是Ericsson, Huawei及Nokia,Datacom就是傳輸數據,美國google、微軟及中國阿里主要廠商
Datacenter 3 +1 category
Compute 應用程式是資料中心的引擎。這些伺服器會提供驅動應用程式的處理程序、記憶體、本機儲存空間和網路連線 ex. CPU/GUP及DPU,大部分廠商是intel, AMD幾個大廠
Storage 數據是現代數據中心的燃料。存儲系統用於存放這種有價值的商品 ex. HDD, SSD 及 DRAM,主要是Samsung, seagate等
Networking 數據中心服務、存儲和外部連接連接到最終使用者位置,Cisco, Juniper 會製造Switch等元件
SI management 整合式解決方案,有許多不同的技術選項,包括融合架構系統、超融合架構系統和專屬設備。SI管理會建議提供客戶最好的解決方案,像是應用回應時間、資料量和檔案需求,以充分瞭解環境,較有名的就是Dell及HPE
Sharing- “霧運算” — Peter
霧運算(Fog Computing)是連接最終用戶設備的邊緣設備,以分散式協作架構進行資料存儲,或進行分散式網路封包傳輸通信。霧運算是由思科(Cisco)在2014年所提出的概念,為雲端運算的延伸,這個架構可以將運算需求分層次、分區域處理,以化解可能出現的網路塞車現象
簡單來說霧是在裝置與雲之間,減少傳輸時間跟提供超低延遲服務,存取速度非常之快。有些物聯網應用,每隔一段時間就會產生好幾 TB 的資料,卻無法將資料傳送到雲端並下載回來,這種情況也是使用霧運算模型的最佳時機

- 更輕壓:計算資源有限相比較雲平臺的構成單位 — 資料中心,霧節點更加輕!霧計算能夠過濾,如聚合使用者訊息(如不停傳送的感測器訊息),只將必要訊息傳送給雲,減小核心網路壓力
- 更低層:霧節點在網路拓撲中位置更低,擁有更小的網路延遲(總延遲=網路延遲 計算延遲),反應性更強
- 更可靠:霧節點擁有廣泛的地域分佈,為了服務不同區域使用者,相同的服務會被部署在各個區域的霧節點上,使得高可靠性成為霧計算的內在屬性,一旦某一區域的服務異常,使用者請求可以快速轉向其他臨近區域,獲取相關的服務。此外,由於使用霧計算後,相較雲端計算減少了傳送到雲端和從雲端傳送的資料量,和雲端計算相比延遲更短,安全風險也得到了進一步的降低!
- 更低延:除了物聯網的應用外,網上游戲、視訊傳輸、AR等也都需要極低的時延,這點霧計算也是有所發揮的
- 更靈便:霧計算支援很高的移動性,手機和其他移動裝置可以互相之間直接通訊,訊號不必到雲端甚至基站去繞一圈!此外,霧計算也支援實時互動、多樣化的軟硬體裝置以及雲端線上分析等
- 更節能:霧計算節點由於地理位置分散,不會集中產生大量熱量,因此不需要額外的冷卻系統,從而減少耗電,霧計算更省電!
My Sharing- “數據治理”
1/ Why 為何需要數據治理
身為行銷的你,是否滿手會員資料但卻不清楚輪廓?
身為業務的你,無法有效分析業績各種維度?

公司花了幾百萬、上千萬購買厲害資料庫,以為能夠馬上進行預測分析,帶來效益,卻因為沒有好好的進行數據設計,而放了滿滿垃圾,就是所謂的「Garbage In, Garbage Out」,想要有效分析自有數據資料,就必須透過有效數據治理進行整理

根據零售科學文章說明,從品牌商最寶貴的會員資料開始談起,大部分都重量不重質,往往搞不清楚自己會員數,故往往資料需要進行「清洗」,文中提及400萬會員大掃除後剩下不到100萬,為何會越洗越少,透過列舉五大點,讓各位明白進行方式與為何要做:
- 唯一性: 過去門市經營留下很多重複資料,沒有所謂的「key值」進行判斷,客戶時常忘記自己資料,服務員因為方便直接請會員再加入一次等狀況,造成重複狀況高-此時就需要清洗並「合併」
- 有效性: 需設計有效的會員資料,只留下姓名是不夠的,還需要手機、信箱與地址,且僅留下會員資料但尚未交易也需要被過濾
- 可驗證: 手機號碼非10碼就是一個常常可被驗證的依據,以及判斷生日的是否亂填,理論上都需要把這些資料清掉
- 相依性: 有一些欄位是有邏輯性的,例如性別男生對應身分證是1開頭,都能透過這樣方式去判斷
- 避免誤差: 洗完會員資料之後,會開始做第一次快速的會員資料分析,也會開始所有會員的年度累積貢獻加總,依據每個會員的累積貢獻做排序
簡言之,數據治理是數據品質控管的準則,用於管理、改善、維護、監控和保護企業內的數據。就是將原有的數據「活」起來,透過反覆檢查與校正,就可以明確掌握會員的樣貌

2/What 什麼是數據治理
數據治理框架式指為數據收集制定策略並符合和規姓,建立基礎的「數據模型」,所謂的數據模型內容包括3+1個部分

數據結構: 這是治理的起點,有效幫數據建立清單、內容定義和分類,主要描述數據的類型、內容、性質以及數據間的聯繫等
數據結構是數據模型的基礎,數據操作和約束都建立在數據結構上。最常見的是每一個業務部門負責處理特定的幾項數據,擁有數據的負責人要確定該項數據可以被清楚定義、標準化並向其他的同仁說明,並在共識會議上,確認這些數據,在整個公司內有唯一的明確定義

數據策略: 一旦釐清了數據與結構定義,就開始定義數據流程,透過角色、預算分配原則,開始盤點數據品質定義與設定相對應衡量指標,數據策略必須解決公司特定問題。往往企業卻忘記這一點,官僚主義可能會導致白做工,資源的浪費

數據工具: 正如數據策略一樣,數據治理方法也不需複雜多樣的工具。可以使用電子表格構建數據域清單或數據字典,也可以使用任何類型的圖形軟體來表示數據流

數據治理與小組建立:
- 數據決策委員會(DGC) 是與數據相關的總體決策機構,將權力下放給首席數據官(CDO)並指派數據擁有者。它定義了公司數據策略與數據治理目標、標準和策略設定了優先順序,並解決了從數據組織的其他級別升級的問題
- 關鍵數據成員(通常是業務單位或公司職能部門的負責人),首席資訊官,數據保護,首席資訊安全和CDO。它通常由首席運營官或同等人員擔任主席。CDO負責制定議程並執行理事會中制定的策略和決策
- 首席數據長(CDO) 全面負責數據治理,推動數據治理框架及其元件的定義和協調,幫助確定業務需求優先順序,並成為公司有價值的數據資產
- 數據負責人 對數據進行監督與執行,最終的品質負責人,須按照公司規模與地區進行指派,主要是針對決策進行執行的監督
- 數據管理員 每個數據擁有者組織的一部分,向數據負責人報告,專注於實現數據擁有者定義的數據品質業務目標。數據專員負責在其域中應用數據策略和標準,並向IT部門提供指導
過去幾年中,數據已成為商業價值的競爭基礎,公司在以龐大且不斷增長的數據集、嚴格的數據法規和頻繁的數據環境中競爭
數據治理是一個生態系,非單一專案
這個體系可以針對業務數據自動採集,同時在此一規則與框架下,企業有一致的標準,就能做到自動化,並且打破相對獨立的數據庫