2022.10.15 產業分享
Host Sharing- “Data center brief view”-Paonias
What’s datacenter?
一開始科普一下資料中心(Data Center)是容納組織中IT設備的設施，包括伺服器、儲存、網路設備(如交換機、路由器和防火牆)，以及組織和連接設備所需的機架和佈線
Telecom vs Datacom
網路屬於DataCom，通訊則為TeleCom，兩者之間存在著不小的差異，DataCom為區域網路(LAN)，訊號涵蓋範圍小，最早期重視資料傳輸，用戶的頻寬是用買的；TeleCom為廣域網路(WAN)，訊號涵蓋範圍大、橫跨大區域，最早期主要用於電話與數據專線，用戶的頻寬是用租的
Telecom就是台灣中華電信、美國AT&T，電信傳輸設備提供商就會是Ericsson, Huawei及Nokia，Datacom就是傳輸數據，美國google、微軟及中國阿里主要廠商
Datacenter 3 +1 category
Compute 應用程式是資料中心的引擎。這些伺服器會提供驅動應用程式的處理程序、記憶體、本機儲存空間和網路連線 ex. CPU/GUP及DPU，大部分廠商是intel, AMD幾個大廠
Storage 數據是現代數據中心的燃料。存儲系統用於存放這種有價值的商品 ex. HDD, SSD 及 DRAM，主要是Samsung, seagate等
Networking 數據中心服務、存儲和外部連接連接到最終使用者位置，Cisco, Juniper 會製造Switch等元件
SI management 整合式解決方案，有許多不同的技術選項，包括融合架構系統、超融合架構系統和專屬設備。SI管理會建議提供客戶最好的解決方案，像是應用回應時間、資料量和檔案需求，以充分瞭解環境，較有名的就是Dell及HPE
Sharing- “霧運算” — Peter
霧運算（Fog Computing）是連接最終用戶設備的邊緣設備，以分散式協作架構進行資料存儲，或進行分散式網路封包傳輸通信。霧運算是由思科（Cisco）在2014年所提出的概念，為雲端運算的延伸，這個架構可以將運算需求分層次、分區域處理，以化解可能出現的網路塞車現象
簡單來說霧是在裝置與雲之間，減少傳輸時間跟提供超低延遲服務，存取速度非常之快。有些物聯網應用，每隔一段時間就會產生好幾 TB 的資料，卻無法將資料傳送到雲端並下載回來，這種情況也是使用霧運算模型的最佳時機
- 更輕壓：計算資源有限相比較雲平臺的構成單位 — 資料中心，霧節點更加輕！霧計算能夠過濾，如聚合使用者訊息（如不停傳送的感測器訊息），只將必要訊息傳送給雲，減小核心網路壓力
- 更低層：霧節點在網路拓撲中位置更低，擁有更小的網路延遲（總延遲=網路延遲 計算延遲），反應性更強
- 更可靠：霧節點擁有廣泛的地域分佈，為了服務不同區域使用者，相同的服務會被部署在各個區域的霧節點上，使得高可靠性成為霧計算的內在屬性，一旦某一區域的服務異常，使用者請求可以快速轉向其他臨近區域，獲取相關的服務。此外，由於使用霧計算後，相較雲端計算減少了傳送到雲端和從雲端傳送的資料量，和雲端計算相比延遲更短，安全風險也得到了進一步的降低！
- 更低延：除了物聯網的應用外，網上游戲、視訊傳輸、AR等也都需要極低的時延，這點霧計算也是有所發揮的
- 更靈便：霧計算支援很高的移動性，手機和其他移動裝置可以互相之間直接通訊，訊號不必到雲端甚至基站去繞一圈！此外，霧計算也支援實時互動、多樣化的軟硬體裝置以及雲端線上分析等
- 更節能：霧計算節點由於地理位置分散，不會集中產生大量熱量，因此不需要額外的冷卻系統，從而減少耗電，霧計算更省電！
My Sharing- “數據治理”
1/ Why 為何需要數據治理
身為行銷的你，是否滿手會員資料但卻不清楚輪廓?
身為業務的你，無法有效分析業績各種維度?
公司花了幾百萬、上千萬購買厲害資料庫，以為能夠馬上進行預測分析，帶來效益，卻因為沒有好好的進行數據設計，而放了滿滿垃圾，就是所謂的「Garbage In, Garbage Out」，想要有效分析自有數據資料，就必須透過有效數據治理進行整理
根據零售科學文章說明，從品牌商最寶貴的會員資料開始談起，大部分都重量不重質，往往搞不清楚自己會員數，故往往資料需要進行「清洗」，文中提及400萬會員大掃除後剩下不到100萬，為何會越洗越少，透過列舉五大點，讓各位明白進行方式與為何要做:
- 唯一性: 過去門市經營留下很多重複資料，沒有所謂的「key值」進行判斷，客戶時常忘記自己資料，服務員因為方便直接請會員再加入一次等狀況，造成重複狀況高－此時就需要清洗並「合併」
- 有效性: 需設計有效的會員資料，只留下姓名是不夠的，還需要手機、信箱與地址，且僅留下會員資料但尚未交易也需要被過濾
- 可驗證: 手機號碼非10碼就是一個常常可被驗證的依據，以及判斷生日的是否亂填，理論上都需要把這些資料清掉
- 相依性: 有一些欄位是有邏輯性的，例如性別男生對應身分證是1開頭，都能透過這樣方式去判斷
- 避免誤差: 洗完會員資料之後，會開始做第一次快速的會員資料分析，也會開始所有會員的年度累積貢獻加總，依據每個會員的累積貢獻做排序
簡言之，數據治理是數據品質控管的準則，用於管理、改善、維護、監控和保護企業內的數據。就是將原有的數據「活」起來，透過反覆檢查與校正，就可以明確掌握會員的樣貌
2/What 什麼是數據治理
數據治理框架式指為數據收集制定策略並符合和規姓，建立基礎的「數據模型」，所謂的數據模型內容包括3+1個部分
數據結構: 這是治理的起點，有效幫數據建立清單、內容定義和分類，主要描述數據的類型、內容、性質以及數據間的聯繫等
數據結構是數據模型的基礎，數據操作和約束都建立在數據結構上。最常見的是每一個業務部門負責處理特定的幾項數據，擁有數據的負責人要確定該項數據可以被清楚定義、標準化並向其他的同仁說明，並在共識會議上，確認這些數據，在整個公司內有唯一的明確定義
數據策略: 一旦釐清了數據與結構定義，就開始定義數據流程，透過角色、預算分配原則，開始盤點數據品質定義與設定相對應衡量指標，數據策略必須解決公司特定問題。往往企業卻忘記這一點，官僚主義可能會導致白做工，資源的浪費
數據工具: 正如數據策略一樣，數據治理方法也不需複雜多樣的工具。可以使用電子表格構建數據域清單或數據字典，也可以使用任何類型的圖形軟體來表示數據流
數據治理與小組建立:
- 數據決策委員會(DGC) 是與數據相關的總體決策機構，將權力下放給首席數據官（CDO）並指派數據擁有者。它定義了公司數據策略與數據治理目標、標準和策略設定了優先順序，並解決了從數據組織的其他級別升級的問題
- 關鍵數據成員（通常是業務單位或公司職能部門的負責人），首席資訊官，數據保護，首席資訊安全和CDO。它通常由首席運營官或同等人員擔任主席。CDO負責制定議程並執行理事會中制定的策略和決策
- 首席數據長(CDO) 全面負責數據治理，推動數據治理框架及其元件的定義和協調，幫助確定業務需求優先順序，並成為公司有價值的數據資產
- 數據負責人 對數據進行監督與執行，最終的品質負責人，須按照公司規模與地區進行指派，主要是針對決策進行執行的監督
- 數據管理員 每個數據擁有者組織的一部分，向數據負責人報告，專注於實現數據擁有者定義的數據品質業務目標。數據專員負責在其域中應用數據策略和標準，並向IT部門提供指導
過去幾年中，數據已成為商業價值的競爭基礎，公司在以龐大且不斷增長的數據集、嚴格的數據法規和頻繁的數據環境中競爭
數據治理是一個生態系，非單一專案
這個體系可以針對業務數據自動採集，同時在此一規則與框架下，企業有一致的標準，就能做到自動化，並且打破相對獨立的數據庫
