企業如何以客戶為中心進行數據化運營?-看這個實例

週一, 六月 26. 2017

當下互聯網的餘震未醒,「新零售」又提出。成本上升、人口紅利消失、電商滲透率飽和都在倒逼零售的整體升級。

不管業內業外,政府公司,都在談轉型。但關鍵如何轉型,基點在哪?這都需要探索。

有人說,消費變革的起點一定是在里消費者最近的地方,其中最關鍵的一環,就是要提升自身的數據能力,真正實現以用戶體驗為中心的經營模式。

就在上月,步步高集團電商事業部產品技術總監王衛東在帆軟零售大會上發表了一場「頗具格局」的演講。從數字化創新驅動業務發展、「人貨場」的[url=http://www.finereport.com/tw/]數據分析[/url]、再談到實際的數據化管理案例。

全程乾貨滿滿,總計4700餘字,建議閱讀時間10分鐘。

步步高商業連鎖股份有限公司(下文簡稱步步高),是涉及零售業、電子商務、商業地產、互聯網金融、大型物流等多業態的大型商業集團。目前擁有步步高超市、步步高百貨(廣場)、步步高雲猴網、步步高置業(步步高新天地)、步步高電器城、太楚餐飲、匯米巴便利店等業態。2016年銷售收入超過320億元人民幣,位列中國民營企業500強第158位。

[b]一、數字化創新驅動業務變革[/b]

2017年是步步高數字化轉型的一年,總體數字化創新戰略方針是線上節約顧客時間,線下「浪費」顧客時間,創造更好的購物體驗。步步高擁有百貨和超市兩大事業群,兩個事業群的客戶群體是不同的。步步高超市業務以快捷為主,百貨業務以客戶體驗為主。如何通過數字技術來提高客戶滿意度呢?總體是增強智慧體驗、優化線上渠道、客戶畫像精準行銷三個路徑來實現技術驅動業務創新。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061601.png[/img]

[b]客戶獲取與經營的閉環[/b]

運營的關鍵是兩條線:獲客和經營。我們的數字運營體系,圍繞著用戶的運營這個重心,以顧客為中心,融合數字技術形成客戶獲取與客戶經營閉環。抓好這兩條線,讓客戶群不斷壯大,提高客戶成長轉化率,以此來保證毛利的提高。零售行業是個薄利行業,提高企業毛利,就是要在這個閉環裡面多下功夫。具體怎麼下功夫呢?可以針對性活動設計(目的)、分析人群相關性(精準)、交易簡便個性化、提供更多價值(權益/服務)、了解顧客喜好(消費偏好)、贏得顧客信任和主動傳播。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061602.png[/img]

[b]客流數據分析建模[/b]

傳統零售的數據是基於交易客流,基本等同於俗稱的會員。商超裡面的客流其實分為交易客流、飯店客流、進店客流、到達客流、潛在客流。這裡最容易獲取的就是交易客流,因為企業現有的CRM系統或者收銀系統基本都能涵蓋這部分客流。而現行的基於CRM客流管理和收銀系統客流管理模式有兩個管理上的缺陷。一是普遍重視客戶的消費能力,而忽視傳播與分享能力,也無法量化客戶的傳播與分享能力;二是高度重視新用戶的數量積累,而忽視後期的長期服務和維護,靠利益刺激,吸引促銷客戶而非忠誠客戶。我們應該有新的認知:到店即是會員,得顧客數據者得天下。怎麼得顧客數據?這就要建立一整套的全顧客全消費行為管理的客流分析系統。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061603.png[/img]

[b]身份識別[/b]

顧客到店,不同級別的會員消費不同,給企業帶來的效益也有較大差別。如何提前區分會員等級?而不是在收銀的時候強制出示會員卡來事後統計會員。首先,是對不同渠道、方式獲取的顧客機那裡統一的ID和ID映射圖譜方案,能夠在具體的場景中識別顧客。比如步步高用WIFI探針、手機號、微信號、支付寶ID、人臉識別等等。只要有了顧客ID,那麼客戶就成為了廣義的會員,把這些有身份信息的會員管理起來,在不同的場景中預判用戶行為,在顧客離店之前便進行適當的會員關懷和消費引導。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061604.png[/img]

[b]客流分析系統[/b]

客流分析系統的升級,戰略目標就是要獲取全顧客全消費行為數據。傳統的客流分析系統,主要是人工統計、紅外感應、視頻檢測,採集到的主要就是進店客流、POS等銷售數據,能做的工作優先,主要是就是強化管理,努力提高顧客轉化率。然而,一方面是競爭加劇,另一方面是經營成本增加,這些都要求步步高必須要做變革,以保持較強的競爭力。升級的客流分析系統,重點是對到達客流、車流數據、顧客運動軌跡、WIFI探針等做挖掘建設。通過識別和數據採集技術以及數據分析技術,步步高得以豐富會員畫像做精準的會員成長關懷和管理,提高客單附加值,提高會員活躍度,甚至從周邊商圈吸引到潛在客流並最終轉化為忠誠會員。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061605.png[/img]

[b]二、數據分析綱要

數據分析的核心三要點[/b]

我們鋪設整體的信息化,是有明確的綱要的。這個綱要就像是做項目的章程,是我們的指導文件。數據分析的核心三要素是什麼,是數據一致、實用當先、以人為先。保持數據的一致性,是要解決數據分散在各個系統,不同部分重複開發報表,不同[url=http://www.finereport.com/tw/]報表製作[/url]計算口徑不一的問題。步步高通過建立統一的數據倉庫,集中解決數據不一致的問題,並保持嚴格的定期維護。杜絕華而不實,實用當先,不做表面文章,重在先能用,再好用。步步高數據分析項目一期,明確暫緩大屏項目,優先從查詢報表、監控報表、數據分析報表三步逐次實現。這就是堅持先能用再好用。以人為先,工具次之。帆軟工具確實數據分析領域的成熟的平台,但工具再好用,做再多的分析,業務人員不會用,也是捨本逐末,功虧一簣。步步高通過成立專業的大數據學院,在企業內部培養[url=http://www.finereport.com/tw/]大數據分析軟體[/url]專業人才,精通業務,熟練掌握數據分析工具,然後由他們結合企業特點,向集團各單位推廣數據分析平台。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061606.png[/img]

[b]人貨場財指標梳理[/b]

傳統零售運營,分四個維度:人、貨、場、財。雖然大體維度相似,但具體到指標,還是各有不同。我們針對自身,做了專門的維度和指標的梳理。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061607.png[/img]

人員,主要分為員工和顧客,前者是對內管理,後者是管理客戶運營。如何用這些數據,如果做對內管理,我們要規劃好目標,規劃好對內管理的定位。要想對內管理好用到位,必須基於每一個[url=http://www.finereport.com/tw/]商業智慧[/url]單位設置各自的KPI考核。千萬不要給自己挖坑,做個高大上的分析或者報表。不用高大上,只需要幾個關鍵指標值。作為業務人員,他更多關注的是老闆對他設定的考核指標,如何改善公司層面的業績。業務人員關注的,是KPI。顧客分析,重點考核3個指標:客單價、毛利率、會員數。客單價的變化,毛利率的變化,會員的整理流失、有效、貢獻、年齡層次變化直接在日報中體現,每天都要抓。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061608.png[/img]

貨。我們從採購環節、供應鏈環節、銷售環節、售後環節進行指標管理和控制,穿透整個經營環節。我們只把關鍵指標篩選出來,作為監控項和管理項。具體的監控和管理指標,可以看上圖。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061609.png[/img]

場。我們在場這個維度上重點管理績效。包括銷售指標、競爭情況指標、促銷指標、渠道指標。每次促銷活動,不僅會監測會員和銷量指標,還會重點監測場指標,貨源是零售長期穩定經營的基石。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061610.png[/img]

財。財務重點關注的一點就是毛利和回款。步步高的百貨,重點還關註銷售利潤率。

[i][u]數據分析,報表實例,專業的人都在這裡!加入[url=https://www.facebook.com/twfinereport/]FineReport臉書粉絲團[/url]![/u][/i]

[b]三、數據分析案例[/b]

我們的數據分析項目2017年還在重點就建設中。很多的數據分析的實踐剛有起色,並未得到長期的經營驗證。所以部分經驗和案例效果圖還不便公開,我們也本著開放的心態,歡迎更多同行能前來交流。這裡就部分內容做個分享。

[b]巡店預警[/b]

我們的會員管理部分只關注門店會員數據,其他周邊數據業務部門並不想要。所以不需要定製太多的報表,也不需要提供太多的維度和指標數據。曾經,兩個月的時間完成的初版巡店預警控制報表,一線人員反饋說沒用。他們只關注商品調撥,需要實時查詢相關數據。這個預警報表能不能告訴業務人員當前門店哪個品類、哪個商品有問題,告訴業務人員這些,就是他們最需要的。我們對初版報表稍作改動,出來了下圖的最終版。現在一線業務人員,可以通過一張報表直接告訴他們那些商品有異常,哪些銷量有異常,哪些會員有異常。旗下的梅西新天地有1萬多款SKU,這一張報表就可以完成監測和分析。當然,針對會員也提供了關鍵指標畫像,只提供業務人員最為關注的幾個指標。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061611.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061612.png[/img]

[b]對標比價[/b]

我們引入京東、天貓、一號店以及其他同行的一些外部數據,監測零售同行商品的價格走勢和當前活動。根據外部數據,步步高一整套數據分析報表會自動給門店經理手機提示異常,會直接告訴他哪些價格有異常,同行的當前價格和歷史價格多少,以及預測近期價格走勢,並給店長提供建議價格做參考。

除了銷售對標比價,另一個就是採購。如果發現採購價格高於隔壁同行,商超裡面採購經理會說別人家在做促銷活動,或者有其他原因。但是顧客偏偏就是漸漸到隔壁家消費去了。現在專門開發了對標比價系統,店長拿著手機,對著商品QR code一掃,就能立馬顯示天貓、京東、一號店甚至是一些隔壁同行的價格。步步高在每個超市門店,都實現了對標比價的應用對接。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061613.png[/img]

[b]異常監測分析[/b]

目前我們已經建立了銷售、毛利、庫存、會員和積分的五大異常模塊。原來傳統的方式監測是依靠專家經驗(甚至很多企業現在也是這麼做的)。那麼我們分析一下,對於出差,第一周1次,第二周2次,第三周2次,第四周0次,第五周4次,第五周是否異常?如果專家判斷3次以上算異常,那就是異常,如果專家判斷4次以上是異常,那就4次剛好達標,不算異常。這裡面就有人為制定固定標準的局限。同理,我們看訂單數變化,連續多日統計後,某一天訂單量為85,這是否異常?同樣類似的會員消費,消費頻率達到多少算是活躍會員?業務專家給的指標建議,都是固定的,很難自動調節。我們也很難針對每個SKU、每個訂單都單獨去做人工測試。那怎麼辦?步步高採用的是建立分析模型,系統自動算一個標準差為基礎的UCL、LCL和CL。因為這個是固定一個標準差,所以分析模型是專業的。而整個三個指標的計算,是系統動態的根據近期數據或者整個歷史數據自動計算的,所以這三個指標也是隨著業務發展自動變化的。這樣就節約了指標維護的工作量。再對訂單數通過該模型分析,模型給出UCL=81,那麼顯然訂單數85屬於銷售異常。異常檢測分析,其實核心就是建立動態的異常指標。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061614.png[/img]
[b]
到店客流監測[/b]

到店顧客,其實是需要我們重點經營轉化的。那麼要思考幾個問題:這些客戶從哪裡來,客戶量有沒有變化,這些客戶要消費什麼,這些客戶哪些是常客,這些客戶都對哪些店面感興趣等等。能用數據回答清楚這幾個問題,就方便進行顧客的數據運營和管理了。

首先,如何回答這些客戶數量的變化。因為一天接待的顧客眾多,很難用人員觀察統計,即使採用定時定點安排人統計人數,也是不科學抽樣,可信度不高。步步高升級了客流分析系統,得以通過停車場數據系統、WIFI探針數據、人臉識別等技術自動識別客流變化,然後,定製出客流量檢測看板。步步高主要關注近一小時累計客流量、近一小時新增客流量、今日累計客流量、今日平均停留時間這四個主要指標。當然,還針對歷史數據做對比分析,會對比昨日數據,看指標變化數值和變化幅度。這些指標變化也是納入異常檢測分析範圍的,只要超出動態的CCL和UCL,系統自動給店長預警,提示相關人員採取措施,並關聯KPI績效。督促一線人員及時有效的解決問題。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061615.png[/img]

那麼客流總數異常,從哪些維度查找原因呢?或者客流總數正常,客流質量是否也正常呢?步步高重點關注兩個對比類指標。一個是新老客戶佔比,一個是今日客戶到店分布對比。客流數異常,首先要看的就是新老客戶佔比和數量的變化,新客戶減少可能是宣傳或者促銷的問題了;老客戶減少,多半是會員政策或者商品經營出了問題。這樣,步步高就幫助業務人員快速分析業務問題,及時幫助解決業務問題。當然,及時客流總數正常,也要關注新老客戶佔比變化。比如開展促銷活動,新客戶佔比增加顯然是促銷的一個關鍵指標。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061616.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061617.png[/img]

到店客戶,他們來了,我們想知道他們都停留在哪裡,去了哪裡,好做針對性的店面布局和行銷管理。步步高採用電子圍欄技術、WIFI探針、人臉識別等技術,實時採集人流分布數據和運動軌跡。那做這個是什麼目的呢?其實說白了就是為了百貨經營時增加客戶的整體駐留時間,提高消費的可能性。步步高在梅西新天地做了客流實時分布分析和客流軌跡分析。通過這些分析,步步高可以判斷客流都是從哪些區域過來的,甚至是從哪個周邊小區過來的。然後從不同區域進店的客戶,消費目的有和不同,消費習慣有何不同,是否有更多的消費需求可以挖掘。負責管理的樓層長經理要思考:為什麼一些區域熱度很高,另一些區域熱度卻很低,為什麼有些熱度高的區域最終毛利卻不高,現在的店面布局是不是有更合理的方案。

通過對客流的監測和分析,步步高將一些經營決策所需要的數據和信息下放到基層管理崗,讓熟悉業務個店長樓層長來提出決策建議,供高層選擇,用數據來支撐決策,用可視化分析提高決策效率和科學性。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061618.png[/img]

文 | 帆軟數據應用研究院 船長

企業數據分析部門組織架構形式探討

週二, 六月 20. 2017

數據時代的到來使企業越來越意識到數據的價值,企業紛紛建立自己的[url=http://www.finereport.com/tw/]數據分析[/url]團隊.花重金招攬的數據人才怎麼融入到本企業組織中才能發揮他們的才能呢?本文試圖分析數據分析部門組織架構形式的優劣及影響。

從數據分析部門與傳統IT部門的關係來看,分析部門有兩種形式:[b]設立獨立的分析部門或設在IT部門下,由一個CIO管轄。[/b]

從數據分析人員是否集中來看也分兩種情況:數據分析人員集中在[url=http://www.finereport.com/tw/]大數據分析軟體[/url]中心或者數據分析人員分散在各個業務部門。或者混合情況:兩者都有數據分析人員,但職能分工不同。

下面具體分析三種典型組合情況:

[b]第一種形式為傳統式,[/b]

如下圖:大數據中心設立在IT部門下,數據分析師集中在大數據中心。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061505.png[/img]

這是一種大信息中心的形式。這種形式的特點是大數據中心與IT合并在一起,貼近數據源,業務部門向大數據中心提需求,大數據中心根據需求統一排期開發、分析。這時一般傳統的報表、臨時需求分析等也可能會與業務系統分開,由大數據中心管理。大數據中心對接各業務系統數據源在部門內部即可解決。各業務部門只需要跟大信息中心一次提需求即可。業務部門沒有自己的分析挖掘團隊,但一般會有傳統的報告分析。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061506.jpg[/img]

這種形式大多由傳統[url=http://www.finereport.com/tw/]BI系統[/url]部門演變而來。傳統的經營分析中心或[url=http://www.finereport.com/tw/]商業智慧[/url]部演變為大數據中心,在數據倉庫基礎上增建大數據平台,增加大數據及數據挖掘人才,在原來的[url=http://www.finereport.com/tw/]報表製作[/url]的基礎上建設更深入的數據分析應用。

[b]優點:[/b]數據中心與IT在一個部門,離數據近,數據整合便利,保障數據質量高。集中的需求管理也使內部溝通有效,避免重複開發,也可以使分析師內部總結提高。

[b]缺點:[/b]離業務較遠,尤其是分析團隊與業務部門的工作地點不同時,容易與業務部門溝通不暢,閉門造車。如果業務變化快,無法跟上業務的步伐,對數據的思考不夠深入,與業務部門溝通成本加大。

針對分析師集中後離業務較遠的弊端有一種方法為:分析師仍然集中在大數據中心,但分析資源的使用、請求在各個業務部門,企業各業務部門自己根據項目需求請求所需的分析師。這種情況下分析師需要同時向本部門和業務部門彙報工作。

[b]第二種形式為集中式。[/b]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061507.png[/img]

這種形式與第一種的主要區別在於大數據中心是否獨立。

這種形式的特點是公司所有與數據相關的平台建設、數據應用、數據分析挖掘都歸屬到一個部門,此部門是數據管理的唯一出口,業務部門不設立自己的分析團隊,IT部門也不負責相應平台開發維護。

[b]優點:[/b]部門職責明確單一。指標由一個部門計算,口徑統一,且與業務部門獨立,所以立場獨立,分析結果更中立。

[b]缺點:[/b]同時具有第一種形式的缺點,並且離業務部門及業務系統都較遠,無論是數據理解還是業務理解都可能不夠深入,同時如果大數據平台開發維護能力不強,會有技術困難難以推進。

[i][u]數據分析,報表實例,專業的人都在這裡!加入[url=https://www.facebook.com/twfinereport/]FineReport臉書粉絲團[/url]![/u][/i]

[b]第三種形式為混合式[/b]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061508.png[/img]

此圖與之前的主要區別在於業務部門是否有分析師。這裡不再分析大數據中心是否獨立的問題。主要分析大數據中心下分析師與業務部門分析師的職能及定位。

大數據中心分析團隊職責主要集中在整個企業級的數據產品、數據應用、數據分析。服務的對象也主要是公司級的部門和領導。他們技術能力和業務能力更強,能利用最新技術解決業務問題,同時必要時對業務部門分析團隊給予指導。

而各業務部門自己的分析團隊主要服務於自己部門內部,技術能力不等,以前主要根據報表做統計或分析報告,但他們本身在業務部門對業務理解深入,主要是利用數據解決業務問題。有些強勢部門可直連倉庫自己寫SQL提數,定製開發簡易報表,技術強的業務部門甚至要求建設自己的數據集市,搭建自己的挖掘團隊。

這種形式下的主要缺點是兩者職責有時劃分不清,造成部門利益為重、爭搶項目、職責推諉、重複開發、口徑不一致等問題。各業務部門的分析團隊之間交流不暢,技能提升有限。有一種變通的方法為打破各部門利益障礙,建立橫向的虛擬分析團隊,加強虛擬團隊內部溝通交流,甚至團隊內部成員作為共享資源可根據項目周期流動。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061509.png[/img]

通過以上分析可以發現為發揮分析優勢,是在集中分析部門便於內部交流與靠近業務便於理解業務的矛盾的平衡。

每個形式都有各自的優點與缺點,沒有對錯之分。沒有最好的只有最合適的,每個企業都要根據自己的實際情況進行調整。

文 | 岳瑞
文章源自:數據陽光

從DAMA出發,一個指標庫到底是如何煉成的?

週一, 六月 19. 2017

在數據管理領域,我們通常將數據分為:主數據、交易數據、參考數據、元數據和統計[url=http://www.finereport.com/tw/]數據分析[/url](指標), 指標是[url=http://www.finereport.com/tw/]BI系統[/url]裡面核心的概念,是一個企業數據運營關注的核心數據,一般以KPI和報表的形式體現。

從實踐來看,一個企業要進行數據治理,涉及了架構、安全等諸多層面,但最迫切的是提升數據質量,其中指標質量則是重中之重,一般業務上90%以上關於數據的疑問都從指標的質疑開始,只要你從事數據相關工作,就應該深有體會。

「這個指標好像跟業務發展實際不符,快去查查」,估計這是報表取數人員聽到的最多的一句話了。

下文就來談談如何從根本上去提升指標的數據質量,即實現指標的標準化,作為一個數據管理人員,不管你有多少能力,曾經解決了多少問題,當過多少回救火英雄,都應該從更為長遠的角度來思考這個問題。

指標標準化的核心價值在於實現「書同文,車同軌」,即通過針對指標的一系列管理過程,去提升指標準確性、一致性、敏捷性及開放性。

DAMA將數據治理放到核心地位,指標的標準化就是個典型的數據治理問題,治標是容易的,治本的代價則太高,但如果要實現進階,還是要站的高一點,多思考一下,想想是否有更好的方法,就從筆者多年前做過的指標標準化項目開始吧,分為[b]組織保障、報表梳理、指標整合、實現方式、功能架構、可視化引擎及管理流程[/b]等七個方面。

[b]1、組織保障[/b]

指標庫這類數據管理項目,或稱BI項目,一般業務部門參與的力度是不大的,這是大多BI項目實施效果不佳的一個深層次原因。

DAMA提到要實施數據治理活動,跨部門的數據治理委員會等是關鍵的組織,的確是這樣,指標跟全公司每個單位都相關,對於其進行規範化改造當然應該獲得大家的一致同意。

可惜的是,大多企業沒有這個理想條件,也不會有數據治理委員會,在數據還未成為真正的實質性資產前,比如納入財務部的資產目錄,很少有企業會設立這個數據組織,因為效益不明顯,因此,哪個企業都不大可能為指標出一個規範並且通令全公司貫徹執行,對於數據管理人員,指標庫這個事情也許意義不小,但對於全公司意義則小了,這是現狀。

在沒有公司層面的組織保障前,數據管理人員或BI部門大多得靠自己,通過自己來推動事情往前走, 這是應有的態度,你不提,公司也沒有任何人會提,畢竟你是最大受益者,實施指標庫這個事情非常複雜,誰都沒有成功的把握,秉持小步快跑,試點探索的原則是不錯的。

筆者的這個指標庫項目獲得了分管領導的強力支持,這是項目能進行的現實組織保障,其實這類管理項目設立之初,很難讓業務部門和一線人員馬上認識到其價值並充分參與進來,這個溝通管理成本太高了,但無論如何,一個數據治理項目能否成功,公司的支持是第一要務,不僅僅是IT部門的事情,DAMA的很早就在《DAMA數據管理知識體系指南》明確了數據治理的組織要點,以下是DAMA的數據治理組織架構圖,非常超前:

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061516.png[/img]

當然我覺得現實的組織演進也許如下圖更合適,但道理是一樣的,相關利益方需要對這個事情達成共識:

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061517.png[/img]

[b]2、報表梳理[/b]

指標的主要表現形式是報表,因此第一要務就是報表梳理,公司的報表浩如煙海,因此這個項目設立之初就限制了範圍,主要針對一線市場部經理、終端管理、流量管理三類核心角色,共梳理了相關的39個彩信、48份郵件通報及數據集市上的733張報表。(筆者所在公司為某運營商)

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061518.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061519.jpg[/img]

[b]3、指標整合[/b]

各類報表及相關指標表達各不相同,梳理前應該給出一個描述指標的標準框架,包括指標大類、子類、維度、周期、歸屬、命名規範等等,曾經由於框架漏了一些要素導致返工現象,這個頂層設計一定要做好,以下是示例:

命名規範:業務限定詞+業務名稱+量值限定詞+量值描述(量、收、用)

舉例1:兩網有效用戶到達數

舉例2:自建有線寬頻出賬用戶數

下圖列出了大致的梳理步驟,主要以省公司報表和彩信KPI為基礎確定基準指標,各地市指標剔除個性指標後,合并到省公司的基準指標中,形成本次的最終指標範圍。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061520.png[/img]

全省指標共計6841個(未剔重),經過歸併整合,得到基礎共性指標2306個,如下圖所示:

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061521.jpg[/img]

此項工作耗時巨大,以下是成果的示意:

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061522.jpg[/img]

[i][u]數據分析,報表實例,專業的人都在這裡!加入[url=https://www.facebook.com/twfinereport/]FineReport臉書粉絲團[/url]![/u][/i]

[b]4、實現方式[/b]

根據指標性質不同可以分為3類,即基礎指標1046個、計算指標652個和通用行銷類指標303個。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061523.png[/img]

[b]5、功能架構[/b]

為了支撐指標快速,標準化實現,通過增強數據管理平台來實現指標的快速開發、部署和管理,主要包括指標信息維護、指標開發、運維管理、指標質量管理等功能。

比如指標庫每月需要新增超過9. 5億行的數據,存儲周期按12+1,即123億行,以傳統關係型資料庫的查詢能力無法支撐,這裡就採用Hbase架構支撐海量指標的快速查詢。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061524.png[/img]

[b]6、可視化引擎[/b]

為了支撐指標組裝報表與配置報表的快速開發,使用數據可視化引擎產品,主要包括指標組裝、報表開發、報表展現功能,現在的這類產品很多了,但定製化給予一個創新性項目更大的自由度。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061525.png[/img]

指標組裝報表製作工具是區別傳統基於SQL配置報表的靈活度更高的報表配置方式,主要提供基於指標選擇組裝生成報表。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061526.png[/img]

[b]7、管理流程[/b]

指標的建設只是走完了數據治理的第一步,為了確保指標庫長期可用,必須要有一套針對的指標管理機制和流程,否則建設的結束就是混亂的開始,理想的做法當然是發布一套公司級別的指標管理規範,但這個時候時機往往並不成熟,比如系統可用性到底如何,因此,我們當時就確立了一個簡單原則,一條開發鐵律:不重複開發,能用指標實現的不允許單獨開發報表,當然這非常考驗數據管理的藝術,極大依賴於團隊的業務和數據能力,但有主見的數據管理團隊一定要懂得如何與業務人員進行博弈,記得你才是全公司數據的管理者,而不僅僅是個開發者。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017061527.png[/img]

筆者在關於指標庫的實現簡要談完了,但我對於大多企業搞指標庫卻是持悲觀態度的,傳統BI部門面對浩海的數據需求時,往往是沒有管理原則的,因為公司對你的數據管理授權是不明確的,我們不得不以犧牲長遠來滿足當前,其實BI每接收一個不規範(比如胡亂的指標命名和定義)的報表需求就要承擔由此帶來的管理成本,而不僅僅是開發成本,這為後續數據管理的混亂埋下了禍根。

但存在的又是合理的,因為搞個指標庫在開始的時候,無論是管理及運維成本都不低,關鍵是短期來看效益還不明顯,這也許是成功案例不多的一個原因。

因此,當我們在抱怨業務指標口徑一塌糊塗的時候,要記得是企業沒有數據管理的原則導致了這個現象,也是你的不作為導致了這個現象,這跟公司的文化、機制及流程是息息相關的,頂層設計沒解決,也許只能將就了,或者,你就要付出百倍的努力去改變或優化這個設計吧,這需要巨大的決心和毅力。

DAMA談數據治理首當其衝談組織設置,顯然是非常睿智的,奇怪的是在知乎上關於DAMA數據治理的討論幾乎沒有,這倒是值得思考的問題。

文 | 傅一平
原文自:微信公眾號 與數據同行

數據分析報告的框架——既要懂分析,也要會講故事

週四, 六月 15. 2017

[url=http://www.finereport.com/tw/]數據分析[/url]項目到收尾關頭,總要出一份數據報告。

按照項目類型,可能是產品投放市場的效果評估;日常[url=http://www.finereport.com/tw/]報表製作[/url]數據匯總;活動數據分析。而報告也分多種情況,有的需要給項目組一個交代,有的需要和業務組一同評估分析,有的則是郵件抄送領導向上級彙報。

數據報告無論是文本、PPT還是數據[url=http://www.finereport.com/tw/]圖表製作[/url],都得展示分析的核心思路和結果,本質都是相同的。

[b]1.好的分析師要會講故事[/b]

一個數據報告的核心不是面面俱到的內容,而是讓讀者讀懂「問題——假設——原因——驗證過程——結論——背後現象——可推行的決策」這樣一個脈絡的故事。類同於諮詢和投資機構,在做BP之前會先花時間理清楚storyline。其實各種報告都應該這樣,先理清楚思路,就有了故事。

[b]2.數據分析報告的框架[/b]

這裡列出一個我慣用的報告框架(針對不同業務場景可能會有所調整,增刪或再細分):

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017060606.png[/img]

[b]項目背景 &項目進度[/b]

項目背景,需要簡述項目相關背景,項目需求、分析目的、市場情況、為什麼做,目的是什麼,以讓讀者了解項目的前因後果。項目進度,需要綜述項目的整體進程,以及目前的情況。

[b]指標定義&數據獲取[/b]

核心指標如何定義?公式是什麼,為什麼這麼定義,這點是很重要也是很容易被忽略的,很多時候的誤解都是沒有對指標進行統一定義。舉個例子,比如服裝「斷碼」。從領導層來講,公司倉儲的服裝全部尺碼如果不完整就是斷碼;從倉庫的倉管員角度來講,倉庫內的服裝尺碼不全就是斷碼;從門店的業務員角度來講,客戶需要的尺碼當前門店無貨就是斷碼。定義不同,在會員系統、庫存系統、訂單系統中這個斷碼的數據就不對應。主數據管理可能並沒有覆蓋到所有指標,所以分析指標時要考慮這一點。

[i][u]數據分析,報表實例,專業的人都在這裡!加入[url=https://www.facebook.com/twfinereport/]FineReport臉書粉絲團[/url]![/u][/i]

[b]數據概覽 &數據探維[/b]

數據概覽是對指標的發展趨勢和變化情況,例如最高最低點做成因解釋。而數據探維是對某指標按照不同的維度做分析,做細節補充。這也是數據分析時常的方法,多維度分析。這一點常常用FineBI等BI系統工具來操作,製作好模板,以後就可以按照特定的維度來分析了。這裡需要注意的是,核心指標要少而關鍵,拆分指標要有意義並有清晰地邏輯來說明。如果涉及的維度較多,不建議用PPT來一個一個描述。一些BI工具可直接在web上展示,切換維度,動態的展示更加生動,容易說明。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017060607.gif[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017060608.gif[/img]

[b]結論匯總[/b]

結論匯總,基本是對之前數據分析階段的數據進行匯總,形成完整的結論。後續改進,需要在數據分析的結論和問題的基礎上,對後續的迭代和改進措施作出方向性的說明。這部分其實很多時候也是分析的根本目的。

最後附上詳細的數據,尤其是那些沒有必要在數據報告中體現但是仍然有價值的數據。一個項目/業務,如果你不能衡量它就不能了解他,也就無法改進它,說的就是數據。

我們都不可能提前知道數據的結果,也不能報紙中立的態度去判斷。任何從事數據工作的人,尊重數據結果,並分析形成結論,遠比相信一些所謂的方法論的條條框框好得多。

大數據下的銀行業信用風險監控體系什麼樣?看工商銀行的案例

週二, 六月 13. 2017

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017060201.jpg[/img]

信息不對稱,尤其是信息不真實甚至不同程度存在的信息欺詐問題,是信用風險形成的重要因素之一。為此,亟需依託互聯網和[url=http://www.finereport.com/tw/]大數據分析軟體[/url]技術,建立新型的信用風險監控體系,強化對風險的全景分析和前瞻預警。近年來,工商銀行在構建外部欺詐風險信息系統的基礎上,進一步收集全行風險大數據並挖掘處理,通過關聯業務分析和數據可視化建設,基於風險大數據重構了銀行風控體系,亦實現了銀行安全保衛工作內涵的創新突破。

當前,外部欺詐風險態勢日益嚴峻。在互聯網和大數據背景下,圍繞風險大數據重構銀行風控體系已經成為業界共識。按照這一理念,工商銀行2013年研發投產了外部欺詐風險信息系統,並陸續在工商銀行全集團(境內外所有機構)、全渠道(線上和線下渠道)、全業務(接入16大業務系統)投產應用,風險防控成效顯著,有效保障了銀行與客戶的資產安全:一是累計預警業務風險129萬筆,涉及資金435億元。二是累計防堵電信詐騙事件11.27萬起,避免客戶損失超16.88億元。

與此同時,工商銀行積極探索並實踐大[url=http://www.finereport.com/tw/]數據分析[/url]方法,通過外部欺詐風險信息系統,對海量客戶信息開展多維度數據挖掘,排查業務風險,並根據風險排查過程的經驗總結,於2016年研發投產了風險客戶「三維立體」全景視圖,一站式、可視化呈現出風險客戶「基本信息、風險信息(外欺系統風險資料庫信息)、銀行業務與往期風險處置信息」三大類信息,提升了外部欺詐風險信息挖掘處理和關聯業務分析能力,為客戶風險分析與處置提供了技術保障,為銀行業務穩健安全發展提供了有力支援。

本文特選取幾個典型案例,簡要介紹工商銀行對風險客戶開展關聯業務分析的主要做法,進而與業界分享工商銀行風險客戶「三維立體」全景視圖的設計思路和主要功能。

[b]一、剖析企業關聯風險 強化系統監測 指導風險處置[/b]

工商銀行安保部從外部欺詐風險信息系統中篩選出30萬戶風險企業,進一步挖掘分析其存量關聯業務。以信貸業務為例,在分析樣本中發現存在高風險公司有貸戶上千戶,涉及貸款金額逾千億元、不良餘額數百億元,不良率均值14.73%,遠高於全行平均水平。對該類企業註冊、投資等信息進一步挖掘,發現集團關聯企業內部成員之間互相投資、交叉投資關係錯綜複雜,在信息不對稱的情況下,極易造成銀行業務風險。

例如,客戶某集團有限責任公司存在高法未結案風險信息,雖然2015年初信用等級AA,貸款餘額3.8億元,貸款形態正常,但通過數據挖掘分析,發現該客戶存在較為突出的潛在風險。比如,集團內投資關係多達6層,關聯企業130餘家,涉及金融投資、貿易、房地產、建材、酒店、擔保、小額貸款、旅遊等多個行業,集團法人代表梁某共在其他10個企業內任職,其中有3家為法院認定的被執行人;集團對外投資企業共計38家,涉及多個行業,其中有10家企業被吊銷營業執照,4家為高法被執行人,1家為高法失信執行人。根據分析結論,工商銀行信貸管理部已對涉事企業及其法定代表人加強監測,開展風險處置,從而有效地規避了資產損失。

[b]二、多維評估客戶風險 凈化客戶群體 提升資產質量[/b]

工商銀行從外部欺詐風險信息系統中篩選出60萬戶風險人員,在信貸、信用卡、私人銀行等業務領域進一步開展關聯分析,發現部分人員作為工商銀行信貸、信用卡或私人銀行客戶,其整體資產情況呈現出「負債高、資產少」的特徵。

例如,外部欺詐風險信息系統顯示,李某存在高法失信等風險記錄,故對其進行深度數據挖掘,由此發現了李某的多項風險點:一是其在工商銀行貸款餘額267萬元,信用卡透支餘額高達48.6萬元,負債總計315.6萬元,資產負債率僅為0.32%,遠低於同類客戶資產負債率;二是其投資企業某貿易公司為海關失信企業,某房地產公司為法院被執行人,涉及未結案金額448萬元;三是李某貸款形態及信用卡使用情況雖然正常,但所持信用卡月均額度使用率高達91.8%,透支利息月均6797元,存在一定業務風險。

根據外部欺詐風險信息系統的評估意見,工商銀行個人金融、信貸、信用卡、私人銀行等業務部門對風險客戶加強業務風險監測,並相應開展了貢獻星級降級、貸款提前清收、綜合授信降額、私人銀行資格清退等風險處置措施,提升了全行客戶群體品質及客戶整體的資產質量。

[i][u]數據分析,報表實例,專業的人都在這裡!加入[url=https://www.facebook.com/twfinereport/]FineReport臉書粉絲團[/url]![/u][/i]

[b]三、透視賬銷案存客戶 辨析清償能力 指導資產清收[/b]

賬銷案存資產是指工商銀行已批准核銷,但尚未依法終結債權債務關係或仍具有追索可能,要按規定轉入表外核算並繼續追索的債權性資產。由於納入表外管理,銀行有關業務部門對賬銷案存資產的持續管理和重視力度容易欠缺。通過外部欺詐風險信息系統,對賬銷案存客戶的資產、負債、結算業務情況、外部風險情況多維度進行分析,可洞悉其關聯風險特徵並確認清償能力,提出完善賬銷案存業務資產管理的意見和建議,優化全行風險信息共享機制。

為深入挖掘分析賬銷案存風險客戶特徵及其清償能力,工商銀行通過外部欺詐風險信息系統隨機抽取了5000個名下有企業的賬銷案存個人風險客戶,並根據其工商註冊信息進行分析,發現這5000個客戶共涉及4937家企業,其中部分客戶在多數企業擔任法定代表人、主要股東或高管。通過對上述客戶的關聯企業進行查詢,發現部分企業為正常客戶,且具有一定資產規模。此外,通過關聯分析客戶社會信息(如乘機記錄、社保繳納信息、手機實名認證信息、工商註冊信息、戶籍信息、稅務登記信息、出入境記錄等),發現部分客戶有穩定社保繳納記錄,或存在商務出行和旅遊記錄,進一步證實了其償債能力。工商銀行有關業務部門根據上述分析結論,專門建立了不良資產處置系統,通過與外部欺詐風險信息系統深化合作,加強對此類風險客戶的監測與處置。

[b]四、融合信息可視化 聚焦外部風險 保障業務發展[/b]

為響應和支援行動互聯網金融環境下工商銀行「以客戶為中心」的客戶統一畫像智慧管理體系,持續提升外部欺詐風險信息挖掘處理和關聯業務分析能力,工商銀行安保部基於數據分析經驗積累,按照「以外部風險為中心」和「One Bank」的原則,融合風險信息可視化技術,研發投產風險客戶「三維立體」全景視圖。

該視圖可有效支援風險關聯分析和業務運營保障:一是能夠從客戶基本信息(開戶三要素、地址、聯繫方式等)、客戶風險信息(外欺系統風險資料庫信息)、客戶銀行業務與往期處置信息(資產負債信息和資產質量信息)三個維度,立體、全面、直觀、準確展現客戶全方位風險要素,實現客戶風險畫像的動態可視化,助力欺詐偵測的「一站式、一頁式、共享式」高效管理;二是可對風險客戶的資產情況、社會關係、行為軌跡等信息橫向關聯,縱向發掘,支援風險信息的交叉分析驗證和多維風險評估,提升風險客戶評價的可靠性和準確率;三是能夠根據外部欺詐風險信息系統的用戶角色分級授權機制,按照「知所必需」原則,支援工商銀行全集團各業務條線自動調用與實時展現,豐富了業務風險防控的預警模式與參考要素。全景視圖的應用,有效促進了風險大數據與業務經營的高度融合,為工商銀行信息化銀行建設的深化發展,提供了基礎信息、應用架構與成熟案例。

本文原載於《中國銀行業》雜誌2017年第1期。

文/靳曉鵬

如何成為一家真正發揮大數據作用的「數據驅動型公司」?

週一, 六月 5. 2017

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017060101.png[/img]

概述:作者是業界資深的數據分析師,人工智慧投資人,他在文章里給我們介紹了什麼是大數據的來源,目前在數據領域的初創公司與現有巨頭的競爭現狀,各自在數據領域所採取的不同做法,[url=http://www.finereport.com/tw/]數據分析[/url]工作的外包,為什麼有關[url=http://www.finereport.com/tw/]大數據分析軟體[/url]的項目總是會失敗?
在本章節中,我想試著描述、分享一下大數據在公司商業運營情境當中所扮演的角色。

[b]大數據的能力是從何處而來?[/b]

首先,我想先花一點時間來談談有關數據的價值,數據所發揮的作用,它是從何處而來的。

我認為「企業專家中心「(Centre Of Excellence) 這個部門非常之重要,它作為最前沿的公司職能部門,負責將數據的角色引入到公司,並將其功能放大化。它的主要職能就是對跨部門的工作進行協調,具體包括了下面這幾項內容:

1. 對企業的技術架構進行維護和升級

2. 決定應該收集什麼樣的數據,從哪個部門來收集這些數據

3. 推動人才招募計劃

4. 制定「關於從數據中獲取真相」的流程環節以及戰略,並制定有關隱私、合法合規性、以及行業道德規範標準的政策制度。

但是,除此之外還存在其他的管理架構和形式。也許對你現有的商業模式來說,還存在匹配程度更高的管理架構和形式,數據分析、組織結構模式。

其實,在商業模式和數據分析基礎的結合上,存在著好多種組合方式。商業單元(BU)各自獨立,各自為戰是一種法子,相互獨立的 BU 為了某些具體的項目相互協作也是一種法子,企業內部治理(公司治理的金字塔頂端)是一種途徑,外部中心(企業專家中心)也是一種途徑。

[b]數據初創公司與數據壟斷型公司的對決[/b]

到底是數據初創公司勝出?還是數據壟斷型公司勝出?這個答案不可能清楚地給出,裡面有太多需要考慮到的變數,尤其跟公司本身所處的行業,還有所持有的競爭優勢有關。最重要的一點是,商業策略的制定,跟公司處於哪個成長階段有著莫大的關係。

儘管從歷史經驗上我們可以看出:很多小公司在結構上比大公司要有著明顯的優勢(就比如說一些初創公司在管理數據上面比大型藥品公司要做的出色的多),但是這並不能說:公司越是初期,在數據處理和應用上的成熟度更高。

更準確的說法是:因為小公司本身的靈活性,它們在這方面行動會非常迅速,而且因為本身基數小,所以很容易在增長比例上大幅超越大公司。

在這裡,我想要強調的重點是:初創公司和大公司,在面對數據問題,儘管目標一樣,但是採取的路徑和方式方法是截然不同的。這裡將這兩種方法分別稱之為:回溯型方式和前瞻型方式。

[b]前瞻型方式:[/b]一般適用於小型初創公司,更準確的說,是那些剛剛進入行業不久,短期內還無法產出大量的數據,但是很快就會實現。正因為這一點,決定了它們從一開始就要制定一個高效實用數據的戰略。

[b]回溯型方式:[/b]更適合於已經在行業里紮根多年的大公司,它手上握有海量數據,但是它們不知道怎麼使用,比如如何將數據向某個中心樞紐集中。

[b]前瞻型方式[/b]

採取這種方式的初創公司不拘泥於過去既定的任何組織架構,而且從一開始,為了某種長期的願景,它就制定出非常嚴格的數據政策,以避免未來在數據領域出現任何的突髮狀況。而且,它一開始就投入大量的資源和時間,如果做對了的話,那麼它會繞開接下來運營發展中的種種不便。

一開始就制定好一個完善的數據政策,能夠很好地滿足初創公司在接下來發展中,處於各個不同發展階段時的需要。更重要的是,年輕的公司所受的約束較少,這種約束不僅體現在內部,比如官僚層級還沒有形成;更體現在外部,比如政策法規上面扶持鼓勵遠遠多過約束限制。而且它們往往對風險的接受度較高,使得它們願意去測試和應用很多前沿科技,它們更願意關注高質量的數據,而不是追求數據量的積累以便獲得研發的基礎。

[b]回溯型方式(已有的大公司)[/b]

大公司往往會遇到下面的兩個問題:

1. 它擁有的數據量確實非常大,但是它們不知道該如何是好。

2. 它們手裡有數據,而且頭腦中已經存在著明確的目的,但是因為數據質量達不到標準,數據整合方式上面並不完善,以及配套技能上不過關,連啟動這個項目都做不到。

先說第一種情況。這樣的公司往往是剛試著轉型到數據驅動領域,它是有數據,但是不知道如何從中提取出有價值的東西出來。鑒於很多大公司的工作崗位要求都很明確,工作任務都被塞的很滿,要求也比較高,所以某些時候它是無法做到公司內部進行創新的,也就是說,它們太忙了,根本抽不出時間。有些行業,比如銀行業、金融科技行業,這個問題體現的尤其明顯。

關於這個問題,我認為一開始就要聘請一名專門在[url=http://www.finereport.com/tw/]商業智慧[/url]想法、戰略上做創新的人進來。這個人富有經驗,能夠成為「數據驅動」理念的傳道者,哪怕他不具備非常強大的計算機技術背景,他也能夠為整個公司帶來非常寶貴的建議和想法。

有了這樣一個角色的存在之後,再去考慮找一名合格的數據分析師。

再來看第二種情況。他們手上有數據,也有明確的目的,但是不知道如何利用它們。我認為這存在著兩種解決方案:

1. 公司從「一張白紙」出發,建立某種全新的數據平台,團隊,以及以數據為核心的文化;

2. 公司直接將數據分析工作以及與數據有關的問題外包出去。

第一種方式如果一切進展如預期一樣,肯定會帶來更加穩健強勁的發展,但是成本也比較高。所以這個時候決策者是需要權衡成本收益誰大誰小的。

第二種方式是數據分析工作的外包。大公司一般傾向於選擇某些大學作為數據分析工作的外包方。理由很簡單:大學一般來說都比較缺錢,也需要數據來進行一些研究,從而方便最終形成論文報告。一般它們的報價也比專註於做數據分析的初創公司要低很多,更何況大學機構中不缺人才,不缺時間,不缺意願,有足夠多的理想條件來收拾整理一堆亂七八糟的數據。

相比之下,初創公司以盈利為目標,選擇它就意味著較高的成本,但是它也是有優勢的。往往這樣的公司里聚集著世界最頂尖的數據分析人才,而它本身就掌握著很多非常有價值的應用研究案例和資料庫,這些東西都是大學機構所比擬不了的。

但無論你是選擇大學機構還是初創公司,都存在著一個繞不開的問題:數據的隱私安全性。你需要問下面的這些問題:公司外包出去的數據都是什麼?第三方機構是如何保證這些數據的安全性的?它們是怎麼存儲數據,決策機制又是怎樣的?

除了這兩種辦法之外,其實還有一些「旁門左道」,能夠讓你近乎於免費的得到數據分析結構。這就是科技圈裡日趨流行起來的黑客馬拉松和某些行業內聚會。你在這其中可以看到很多人有數據分析的才能,也能通過公開自己的數據,免費地拿到數據分析結果。

[b]為什麼大數據項目很容易失敗?[/b]

[b]原因來自各個方面:[/b]

1、缺少商業目標和規劃;
2、無法正確的找出需要解決的問題,缺少解決方案規模化的路徑;
3、缺少 C 級管理人員或者高管的認可及支援;
4、過度投入大量時間和金錢,尤其是隊伍中人才組成不合理,這一點尤其常見;
5、不合理的預期;
6、公司內部的屏障:比如存在很多數據走不出來的 「深坑」,團隊內部糟糕的溝通機制,基礎設施問題等等;
7、將這項工作看作是一時的項目,而不是持續性的學習過程;
8、數據管理、保護、隱私方面做的不到位。

銀行大數據平台如何搭建和發揮價值?

週一, 六月 5. 2017

江蘇銀行是在江蘇省內無錫、蘇州、南通等10家城市商業銀行基礎上,合并重組而成的現代股份制商業銀行,是江蘇省唯一一家省屬地方法人銀行。江蘇銀行有營業機構510多家,其中,省內下轄12家分行,在南京地區擁有23個營業網點,在省外開設了北京、上海、深圳、杭州4家分行,全行現有員工1.4萬餘人。

本文是江蘇銀行科技部朱妍在帆軟銀行大會上的演講,這裡整理成文。

2016年,作為大數據平台的組成構建,帆軟數據多維分析平台[url=http://www.finereport.com/tw/]BI系統[/url]平台正式在江蘇銀行啟動運行。大數據平台為數據多維分析平台提供了優質、多維的數據以及高性能數據處理的底層。

[b]數據多維分析平台的數據基礎[/b]

江蘇銀行大數據平台,整合、清洗了大量內部、外部數據,為數據多維分析做好了數據準備,也就是為「巧婦」準備了充足的「好米」。

引入的數據主要分三大類。第一類是企業生產數據,比如煙草、電力、電商、運營商等數據,這部分數據重點雙方合作,直接接入數據;第二類是政府機構等公共數據,比如公積金、地稅、法院、工商、社保、醫保、海關等數據,這部分主要藉助的是政府對大數據產業的推動,積極對接數據,不過數據清洗和對接工作量比較大;第三部分是偏向個人身份數據,比如學習、戶籍、房價、房產、商戶驗證等數據。這部分數據主要用來做身份識別和校驗以及個人信用評級。整體三部分的數據提供了充分的個人信用評級數據和企業信用評級數據,為開展開展風控業務,以及創新產品「稅E融」提供了[url=http://www.finereport.com/tw/]數據分析[/url]決策的基礎。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052501.jpg[/img]

[b]數據多維分析平台的產生背景[/b]

大數據平台的搭建提供了充足的分析數據,但同時也形成了巨大的挑戰。銀行1萬4千多名員工,現已開發900多張報表,在用將近700張,這些報表的數據來源多達49個,一年的報表開發需求量,達到了開發一個新報表系統的量級。

過去以往的數據分析流程是業務部門提出需求 ——科技部分析需求 ——雙方溝通口徑 ——科技部試取數據——業務部修改口徑 ——科技部再次試取數據…… 如此往複幾輪,完成[url=http://www.finereport.com/tw/]報表製作[/url]。但製作的報表並不完全滿足需求,業務部門需要Excel加工。這樣業務部門看不到基礎數據,只能依賴科技部來做個性化定製取數,造成統計周期特別長,分析數據十分不靈活。

現在業務發展迅猛,數據分析需求繼續採用之前的報表開發流程已經無法滿足業務快速發展的需求。現在預計一年的數據分析需求,完全換算成單獨報表,要超過5千張。因為龐大的工作量,之後採用了新的數據分析方式。採用業務部和科技部預先商議數據分析主題,然後科技部定製數據分析主題包。也就是將業務部門的需求劃分成若干主題,針對每一個主題,預先匯總、關聯、轉義好數據,讓業務人員能有一目了然的看到他所需要的數據,需要分析,只需要拖拽形成圖和表格即可。當然,這裡面是需要解決許可權分配、大並發、高性能數據處理等方面帶來的問題。這塊通過數據多維分析平台和大數據平台結合,已經解決。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052502.png[/img]

[b]數據多維分析平台的效果展示[/b]

數據多維分析平台,可以讓業務人員自助進行數據分析,無需了解資料庫,無需學習技術語言,甚至不需要懂太多的數據分析的理論以及數理統計知識。只要是了解業務的人員,經過10分鐘培訓,都可以自助拖拽進行分析。這大大減輕了科技部的工作,同時業務部門可以靈活定製分析,對數據準確度也提高了信任,不再輕易懷疑科技部對數據做了什麼手腳。

當然,數據分析功能雖然是開放的,但是數據許可權是嚴格把控的。什麼人能看哪些數據,什麼人能看哪些欄位,一部分是科技部這邊做一個高層級的許可權劃分,而細粒度的許可權劃分是可以分配給多個不同的管理員,讓業務部門自行把控低層級的許可權。

在具體的應用上,江蘇銀行實施了領導視圖、卡部報表、零售部報表、Excel數據導入、串串盈報表等。

下圖是行領導視圖中的一張,領導打開電腦或者手機,就可以看到行內核心機構分布、優質分行的客戶數排行等。領導關注這些數據,同時會對其中的不特定的機構進行詳細鑽取,深入了解特定機構的經營狀況。所有的數據都是關聯打通的,所以,只要需要其他維度的信息,領導都可以直接點擊或者拖拽,就能直觀看到。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052503.png[/img]

下圖是對各機構的盈利分析,在關注不同機構的盈利佔比同時,又關注排名前10的優質機構盈利狀況。然後不斷嘗試根據數據分析結果來推出新的產品,統計利潤排名靠前的產品就是我行的明星產品,分析目的是保持明星產品的高效持續運營,及時下架盈利不佳的產品,及時止損,同時對分行盈利能力做排名對比分析。例如下面的表格是根據上面的分行排名數據聯動,是分行的明細經營數據。根據明細,可以基本定位是分行的什麼產品線出了問題。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052504.png[/img]

2016年12月,科技部推出串串盈行銷雲平台,串串盈平台是面向行內外用戶的兼具趣味遊戲、行銷活動展示、賺豆任務發布、蘇銀豆商城等功能和板塊的新平台。不光基於數據分析推出了這個平台,還用數據分析來驅動平台的運營。我們對用戶行為、用戶操作時間分布和用戶獎勵發放做重點分析。用戶行為分析是指具體分析不同操作類型及操作種類的參與人數和頻數。通過人數和頻數,我們確定這個操作對應的活動的受歡迎程度,及時調整活動細節。用戶操作時間分析,主要是分析抽獎、種豆等用戶操作的時間集中分布區間。比如我們看活動轉發時間分布,主要是早上6點到8點。那麼這個數據就可以用來在推送其他活動信息時,借鑒參考。另外,用戶獎勵發放分析。我們以蘇銀豆的形式發放獎勵,通過監測分析蘇銀豆的發放情況,既把控活動熱度,又可以適度預測活動未來走勢。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052505.png[/img]

行動端應用重點在於方便靈活,具體的數據分析內容和PC上是可以相同的,我們選的這個數據分析工具是支援PC、IPAD、PC、大屏自適應的,所以一般來說無需為行動端額外開發一些報表。不過也有例外情況。有些報表領導一般不再PC上看,只在手機上查看,所以這種情況可以單獨定製一下行動端的分析頁面。我們在行動端的分析應用主要是面向產品挖掘的。使用場景是,領導在碰頭會議中或者直接手機批註,下達指示。這種手機端的應用是比PC上更為靈活的。隨時隨地可以擺出數據做簡單會議。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052506.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052507.png[/img]

銀行業如何進行數據管理?專訪南安農商行開發中心經理

週四, 六月 1. 2017

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052201.png[/img]

2017年4月初,筆者走進福建南安農商行,和龔小培先生(銀行開發中心經理)做了面對面交流,談談當下的銀行數據化管理,並整理成案和大家分享。

南安農商行,由福建第一家農村合作銀行改制而來。擁有98個營業網點,其中1個營業部、30個一級支行、31個二級支行、36個分理處等。多年來南安農商行存貸款規模、市場佔比、盈利水平及上繳稅額等主要經營指標穩居南安當地銀行業首位,2016年納稅2.46億元,是當地的納稅大戶。截至2017年2月底,南安市場佔比33%(轄內共有21家金融機構)。榮獲頗多稱號:「全國農村金融服務先進單位」、福建省「標杆銀行」、福建省農信「農村金融服務綜合示範行社」。

船長:話說磨刀不誤砍柴功,您怎麼看數據應用中的「刀」的作用?

龔:企業數據應用,[url=http://www.finereport.com/tw/]大數據分析軟體[/url]就是把「刀」,選擇合適順手的「刀」很重要。但不可否認,既要根據「砍什麼柴」,也就是企業實際數據應用需求,也得考慮這個「到」給什麼人用。我們農商行技術能力是有一些的,但是技術整體儲備和人員儲備顯然是不如大銀行。所以功能簡單的[url=http://www.finereport.com/tw/]數據分析[/url]插件這種「小刀」不適合我們,需要較強代碼能力,大量開發工作的「大刀」也不適合我們。學習門檻低、能調用sql、跨系統取數、方便集成、展現樣式豐富、手機電腦多終端展現等這些指標就是我們選「刀」的標準。

船長:這麼說,南安農商行是提前明確了自身需求,拿著標準在市場上選的「刀」。據我所知,很多企業的需求,都不是很明確,只有一個寬泛的範圍,您在選擇時有這樣的困惑嗎?

龔:其實我們選型開始也只是有一些框架性標準,比如能在手機端展示,能對接不同業務系統,能集成,支援sql取數。但是詳細的標準都是和報錶廠商顧問交流過程中,逐步明確的。這裡也能感受到不同廠商的專業程度,帆軟銀行顧問給我們帶來的不少有價值的經驗。

船長:我聽說您做了很多數據類應用的嘗試,有績效考核、盈利分析、網格化管理等等,具體怎麼實施的?產生了哪些效果?

龔:我們確實做了這三塊。歷時三年,我們做了廣泛研討和實驗。現在我們的薪酬績效涉及範圍相當廣,統計粒度很細,可以精確到每一位員工的各種補助和各種提成的明細。從下面的圖可以看出,我們員工的工資大概分為五個方面,基本薪酬、福利待遇、業務量、行销、組織創意。這五個方便又有更為詳細的子項目,一個員工工資可能有20多項明細。之前,我們很多賬目都是手工匯總,最後有個薪資總數。現在這個系統自動匯總計算,月底自動郵件推送給每個人工資詳單。而且薪資如有調整、項目如有變更,隨時方便調整這個平台。就光這一項,就節約了我們一半多的財務人工工作量。我們這5年存款增長2.5倍,現在通過這個系統,就能看到每一位員工在業績增長中的貢獻。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052202.jpg[/img]

船長:這郵件要是讓家裡老婆看見了,那難藏私房錢了。那盈利分析是不是更神奇,具體是如何通過數據分析來增加盈利的?

龔:我們的盈利分析,其實還相當複雜。我們需要資金轉移定價、成本分攤、經濟資本三部分來支撐,每部分又有更為明細的劃分,可以看下面的圖,這也就是我們的盈利分析模型。紅色部分是對利潤影響較大的模塊,黃色部分影響程度中等,綠色影響較弱。我們要做完所有這些節點指標的分析,最後才能得出總的盈利分析。

船長:有這樣的盈利分析模型的故事實例嗎?

龔:舉個例子,比如說貸款。假定期限12個月,網點的外部資金在去年總共是一個億。然後中間資金成本大概七千六百萬,所以你得出一個「利潤」三千四百萬。但是做這些業務,是有運營成本。比如說網點員工是運營成本。所以我們要算業務管理費,營業稅費還有附加費,還有董事會支出。這樣計算之後,我們才能得出營業利潤。同時,我們利潤是需要繳稅的,繳稅比重很高。我們減去資產損失、所得稅之後,可以得出凈利潤。凈利潤因為我們銀行還要對於一些資產風險做評估,還要減去資本損失,12月份資本金600萬。那最後才能得出外部資金收入有一個億,但是實際盈利只有600萬。這是我對系統計算模型的簡化,這樣一些列的運算,就全依靠這套我們自己搭建的數據平台自動運算的。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052204.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052205.jpg[/img]

船長:這樣的盈利計算方式可是夠精細的。不過我了解到,還有網格化管理,這具體是什麼應用?

龔:業務網格化管理,是我們對業務的地理分布的一個形象的稱呼。福建南安有150多萬常住人口,分布在23個鄉鎮,384個行政村。我們的這個系統能識別出130多萬人的鄉鎮地址、性別、身份證號等等個人信息。我們根據南安區劃,分出不同區域來做單獨的業務統計,單獨做業務核算和業績分析。我們看下圖左邊的普惠金融客戶存款覆蓋率分析。覆蓋率較高的為紅色,覆蓋率低的為綠色,中間值為過渡色。比如說紅色部分是石井溪東鎮,覆蓋率約達到37%,也就是100個辦理存款業務的客戶里,有37位選擇在我行辦理。我們把這個37%和我們的當地支行的戰略目標掛鉤,便可以從這個維度去要求其他網點提高覆蓋率。

船長:我看好像這邊有對東田鎮的詳細分析,右邊的圖和表示在做詳細分解分析嗎?

龔:是的,在鄉鎮覆蓋率圖上,我們看到東田鎮覆蓋率很低,不到20%,路高於15%。那麼我們就要從地理區塊上先去尋找原因。在其下轄的行政村中,最高的山西村的覆蓋率才打到32%,這個就不算很高,相比之下,其他村覆蓋率更低。那麼我們就要重點監管這個網點了。比如我就就先分析山西村的情況,發現存款客戶數和覆蓋率都在下降,但是貸款的客戶數和覆蓋率等相關數據基本都在上升。這就說明這個網點要去探究存貸是哪裡出了問題,是利率折扣問題?服務問題?還是就是具體的業務工作重心問題,這些要結合其他報表,然後讓網點負責人去解決了。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052206.jpg[/img]

船長:像這樣的數據管理和數據分析,我們做了多少工作,帶來哪些影響,有量化數據嗎?

龔:我這邊有我們的系統截圖,可以看到,我們做了挺多的數據分析頁面。實際上,2016年度,報表製作系統共實現各部門各類定製報表150餘項,通過自由填報實現臨時報表填報共計110餘張。整個數據應用系統涵蓋了高管報表、村鎮管理報表、財務會計、行销中心、零售電子、資產管理、公司國業等諸多模塊,有效解決數據壁壘問題,降低了各單位的取數難度及工作強度,提高了數據統計質量及效率;解決了很多統計難度大、費時費力的報表統計及報送事項。直接促進了我們存款增長2.5倍,貸款每年保持10%左右增長,目前我們的市場份額已經達到了南安市的33%。在本地全部21家金融機構中,處於領先地位。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052207.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052208.jpg[/img]

船長:我們把數據分析工具啊比作「刀」,把數據分析需求比作「砍柴」。那您總結一下,要滿足「砍柴」要求,「刀」的分量有幾分,還有其他元素要考慮嗎?

龔:「砍柴」三分功在工具,七分在人。因為數據分析工作不是盲目的干就行,這裡面有很多企業經營管理的思想在裡面。數據不騙人,但是我們分析數據,得出的結論卻可能是騙人的。三分工具,不是貶低工具,是確實認可工具的作用。畢竟企業競爭,不是六分及格萬歲,而是爭當第一名。各種手段取得盡量高的分數。七分在人,主要三點考慮:一,前期選型時,要充分了解數據分析工具的成功失敗經驗教訓,這就需要廠家有相當多的客戶案例和實施經驗;二,項目實施時,團隊要有能力理解規劃業務,把業務經營指標轉化為數據分析指標和報表頁面,再好的工具也需要這群人用著合適;三,持續運維,企業經營不是一蹴而就,不是一朝一夕,數據分析的內容是需要不斷調整的,何時調整,如何調整,調整什麼,這都需要企業內部外部相當一批有業務經驗的人來提供支援,也需要高層積極決策。不過,數據分析這個工作,因為高度和業務結合,但各家業務又各有不同,所以我一家之言可能不能代表全部,也歡迎大家與我討論。

文| 帆軟數據應用研究院 船長@李向川

製作圖表的十大誤區!為何你的報表製作還是不好看?

週四, 六月 1. 2017

來自帆軟粉絲Kody在帆軟論壇的分享,大家可以去論壇與更多帆軟粉絲交流,獲取有用資訊哦。

數據可視化是一個溝通複雜信息的強大武器。通過可視化信息,我們的大腦能夠更好地抓取和保存有效信息,增加信息的印象。FineReport可以美化圖表,但如果數據可視化做的不佳,效果會不是那麼理想。錯誤的表達會損害數據的傳播,完全曲解他們。

優秀的數據可視化依賴可視化工具的同時,也依賴優異的設計。在我們看到的圖表表達中,各種讓人啼笑皆非的錯誤都有,下面就是這些錯誤當容易糾正的例子:

錯誤1:混亂的餅圖分割

餅圖,是最簡單的圖表之一。不過偏偏有人喜歡把它搞得很複雜。餅圖的設計應該直觀而清晰。下面就是兩種可以讓讀者的注意力瞬間集中到你要表述的重點的方法。

方法一:將最大的部分放在12點鐘方位,要順時針。第二部分12點鐘,逆時針方向。剩下的部分可以放在下面,繼續逆時針方向。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052603.jpg[/img]

方法二:最大一塊12點鐘開始,順時針方向旋轉。剩餘部分在降序排列,順時針。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052604.jpg[/img]

錯誤2:一直使用單一的圖表元素

根據不同的內容,我們可以設計多樣化的圖表元素來強化視覺衝擊,不可以反覆使用一直類型的圖表元素。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052605.jpg[/img]

錯誤3:數據排序混亂

你的內容應該以一種合乎邏輯的和直觀的方式來引導讀者了解數據。所以,記得將數據類別按字母順序,大小順序,或價值進行排序。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052606.jpg[/img]

錯誤4:數據模糊不清

確保沒有數據丟失或被設計。例如,使用標準的面積圖時,可以添加透明度,確保讀者可以看到所有數據。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052607.jpg[/img]

錯誤5:讓讀者自己解讀

設計師應該使圖表儘可能輕鬆地幫助讀者理解數據。例如,在散點圖中添加趨勢線來強調的趨勢。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052608.jpg[/img]

錯誤6:扭曲數據

確保所有可視化方式是準確的。例如,氣泡圖大小應該根據區域擴展,而不是直徑。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052609.jpg[/img]

錯誤7:在一張熱力圖上使用不同的顏色

顏色用得太花,會給數據增加不可承受之重,相反,設計師應該採用同一色系,或者類比色。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052610.jpg[/img]

錯誤8:條狀圖太胖或太瘦

或許你的報告很有創意,非常精彩,但是記得圖表製作水平也要跟上。條形圖之間的間隔應該是1/2欄寬度。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052611.jpg[/img]

錯誤9:很難比較數據

比較是展示數據差異的好法子,但是如果你的讀者不容易看出差別的話,那麼你的比較就毫無意義。確保所有的數據都是呈現在讀者面前,選擇最合適的比較方法。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052612.jpg[/img]

錯誤10:濫用3D圖表

雖然他們看起來很酷,但是濫用3D形狀有可能會扭曲感知,因此扭曲數據。有的時候堅持2次元,會使[url=http://www.finereport.com/tw/]數據分析[/url]顯示更加準確。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052613.jpg[/img]

90%的數據分析需求=數據錄入+結果展示——以某銀行數據分析探索經驗為例

週二, 五月 23. 2017

江蘇南通農商銀行,是一家專註於「三農」和中小企業金融服務的銀行,是蘇中、蘇北唯一晉身全球銀行「千強榜」的農村商業銀行。全行現有支行85家,職工達1300多人,存貸總額約900億人民幣。在眾多農商行的群星中,南通農商行發展突出,尤其是[url=http://www.finereport.com/tw/]數據分析[/url]探索,璀璨奪目。

[b]農商行體系科技開發面臨的困境[/b]

作為農商行體系內服務一方的小型銀行,南通農商行在科技開發工作上,面臨的困境有別於傳統大型銀行。科技部張雲鵬總經理認為,有兩大困境。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052001.png[/img]

[b]困境1:開發力量弱。[/b]農商行體系內,眾多小銀行的主要業務系統都是託管運營。科技部開發人員佔50%的寥寥無幾,佔比達30%略有耳聞,而大多數都是佔比低於20%,甚至有些農商行基本沒有真正的開發技術人員。銀行內部開發人員不足,導致農商行如果想著手信息化創新、技術創新,開發難度相當巨大,甚至自身難以克服技術困難。在美好的願景面前,只能望而卻步。

[b]困境2:被廠商綁架。[/b]農商行系統第三方託管運營,自己技術力量薄弱,如果有新的數據分析等開發需求,只能依賴託管運營的合作方。這種方式缺陷明顯,除了需求響應慢外,開發成本特別高。南通農商行曾經和一家綜合[url=http://www.finereport.com/tw/]報表製作[/url]管理平台軟體服務商長期合作,開發一張新報表報價3w元/張。從需求上來說,幾張報表下來就十幾萬了,這是難以承受的成本。所以要麼項目不了了之,要麼最後忍痛出血。作為小農商行,也是無力改變,不得不使用軟體服務商的系統,也就不得不依賴對方高價開發報表。

[b]自行開發報表的面臨的問題[/b]

面對科技部開發困境,[b]農商行自行開發報表真正有哪些具體困難呢?[/b]

一是小銀行人員有限,人數少則整體效率低;

二是人員專業局限,小行的技術人員掌握專業較少,經營分析能力較弱;

三是需求多而雜,小行的需求零散,但相對科技部服務能力,個性化需求依然很龐大,難以滿足;

四是開發周期長,因為技術人員少,技術不足,加上沒有專業的系統,靠技術人員邊學邊完成,開發進度遲緩,幾張報表都可能要超過一個月,領導都等不及;

五是成本高,相對小行,不管是外包第三方還是採購工具,或是自己開發,人力成本、採購成本都特別高,投入產出比不足。

從筆者經驗來看,這5個方面確實普遍。當然,不同的農商行具體情況也有區別,或許你接觸過的農商行並沒有全部這5個問題,或許還有更多的困難和挑戰。(可以留言,做個深入分析)。

[b]數據分析探索:綜合輔助平台搭建[/b]

在這些問題面前,我們長期的解決方式就是SQL取數,然後Excel做統計報表,領導提出需求,每次臨時製作。領導對效果不是很滿意,科技部的技術人才也容易流失。現在藉助帆軟數據分析工具,自助搭建了綜合輔助分析平台。新平台開發難度小,響應及時,效率高,周期短,成本低。我們2016年2個人,利用10個月斷斷續續開發,完成4個功能模塊開發,4個小型管理系統,54個支行數據填報類頁面、89個業務部門個性化需求。

綜合輔助平台現在日均訪問次數3021次,訪問人數佔比20%,單日訪問用戶數最高能達到946,約佔全行總人數的72%。單日訪問次數峰值更是達到了7355。和大銀行比,微不足道,但相對1300+人的小型農商行,這是我們信息化的里程碑一樣的進展。之前外包廠商開發一張報表3萬元,一年下來也就領導看個幾十人次,大量的個性化的業務需求無法滿足,而現在憑藉我們2開發人員,就已完全滿足。這一個個數據,哪個不是科技部的心血和成就呢?我想,親身經歷項目開發的人,更能體會這其中的喜悅和成就感;積极參与項目的業務人員,更能感受到綜合輔助數據分析平台給自身帶來的業務價值和效率提升。小數據的背後,是心血,是成長,人心。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052002.jpg[/img]

[b]數據分析成果:綜合輔助平台展示[/b]

農商行90%的數據分析需求,是數據錄入+結果展示。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052003.jpg[/img]

小型農商行的數據分析,不是機器學習,不是演算法挖掘,不是數據倉庫。基層實實在在的數據分析需求就是規範採集到零散的業務數據,規範存儲,並以適當的[url=http://www.finereport.com/tw/]圖表製作[/url]形式給予及時的結果展示。依託這個經驗總結,張總領導開發了具有支行上報、業務報表、邏輯功能、小型管理、微信應用5個功能模塊的綜合輔助平台。下面具體分享展示。

支行上報:各支行進行數據填報,方便總行匯總統計。我們為小微業務部、金融市場部搭建了業務申請頁面,比如三渠道金額當日申請、理財員工調動變更錄入、支行需求收集、理財營銷考核表。更有意思的是,我們為食堂開發了選購系統(見下文)。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052004.png[/img]

[b]業務報表:各業務部門的業務報表需求開發[/b]

對常規業務,我們開發了三項表數據分析頁面(如下圖),一張頁面,可以實時查看南通農商行當日存貸數據、存貸佔比、各片區存貸匯總數據、各支行存貸詳細數據,並且,不同的層級之間,我們設置了關聯,可以直接穿透和鑽取,領導看到存貸佔比異常,可以直接下鑽到各個片區,在從片區找到支行,直接定位到具體負責的支行,支行領導也可以用這個系統再詳細分析,找到具體哪塊的業務變化最大,然後做出業務調整或者人事調整。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052005.png[/img]

我們曾舉辦2017年開門紅「PK挑戰賽」,各個戰區,各個支行PK存款、貸款數據,我們就是用帆軟這個工具,搭建的挑戰賽數據採集頁面和實施查詢以及分析頁面,各戰區,各支行領導可以在PC上實時查看到挑戰賽戰況,同時,我們還做了微信集成,微信端也可以同時查看到這些戰況分析。(微信應用詳細情況,可以看下文)
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052006.png[/img]

[b]邏輯功能:存在流程節點,狀態控制的邏輯功能開發。[/b]

在線搶購食堂新菜系統,就是一個完整的填報、數據審核、在線並發控制和邏輯控制的系統。食堂先批量錄入菜品,然後設定今日新菜,食堂領導批准新菜,員工定點開始搶購,食堂在線審核等等,利用這個選購系統,食堂推出定量特色菜,比如每日30份,我們員工在線搶單,提高了食堂效率,促進了員工同事關係和諧。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052007.png[/img]

[b]小型管理:類似文檔管理,發票管理等常用增刪改管理功能[/b]

公司的財務工作和商務工作,涉及到不少紙質或電子文件需要存檔,之前習慣了用excel統計。但我們研究了帆軟平台的功能之後,發現完全可以基於這個平台來定製文檔管理系統,開發量不大,尤其是帆軟論壇中有現成的方案和模板可以直接下載共享,幾天的時間我們就搭建好了這個文檔管理小系統。當然後續還有一些新的需求變化,系統頁面可以後台隨時配置調整,挺方便。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052008.png[/img]

[b]微信應用:支行機關關心數據的微信推送,簡易查詢[/b]

微信端推送報表,是南通農商行的重點建設工作。主要搭建了支行小秘書、高管小秘書和機關小秘書。針對不同層級領導,微信定時推送數據分析結果。分析結果支持在線圖表預覽,數據的鑽取以及分組明細查詢,領導不開電腦只用手機一樣能及時查看到業務進展狀況。遇到業務突發事件,根據我們系統監控的指標,微信小秘書會自動微信推送預警消息給領導層。微信小秘書,很受高層的認可。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052009.png[/img]
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052010.png[/img]
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052011.png[/img]
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052012.png[/img]
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017052013.png[/img]

文 | 帆軟數據應用研究院 船長@李向川

這是一份接地氣的數據方案!——能源化工生產管理數據分析

週二, 五月 16. 2017

筆者最近參加了帆軟上海的化工行業沙龍,與眾多知名化工企業CIO聊天,有不少思考與收穫。今天就來談談能源化工生產管理[url=http://www.finereport.com/tw/]數據分析[/url],說是能源化工業,但其他行業也都可參考!

[b]能源化工行業有什麼特點?[/b]

能源化工行業資源密集、技術密集、設備密集、人員密集、高度封閉。

[b]能源化工生產管理有什麼特點?[/b]

在生產管理上,資源依賴性強、技術依賴性強、生產流程特殊、設備專業化強。由於能源化工行業的生產特點,大部分企業都非常重視過程式控制方面的系統建設,在重要的裝置上都實施了自動化控制系統DCS或PLC,並且注重實時數據的採集、存儲及整理,實現了過程監控。為了優化生產過程管理,MES也廣泛應用了。而更上一層的ERP系統,實現了資源和業務管理。這主要的三層系統,為我們企業提供了大量的業務數據和生產過程數據。

[b]生產運營分析體系有哪些模塊?[/b]

能源化工企業的生產運營分析體系,可以從兩條線梳理。一條是根據企業經營指標核算方式,也就是集團到分廠、分廠到各車間、各車間到各工藝流程再到具體的設備。這條線路執行下來,主要分析的是生產運行狀態、產量、質量、能耗、儲量等等,關注的是每個環節生產出來的成品(含廢品)的指標和綜合績效。另一條是根據企業的經營管理職權分配,也就是高層企業總覽,中層的生產、物料、質量、倉儲等管理,到具體的生產線的操作小組。這條線路下來,關注的是每個具體環節的效率和效益。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051501.png[/img]
筆者今天主要和大家探討的是第二條線路。生產運營詳細劃分為8大模塊:企業總覽、生產運營管理、物料管理、KPI管理、能源管理、HSE管理、工廠模型,各模塊中關鍵的分析主題我做了如下一張圖。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051502.png[/img]

[b]都是報表,沒什麼的新鮮的啊?[/b]

生產運營分析體系,核心是如何做生產運營分析,報表是最後的展現形式,這背後其實還有個關鍵點:報表之間的邏輯。不同的報表解決了生產運營數據到數據監控的邏輯,不同報表之間的先後解讀關係則是生產運營的業務指導方式。這些報表從哪裡來?

有個好消息:企業的MES、ERP中,有不少能用得上的報表,甚至有些規划到位、實施完整的項目,加上後期的良好運維,相當數量的報表都能「直接使用」。也就是說,各個業務系統之中已經存在分散的生產運營[url=http://www.finereport.com/tw/]報表製作[/url]和分析。但「直接使用」僅僅指的是可以內容可用,這要起到作用,還需要轉化。想一般報告需要列印成冊給領導一樣,我們的報表和分析也會被要求從MES、ERP等系統界面轉換為PPT或者紙質文件。而現如今,大屏和行動端展現成為趨勢。

有個新挑戰:企業越來越重視數據資產的價值,企業也開始明確要數據驅動生產運營戰略,可是數據怎麼驅動,sql取數+excel 做報表趕不上企業需求,傳統[url=http://www.finereport.com/tw/]BI系統[/url]的報表系統也只能滿足少數高層,我們的生產運營如何實現數據驅動?

解決方案是選擇能快速迭代的、成本較低的數據分析平台,集中企業數據分析報表,中層和高層領導個人以APP和微信Wechat等社交APP及時查看報表分析,中高層會議以辦公室大屏為主要會議決策材料。公司上下、生產經營以經營報表為基準,推動數據化會議,數據化企業運營。

下面筆者從生產實時監控、庫存、設備運行狀況、厂部月會、集團辦公室會議等方面來分享下心得。

[b]生產運營監控分析[/b]

如下是生產綜合管理的一個辦公室大屏,也就是掛在辦公室牆上,或者放在單獨的一張顯示器上應用。我們可以直接從「生產進度展示」看板部分監測到原料煤、甲醇、煤焦油等銷量和產量情況。從「庫存展示」看板部分清晰看到甲醇儲量超高預警,而粗苯、硫氫、液氧庫存處於低位。「重大事件」看板部分滾動最新生產事件。「設備運行狀況展示」看板部分監測和預警生產線設備的運行時長,部分設備已經超負荷運行。補充的「原料成本趨勢展示」和「經濟技術指標成果展示」則把不同分廠績效、不同產品績效綜合分析展示,讓能及時關注生產效益。除了埋頭苦幹,狠抓生產效率;不忘分析,關注產品效益。

具體的使用情況就是:領導一坐進辦公室,可以隨時打開關注這個大屏,及時了解車間生產狀況。不需要給下屬打電話,也不需要下屬再趕工趕時的統計數據和做報表。一旦發現指標異常,領導可以及時介入,第一時間了解事態,做出生產經營調整或者生產事故處理對策。那領導不在辦公室怎麼辦?可能開會,或者在外出差呢?當下最有前途的方案便是和微信、釘釘集成,採用微信、釘釘的企業員工許可權管理和安全控制優勢,結合及時預警消息的推送,領導點開消息,經過指紋或者手勢驗證,直接可以查看企業生產運營事件,直接在手機上便可以做批註指示。

(附上一張供銷存主題的辦公室大屏案例圖)
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051503.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051504.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051505.jpg[/img]

[b]廠務月度彙報[/b]

企業一般都會有定期的會議,但是會議可能多半沒有和企業經營報表與分析關聯。這樣會議不是解決問題,而是成了情況通報會。由於這樣的會議對解決生產問題幫助不大,所以往往被擠占,真正的經營分析會議寥寥無幾。

我們將經營分析與會議體系結合,實現「開A會議用A報表組合,開B會議用B報表組合」。明確經營指標的分析頻率,把使用報表分析和會議結合起來。我們看下「廠務會上產彙報」(截圖數據已脫敏)如何成為企業管理的發動機。

月度總產值35億元,環比上升3.45個百分點,但是同比下降3.57個百分點。說明上月(2016年9月)生產,對比近期,有所提升,但是對比往年同月,仍有下降。結合該公司經營背景:本年度(2016年)生產有所調整,我們重點關注的是環比數據。環比上升,說明生產能力正在逐步提高,這是可喜的好消息。再看產銷存分析,產品期末庫存大於期初庫存,月度銷量低於產量,只達到了87.4個百分點。考慮到目標是減少庫存,那麼顯然應該重點關註銷量是否可以提升,或者是否考慮適當降低該系列產品產量。分析日產量完成率,明顯發現,生產重點放在了斜鋼和半鋼上,超額完成2倍。而全鋼生產只達到了計劃的37.47個百分點。如此重大的產品生產配比,必然是需要生產部門來會上解釋,然後做出決策,是繼續保持還是要調整生產,保證全鋼生產。前面我們看到產值環比上升,半鋼、斜鋼超額生產。煉焦庫存量已經到了最低安全庫存邊緣,急需干預處理。最終,一張報表結合其他報表,確定下來是調整生產還是調整銷售。用數據來支撐決策,建立參會人員信服的業務處理流程。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051506.jpg[/img]

[b]集團會議大屏[/b]

集團會議大屏,核心要點是兩個實實在在的詞:好看、整合。如何理解好看?從IT供應商到我們的能源化工企業,甚至整個社會市場,大家基本公認,大屏就是要好看,要炫(輪播效果、3D效果、聲光交互等),這塊典型的就是各種開源的插件做出來的效果。筆者認為,企業將效益,講利潤,如果確實需要酷炫效果來爭取高層認可、同行認可、甚至一些政治資源,大屏酷炫還是相當必要的,這就是實用價值。如何理解整合?我們看下面第一個應用插圖。集團會議室將MES系統的生產頁面直接掛到數據分析平台中,與下面第二個應用插圖同在一個門戶下。高層會議直接利用一個大屏,通過頁面切換,直接能分析不同系統的數據。中層進行彙報,無需PPT支撐即可,而且這些都是實際業務系統運營的實時數據,一般在企業的管理制度下,無法作假或者美化。無法增刪改指標和報表來突出經營政績,隱藏業務問題。

其實這種一個平台整合所有分析報表的方式,不僅僅適合高層,同樣也適合中層。比如OA中集成其他系統報表,或者OA、ERP、MES中的報表和數據分析平台的報表整合在一個系統,領導只需一個系統就能獲知自己關注的數據和信息,方便決策。再加微信集成、釘釘集成的普及,行動端查看經營分析報表,即使出差在外,也能隨時對滴直接指導業務經營,處理緊急事件。這對生產和管理的改變是長期的。

可不可以不整合呢?這個沒有標準答案。從經驗來看,領導對OA、ERP、MES,以及其他生產系統中的報表關注是積極有限的,甚至好些半年都不一定登錄兩次。那領導想要的分析,MES裡面有,可他卻看不到,怎麼辦?是讓領導改變,增加高層的辦公時間還是我們尋求其他方案,節約高層時間?對於決策層,用有限的金錢換決策層的時間,從長遠來看,是正確選擇。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051507.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051508.jpg[/img]

今天重點聊的是能源化工的生產模塊,關於銷售、供應鏈等模塊的數據分析,可以翻看筆者的另一篇文章(本文開頭有鏈接)。

前文一些當下心得,筆者不是能源化工行業的專家,可能不少謬誤,歡迎指正,也歡迎留言交流下你做的數據分析工作或對生產大屏報表的見聞。聽說大家都很喜歡數據分析模塊化的指標體系,來,附上一張!
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017051509.png[/img]

文| 帆軟數據應用研究院 船長@李向川

數據分析是為了規範業務——以某製造企業為案例

週二, 五月 9. 2017

新疆天業(集團)有限公司是新疆生產建設兵團第八師的大型國有企業,是中國企業500強,被國家確定為第一批循環經濟示範企業,其旗下有兩大上市公司:天業股份有限公司和天業節水灌溉股份有限公司。2014年5月,新疆天業榮獲中國工業大獎表彰獎,2016年榮獲第四屆中國工業大獎。新疆天業是中國最大的農業節水滴灌生產企業,也是氯鹼行業最具影響力企業。

截至2016年,3年的時間,新疆天業完成了40餘張分析報表,200多張查詢報表,超過1000張報表頁面,覆蓋原料、產品、消耗、設備、庫存、銷售等幾乎全部業務範圍。

[b]數據分析項目的背景[/b]

新疆天業(集團)是一家大型製造企業,業務涵蓋化工、電石、水泥、熱電、礦業、物流等12大產業。集團通過信息化建設,加快了企業業務流程速度,降低了企業內部的交易成本和管理成本,企業取得了巨大的發展。但隨著信息化建設的不斷深入,同時也出現了IT的通病「數據滯後」、「數據不完整」、「信息孤島」等問題。當下之急是整合各個業務系統數據,同時提供規範化的[url=http://www.finereport.com/tw/]報表製作[/url]體系的解決方案,重點是通過[url=http://www.finereport.com/tw/]大數據分析軟體[/url]等工具梳理規範的日報流程和面向原料、庫存、銷售、設備的決策分析報表。

[b]數據分析軟體選型考慮[/b]

[url=http://www.finereport.com/tw/]數據分析[/url]是隨需變化的工作,需要企業長久的維護運營。而這其中最重要的一塊,便是軟體後期升級、維護成本,以及軟體廠商的後續技術服務能力。新疆天業是典型的製造型大企業。生產線7*24*365 不間斷生產,RFID設備、ERP、OA、採購系統、物流系統等不間斷的產生數據。同時,隨著市場需求變化,業務不斷調整,數據分析軟體選型時,除了對產品質量、功能的考量外,更關注的是行業業務數據分析經驗和數據分析專業技術服務能力。我們是化工生產的專家,但並不擅長處理軟體技術問題,所以,與帆軟的合作選擇是慎重考慮的。

[b]公司整體的報表流程規劃[/b]

整體的報表流程規劃,主要採取從下到上的多層報送流程體系。車間為數據源頭,整合、採集、修改、上報數據;廠級單位審核數據,並對合格的車間數據進行自動分析,形成廠級的不同時間粒度的報表,常用的便是廠級日報、周報、月報等;產業層級依據廠級匯總的數據,整合不同工廠數據,形成產業日報、周報、月報、季報、年報;對於集團領導,則是直接匯總產業經營數據,形成集團報表。

數據分析不會直接提高企業管理水平,不會直接增加企業利潤,不會直接提高企業競爭力;只有當管理決策層根據數據分析結果來完善企業的經營管理活動時才能產生效益。報表流程規劃的核心是何時、何節點、何人負責分析經營報表,並對反饋出的業務問題執行何種流程來進行調整。新疆天業藉助數據分析軟體,對每張報表都有明確的負責人、應用場景和業務調整流程。這也正是重要的行業業務數據分析經驗之一。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050901.jpg[/img]

[b]原料日查詢分析[/b]

新疆天業集團業務涵蓋12個產業,下設眾多分廠,原料、產品在不同廠區流轉,為了增加部門、車間績效,各單位一直在實行精細化管理,每日手動Excel統計焦炭、石灰、煤炭等原料的消耗情況,同時記錄人工測量的原料質量指標。如此工作,每日反覆進行,顯示保存在紙質文件中,然後輸入到Excel,最後各車間Excel傳來傳去。

基於我們的報表體系規劃,車間數據是我們的數據源頭,廠級日報是我們報表分析的重要節點。我們針對不同業務,均開發了類似下圖的日報查詢頁面。剛開始推廣時,業務部門並不習慣使用。但隨著幾次指標高亮實時預警成功,我們得到了業務的認可和大力支援。

日報帶來最大的改變在於,及時反饋生產狀況,得以在次日即可調整生產。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050902.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050903.jpg[/img]

[b]原料月報、季報查詢分析[/b]

月報和日報相比,最大區別在於加入了同期對比數據。通過同期對比,評估生產效率和生產管理水平。月報是車間考核的一個重要基準。

季報的關注點在於和往年同季對比分析。化工市場,受季節變化影響,不同季節交替對產品需求有明顯波動,相應的生產產量也需要進行適當控制。通過對比歷年季度需求、生產變化,敏銳把握企業競爭能力變化趨勢,及時對業務規劃做出較大調整。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050904.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050905.jpg[/img]

[b]原料消耗分析[/b]

原料消耗一直是我們重點監測和分析的業務板塊。原料消耗分析是與庫存分析相結合的。之前統計不及時,數據不完整,容易出現原料庫存緊張或者原料庫存過多的情況。庫存緊張就需要緊急採購,增加額外採購成本,同時可能影響業務運轉。庫存過多則浪費倉庫,增加原料流轉成本。通過系統自動出具的熱電產業耗煤量運行分析,可以整體分析煤炭消耗的趨勢,適當調整庫存,節約庫存成本,同時保證生產需要。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050906.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050907.jpg[/img]

[b]產品分析[/b]

產品分析的核心是產品質量分析,把控產品的質量,以提高客戶滿意度。

以電石生產為例,我們統計分析旗下天辰電石、天能電石、天偉電石三家出產的產品的月累計質量和年累計質量,最終匯總得出整個電石產業月累計匯總和年累計匯總。通過監控優級、一級、合格、次品的整體佔比,來判斷是否影響集團市場競爭能力,最終綜合其他因素考慮是否調整市場戰略。

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050908.jpg[/img]

文 | 帆軟數據應用研究院 船長

數據驅動工業價值創造|5個應用場景+8個大數據應用方向

週五, 五月 5. 2017

工業製造業首先是大數據的源頭,一旦製造業全面數字化,生產流程中產生的數據都輕而易舉地屬於大數據的範疇,其數據量、產生頻度、類型從IT角度來看,都極具挑戰性和吸引力。但是,無論是大數據還是小數據,工業製造業對於數據的應用,不光在於製造業如何應用數據,而更多地在於製造業如何認識和看待數據。

[i]本文是雙錢集團(新疆)崑崙輪胎有限公司信息部門 邸海生部長,在帆軟大數據巡展烏魯木齊站的演講,以下整理成了文字案例,闡述了[b]企業數據應用以及對大數據的見解[/b]。[/i]

[b]信息化基本情況[/b]

2010年,我們在烏魯木齊建廠,搭建完成PCS系統。2011到2013年,重點上線輪胎條碼物流系統和OA系統等四個基礎業務系統。2015年重點上線SAP系統,實現了資源調配與平衡。2016開始,受高層重視,開始作為工信部「兩化融合」試點企業,開始大力發展兩化融合。2016年重點工作是業務系統數據分析工作,[b]也就是我們常說的「小數據」分析[/b]。

經過6年多的建設,公司信息化管理架構已經基本完成。PCS、MES、ERP、CRM、SCM等系統應用在了不同的業務模塊,實現了生產和業務管理的自動化、信息化。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050102.png[/img]

信息化系統的整體架構是由位於上層的ERP系統、中層的MES系統、底層的控制系統組成,是面向車間層的管理信息系統。在MES系統建設上,目前崑崙是全國輪胎行業內第一家MES系統全線貫通的企業。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050103.png[/img]

MES的全線貫通帶來了明顯的收益。公司從需求到生產到最後結算,整個環節業務驅動數據流程。這為數據分析驅動生產運營工程提供了數據基礎,也為「兩化融合」工程提供了技術基礎。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050104.jpg[/img]

[b]數據分析驅動輪胎工業轉型與價值創造[/b]

在業務系統數據分析過程中,由於業務部門提出較多的定製化需求,加之技術上對穩定性和擴展性的需求,我們急需一個能打通各業務系統數據,高效率製作數據報表和分析的工具。最後和帆軟合作,基於報表工具著手搭建數據分析報表平台,。

具體定製服務的場景,這裡重點介紹5處。

[b]定製數據服務場景1:密煉機空轉預警[/b]

設備管理員需要實時關注設備的運行情況。此前我們一直依賴設備的聲光提醒,每個管理員只能獨自管理兩台設備。我們進行了整改,根據密煉機的供電電壓、溫度、能量等數據,個性化定製了空轉預警分析報表,並集成到微信平台。當密煉機出現空轉,超時3分鐘及時微信消息預警,避免能源損失,提高設備利用率。現在我們每個管理員可以獨自管理6台設備,大大提高了管理效率。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050105.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050106.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050107.png[/img]
[b]定製數據服務場景2:設備OEE綜合分析[/b]

設備管理員每個月都需要對設備做綜合效率分析。之前採用從系統導出數據,然後Excel手工統計的方式。數據容易出錯,並且重複操作,效率低。現在基於帆軟平台,開發了月度設備綜合效率分析報表。每月自動微信推送到指定管理員微,方便管理員綜合分析。以前等待一周才能開始的月度會議,現在完全可以月初第一天開始,大大提高了效率。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050108.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050109.png[/img]

[b]定製數據服務場景3:裁斷班組產能分析[/b]

我們有的分廠,之前沒有接入MES系統。生產產能分析,一般是一個人操作設備,另一個人用Excel記錄數據,然後人工匯總。現在開發了裁斷班組產能分析報表,集成到微信。兩個人的工作只需要一個人,並且每天不必花費大量時間進行[url=http://www.finereport.com/tw/]報表製作[/url]。班組更換時,班組產能分析報表自動微信發送到相關人員。通過優化配置班組成員,提高產品合格率,提高了生產效率。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050110.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050112.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050113.jpg[/img]

[b]定製數據服務場景4:膠料工藝優化分析[/b]

在實際生產中,經常有限量或者定量生產計劃。比如膠料生產,以10萬車為一個觸發點。這個觸發點是我們根據以往車次生產參數的綜合分析,計算出某種膠料達到最優品質時,各種生產參數的最佳設定值。有了這個定時推送的微信消息,技術人員在改進工藝時可進行參照,不必脫離崗位去查看MES系統或者列印紙質單據。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050114.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050115.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050116.jpg[/img]

[b]定製數據服務場景5:質量趨勢分析[/b]

工業生產,特別注重產品批量質量分析。一旦稍有差錯,很容易導致一大批次出現問題,甚至導致整個產品線返工。對客戶、對企業自身造成極大惡劣影響。我們輪胎是如何做質量監控和預防的呢?首先,我們的設備都大量嵌入晶元,數據實時上傳到我們業務系統;其次,我們對歷史數據做了分析和經驗總結,制定出檢驗標準:連續3條輪胎質量監測出現問題即為異常;最後,依託微信數據報表,及時將異常生產信息和異常產品編碼推送到一線生產人員。及時發現問題,及時糾錯,確保產品質量合格,保證連續生產。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050117.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050118.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050119.jpg[/img]

[b]崑崙輪胎的數據分析項目的認知背景[/b]

崑崙輪胎能在信息化方面取得飛躍發展,榮獲「兩化融合」試點,原因眾多。這其中相當重要的一個內因,在於公司領導對信息化、對數據的工作的先進認知和支持。數據是信息資產,數據也是生產力。公司高層意識到,我們很多生產和業務管理的隱性問題,是可以通過數據分析挖掘來展現的。高效利用我們積累的工業數據,是可以為客戶提供更多的增值服務,同時開拓我們新的[url=http://www.finereport.com/tw/]商業智慧[/url]模式。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050120.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050121.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050122.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050123.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050124.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050125.jpg[/img]

[b]輪胎工業大數據分析方向[/b]

在工業大數據的一年實踐中,我們也總結了工業大數據分析八大方向,目前我們已經部分完成這些數據採集工作,下一步重點就是[url=http://www.finereport.com/tw/]數據分析[/url]和預測挖掘。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050126.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050127.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050128.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050129.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050130.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050131.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050132.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017050133.jpg[/img]
文章源自公眾號「帆軟數據應用研究院」,ID: fr_research。關注公眾號,回復 「崑崙」 可獲取該案例 PPT!

企業數據戰情中心如何搭建?來參加免費線下教育訓練!

週四, 五月 4. 2017

需要一個統一的平台來管理和訪問所有報表,而無需切各個業務系統?
需要分級授權功能,來層層管理報表、用戶和許可權?
需要定時自動形成、自動列印、自動郵寄所需報表?·····
FineReport決策支援平台統統幫你實現!快來參加帆軟5月11日(週四)在台北舉辦的免費教育訓練,學習如何快速搭建企業數據戰情中心!

[b]時間[/b]:2017-05-11(週四) 13:30 ~ 16:30
[b]地址[/b]:104台北市中山區錦西街24號(斜對面成淵高中地下停車場) (捷運:淡水信義線→民權西路站→4號出口步行1分鐘)
[b]主題[/b]:FineReport 教育訓練入門(三)決策平台

[url=http://www.accupass.com/go/FRT03]立即報名[/url]

[b]課程簡介[/b]:
FineReport決策平台-企業數據戰情中心
平台報表管理:彈性自訂的報表多層目錄,快速建構報表中心。
分級授權機制:部門主管可分派所轄員工,分層授權有效管理。
平台風格自訂:可再設計的平台外觀主題,滿足企業形象風格。
角色首頁自訂:登入專屬首頁dashboard, 掌握職能所屬分析。
定時調度派發:自動列印、自動郵寄、自動上傳ftp、自動搜集。
上報審核任務:日常任務可建立循環排程,上報審核彈性設計。
行動設備綁定:行動平台可分析、可回報,安全綁定機制可靠。
資料過濾應用:平台個人化資訊-薪資條、個人KPI等應用。

帆軟部分客戶數據戰情平台示意圖:

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/decisionplatform06.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/decisionplatform08.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/decisionplatform01.png[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/decisionplatform02.jpg[/img]

[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/decisionplatform05.jpg[/img]

從一個故事說起,談談企業應用架構的演變史

週五, 四月 28. 2017

企業應用架構是指一整套軟體系統的構建,通過合理的劃分和設計組合在一起,支援企業方方面面的經營運作。

不論是傳統企業,還是互聯網公司,發展到一定階段,都需要一整套體系化的應用架構來支撐其運轉。良好的、合理的應用架構可以支援企業高效開展業務,控制經營風險,而混亂的、不合理的應用架構則會限制企業的快速發展,成為企業增長與變革的瓶頸。

企業信息化建設已經發展了幾十年,傳統企業和成熟互聯網企業的應用架構並沒有本質的區別。本文將通過一個線下小型門店成長為多元化集團的發展歷程,逐步向讀者展示企業應用架構的演變和設計的理念。

完整的企業架構(EA,Enterprise Architecture)分析構建,包括業務架構、應用架構、技術架構、數據架構,本文聚焦[b]應用架構[/b],更加關注軟體系統設計與公司經營管理的關係。

不論是 C 端產品經理或者 B 端產品經理,理解應用架構的建設思路,能夠幫助你更輕鬆的理解公司的業務運轉,以及各個系統存在的目的與你所負責工作在整體團隊中的定位和價值。

[b]傳統企業的應用架構演變[/b]

[b]小門店的 Excel 管理之路[/b]

我們將從一個最簡單的案例入手,來展開故事。

假設你是一名個體經營者,在小區中開了一家小門店,售賣居民常用的生活用品。門店不大,只有十幾平米,平常由你一個人負責經營管理,包括採購、擺貨、銷售。

為了更準確、科學的打理你的生意,你設計了一個 Excel 文件來管理你的商品與銷售數據。

實際上你只需要做三張表格:

● 第一張表格存儲了你的貨品信息
● 第二張表格存儲了你的採購記錄
● 第三張表格存儲了你的銷售記錄

這三張表格的結構和關係如下圖所示:
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043002.png[/img]

上圖採用了 ER 模型來描述三張表的邏輯結構,* 和 1 的含義是表和表之間的關聯關係,例如採購記錄和商品信息是多對一關係,即採購記錄表中的每條數據只能對應商品信息表中的一條數據,商品信息表中的一條數據可以對應採購記錄表中的多條數據。

因為你採用了科學的數據表格管理,記錄了門店的所有採購入庫和銷售數據,這讓你的經營變得井井有條;通過這些原始數據,你可以準確的管理庫存、計算利潤、掌握暢銷品和滯銷品,還能通過數據透視表製作銷售日報和月報。

實際上你通過以上三張表格管理自己的生意,已經是一個管理軟體的雛形了。所有的軟體系統無非都是對數據的增刪改查操作;可以說,如果使用得當,Excel 也可以做出一套小型的軟體系統。

[b]小超市的輕量級ERP之路[/b]

因為你善於使用信息技術來協助你做生意,你的買賣發展迅速;很快,你將小門店升級成為一家小型超市,並且僱傭了幾個店員來幫你。作為店長,你興奮的繪製出自己的第一張組織架構圖,夢想著事業會繼續壯大。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043003.png[/img]

因為經營的貨品更加豐富,日交易量成倍增長,並且有好幾名員工需要做數據錄入分析工作,這時 Excel 已經難以滿足經營管理的需要。因此明智的你在開店之前,就決定採購一套 ERP 軟體來協助你管理超市。

因為你還處於創業期,資金有限,通過仔細挑選,你選擇了一套輕量級的 ERP,並且只購買了其中的幾個核心模塊,這樣既可以控制成本,又可以讓你經營的軟體設備升級。

現在,我們可以繪製公司的第一張應用架構圖,公司擁有一套系統,包含三個模塊。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043004.png[/img]

[b]通過CRM拉近與客戶的距離[/b]

為了更加準確的理解、認識你的客戶,同時也為了能夠拉近你和客戶的距離,你打算通過 CRM 軟體進行更加科學的客戶管理。

你設計了一套會員積分制度,所有的客戶都能免費辦理會員,這樣你就可以記錄下關鍵的客戶信息,而且你的小夥伴建議你開通一個微信公眾號,讓客戶能夠通過微信來查詢自己的積分。

這個主意太棒了!你追加購買了幾個 ERP 的模塊,雖然 ERP 中也包含了 CRM 模塊,但是研究後你認為內置的CRM模塊功能有限,不支援對接微信,行銷功能也不夠強大,因此你新購買了一套 CRM 軟體,和 ERP 進行了一定程度的對接,同時申請了微信公眾號,找外包公司做了一些定製化開發。這樣上述想法就都實現了!

我們繪製出公司的第二張應用架構圖。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043005.png[/img]

可以看到,核心的客戶信息資產模塊都在 CRM 中實現,其中內置了行銷模塊、消息推送服務 Msg 模塊,包括 SMS 、EDM(Email Direct Marketing)和微信消息推送。

● CRM 主要聚焦客戶資料的管理和行銷服務,主要用戶為店長和運營人員;
● ERP 主要聚焦於超市的進銷存以及財務業務,主要用戶為營業員、出納、採購、庫管和會計。
[b]請注意:這裡已經產生了應用架構設計的概念。[/b]

公共號、ERP 和 CRM 每個系統都為了解決某一大類的業務問題而存在,有各自清晰地定位、分工和目標用戶,每個系統相對獨立又互有關聯,內置若干模塊,每個模塊都是為了解決某一大類業務問題下的某一小類問題而設計。

在這張圖中我們使用了分層描述,靠近 C 端用戶的微信公眾號在最上層,支援業務運轉的 ERP 放在中間層,偏底層的客戶信息集成 CRM 放在最下層,這樣可以清晰地看出幾個系統的層次關係,同時也在一定程度反映了系統和業務之間的邏輯對應關係。

[b]中型連鎖超市的架構之路[/b]

業務進展很順利,你已經開了五家中型連鎖超市了,員工數量達到了幾百人。公司走上了正軌,標準化的管理分工已經成型,不同職能單元各司其職。

為了有效管理團隊,並且讓內部流程更加順暢,你邀請專業的 IT 諮詢公司幫你重新梳理了公司的業務目標、組織架構、運營流程,通過引入 OA、HRM 以及重構 ERP 等手段,對不合理的制度,低效的流程進行了改造。

公司成立了信息技術部,其中項目部配合諮詢公司以及軟體外包公司進行系統改造或實施新系統,運維部負責保證伺服器、網路的穩定。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043006.png[/img]

你理解數據對公司發展的重要性,所有的管理決策都應該基於對數據的分析和判斷,因此你邀請諮詢公司幫你強化公司的數據分析能力。

諮詢顧問建議你實施數據倉庫(Data Warehouse)和 BI(Business Intelligence)項目,原因有幾點:

● ERP 系統和 CRM 系統都有[url=http://www.finereport.com/tw/]報表製作[/url]模塊,但兩個系統的數據相互孤立,不利於整合分析。
● 業務系統的底層數據結構並不適合做複雜的[url=http://www.finereport.com/tw/]數據分析[/url],常見的多維分析更需要一套數據倉庫常用的星形數據結構和雪花型數據結構。
● 成熟的 [url=http://www.finereport.com/tw/]BI 系統[/url]可以讓你的報表分析與多維數據探查更輕鬆,其中的儀錶盤更能夠讓你輕鬆掌控公司全局的核心指標變化。
● 企業經營中很常見的一個問題,就是經營分析指標統計口徑太多,造成管理混亂和溝通障礙,除了在管理上規範公司級指標的定義,也需要一套底層數據架構,消除上游各個異構系統的孤島和屏障,統一管理匯總數據和指標計算。
諮詢顧問建議,雖然目前公司的業務系統還沒有到非常複雜的階段,但數據倉庫可以幫助企業更快速高效準確的理解、捕獲、使用數據,做好基礎建設工作,培養員工的數據分析意識和方法,通過數據來進行決策。隨著業務的拓展和系統複雜性的提升,數據倉庫的存在價值將越來越明顯。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043007.png[/img]

在數據倉庫項目中,同時構建了數據集市(Data Mart)。數據集市介於 BI 展現層和 DW 數據底層之間,是數據倉庫的數據子集。數據倉庫的服務對象通常為全公司或全集團,但是不同部門可能有自己的數據分析訴求與指標管理訴求,這時候通過統一的數據底層,封裝出針對某個部門使用的小型數據集市,可以保證數據流的合理性、可追溯性,同時研發部門可以完全復用 DW 和 BI 的技術能力,輕鬆地設計實施 DM 。

如果希望數據倉庫在企業中真正發揮作用,不僅僅是軟體系統實施問題,更重要的是公司層面的經營分析思路體系化,指標管理規範化,以及數據部門組織架構、與業務部門合作流程設計問題,同時還需要提升全員數據化管理運營的概念和意識。軟體本身並不能解決企業的問題,只有配套的架構、流程、制度與意識,才能發揮軟體的功效。

[b]應用架構跟隨業務而變[/b]

由於公司經營良好,很多商品可以從供應商處拿到很好的價格,經過供應商授權,公司決定開展 2B 業務,成立了大客戶銷售部,公司將作為供應商的 B 端渠道,挖掘企業客戶。

為了讓銷售工作高效展開,對銷售人員進行嚴格的過程管理,同時也為了保留客戶資料,避免銷售獨佔客戶資源,根據 CTO 建議,公司決定實施操作型 OCRM(Operating CRM)項目。同時由於各部門經常出現個性化的軟體開發訴求,軟體外包維護的成本高,效率低,公司決定招聘研發團隊,用自己的隊伍進行軟體的二次開發。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043008.png[/img]

在設計 OCRM 系統時。CTO 面臨兩個選擇:

[b]方案一[/b]:新做一套獨立於現有 CRM 的 OCRM

[b]優點[/b]:

OCRM 系統已有成熟的軟體可以選擇,無需從頭開發;兩個系統邊界清晰,分工明確,便於未來各自的發展與演變。

[b]缺點[/b]:

應用架構會略有複雜,需要將原有的 CRM 和 OCRM 做數據打通,對原有的客戶模型做升級。

[b]方案二[/b]:在原有的CRM基礎上開發新模塊

[b]優點[/b]:新開發的模塊完全基於公司業務流程和模式設計,適配程度高。

[b]缺點[/b]:新開發模塊成本高速度慢,系統邊界模糊,導致以後維護升級時模塊管理的混亂。

綜合評估兩套方案實現的成本和速度,考慮到對未來業務變化的靈活支援,同時為了避免影響核心 CRM 業務的穩定性,CTO 決定採用方案一,讓兩個系統各自聚焦,互相獨立,邊界清晰,雖然無形中增加了公司應用架構的複雜性,但可以快速實施支援當前的緊迫業務,並靈活應對未來公司的銷售業務變化。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043009.png[/img]

[b]一般來講[/b]:

B 端客戶的數據模型和 C 端客戶差異非常大,B 端客戶模型關注組織架構和人員角色的描述,C 端客戶模型關注客戶本身個人信息的描述,即便應用系統中將客戶模型和操作型系統分開建設,客戶模型一定會做成兩套以支援不同的上下游業務系統。

上圖為了簡化表述,只繪製了一個模塊「客戶信息」,但讀者應該認識到:該模塊應該包含 B 端、C 端兩套客戶模型。實際上有的公司會明確將兩套客戶模型在應用架構中分開設計並且分別建設,以便更加準確的體現應用架構中的業務概念。

廣義上來講,CRM 代表一種企業對待核心客戶資源的管理理念和運營方法,CRM 是一種概念而非某一個獨立的應用系統。

大型的企業涉及多條業務線,不同的業務線有不同的客戶群。企業需要有統一的客戶視圖和管理理念,以及強大的 IT 系統支援,來實現準確的客戶接觸點管理,充分挖掘客戶群體實現精準銷售,積極有效的維護企業和客戶的關係。

CRM 體系化的系統建設中包含了客戶建模、會員積分管理、行銷中心、銷售線索和過程管理、小型數據倉庫或數據集市、統一客戶視圖、客戶畫像和數據挖掘、電話銷售中心等等。

不同的企業對系統的劃分和團隊的管理各不相同,但所有 CTO 都應該明白 CRM 是一套應用體系,而不僅僅是某個單一的獨立應用系統。

至此,我們已經繪製出一套一般企業的簡化版應用架構圖,以及一張常見的組織架構圖。可以看到,應用系統的建設,是根據業務的發展變化逐步完成的,每個系統都有獨立存在的意義和價值。

[b]多元化業務帶來的應用架構演變[/b]

[b]在線商城業務帶來了互聯網化管理[/b]

公司的零售業務發展進入了瓶頸期,CEO 需要尋找新的增長點。

經過評估,決定開展電商業務,新成立了電商部,從市場上聘來了某電商平台 VP 作為部門負責人,直接給 CEO 彙報。

為了學習互聯網公司,以技術力量推動業務創新,電商部組織結構參考了一般互聯網公司組結構,有自己獨立的研發團隊,設置了產品崗位,產品技術總監給電商部負責人彙報。

電商部受到 CEO 極度重視,給與極高自治權和最高資源支援,同時 CEO 還將之前線下的客服團隊升級為公司一級部門,直接給 CEO 彙報,統一處理線上線下的客服與售後業務。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043010.png[/img]

新業務開展,大家幹勁十足,因為電商部產品技術總監和公司 CTO 之間不存在彙報關係,產品技術總監為了快速推進項目,所有決策基本只是告知 CTO 。

產品技術總監作為純互聯網背景專家,認為購買現成軟體套件不利於系統的二次開發和自主維護,長遠來看會限制公司業務發展,希望整套系統實現自主研發。

雖然 CTO 極力反對,但經過電商部負責人和產品技術總監的遊說,CEO 聽取了總監的建議,並且總監承諾自己的研發團隊效率極高,一定會在承諾之日交付系統。

產品技術總監設計的應用架構體系,包括 PC 和行動版的前端應用,以及完整的後端系統,包括訂單、售後、客戶信息、會員、行銷、賬號、CMS 。此外,倉儲、財務系統會接入現有ERP的服務,配送模塊直接與第三方配送服務商系統對接。

對於這個架構設計,CTO 比較不滿,認為客戶信息和賬號管理不應該重複建設,而應該統一規劃管理,但產品技術總監一心快速推進實施,對於信息技術部開發效率低的情況他早有耳聞,他可不希望被一些不可控力影響導致自己的項目延期,因此 CTO 的抗議他不予理會。

升級後的客服部門,新建了 20 人坐席的電銷中心,以支援主要來自於線上的電話客服訴求。新成立的客服團隊需要 CallCenter 系統開展業務,雖然 CallCenter 的主要服務群體是線上業務的客服話務員,但 CEO 為了在一定程度上安撫 CTO 的不滿情緒,將 CallCenter 項目安排給 CTO 負責。

CTO 採購了一套成熟 CallCenter 來支援 400 熱線業務,對此安排電商部的產品技術總監沒有什麼異議,但在 CallCenter 的實施中卻出現了問題。

因為 CallCenter 系統只負責電話作業,其中的客戶資料一般由上游系統提供。但是公司現有兩套客戶資料,一套是保存在 CRM 的線下業務客戶資料庫,一套是在線商城的客戶資料庫。

為此只能在 CallCenter 中新增一套客戶庫,將另外兩套客戶庫數據同步過來,這樣客服人員才能在 CallCenter 中查到公司級別的完整客戶信息。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043011.png[/img]

[b]信息孤島與主數據管理[/b]

電商系統如期上線,業務發展迅速,電商團隊的運營和產品人員年輕,聰明,充滿活力,思維活躍,玩法眾多,電商技術團隊響應迅速,產品經理和技術團隊的無縫配合,讓技術力量真正推動了業務的增長。

公司賺錢了,老闆很開心。但很多問題也同時暴露了出來。我們先來看看之前的應用架構。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043012.png[/img]

之前為了快速上線,有一些應用架構遺留問題沒有解決。現在公司有三套客戶資料庫,線下客戶通過微信公共號訪問 CRM 系統中的客戶信息,在線商城的客戶通過線上商城訪問 e-Store 系統的客戶信息。當客戶致電 400 時,電銷業務員(TSR)訪問的是從 e-Store 和 CRM 同步過來的客戶信息。

線上客戶關注公共號後,查不到自己的資料,這讓客戶感覺很詭異。

線下客戶想在線上商城下單,發現之前登記的賬號不能使用,需要重新註冊完善資料,客戶很煩躁。

數據同步 30 分鐘一次,有時候客戶剛修改完資料再致電 400,客服查到的客戶信息不是最新的,讓客戶很生氣,客服很苦惱。

有的客戶喜歡打電話讓客服改資料,因為客戶資料是單向同步,客服無法協助客戶修改資料,客戶很氣憤,為什麼你們連這點服務都做不好!

很多客戶在線上線下都消費,但由於在數據倉庫中冗餘出了兩個客戶對象,不論是線上團隊還是線下團隊,都無法做更準確的客戶畫像和跨渠道消費行為分析。

CEO 很生氣,找到 CTO 和電商產品技術總監,質問怎麼回事。

CTO 回答,我們遇到了嚴重的信息孤島問題!

由於 CRM 和商城後台數據互相孤立,導致核心客戶資源不同步,不統一,讓公司無法得到一個完整準確的客戶視圖。如果要解決這個問題,必須對應用架構進行改造,並且改造比較耗時。

CEO 很鬱悶,沒想到應用架構不合理會影響到業務發展,也沒有想到組織架構的設計會導致應用架構出問題。為此,CEO 做了一些調整,產品技術總監實線向電商部經理彙報,虛線向 CTO 彙報;總體來講產品技術總監對電商業務銷售端負責,CTO 對全公司 IT 架構管理和其他所有系統負責。經過善意的溝通,CTO 和產品技術總監的矛盾消除了,大家決定合力解決問題。

解決數據信息孤島的方法很簡單,那就是只保留一份客戶信息庫,這份客戶信息庫保存最核心的,與業務單元無關的客戶屬性和資料。至於積分、會員等擴展屬性依然由各個應用系統維護管理。調整後的應用架構圖如下:
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043013.png[/img]

將客戶信息庫獨立,商城、CallCenter 、CRM 和微信公共號通過統一介面調用 Customer Profile 存儲的核心客戶檔案,不論客戶或業務員從哪個埠查看或修改信息,變化對其他埠都是透明、實時的。實際上這就是客戶主數據管理 MDM(Master Data Management)的設計理念。

在企業應用系統建設中,不可避免的會遇到信息孤島問題,信息孤島是指因為各種原因,每個應用系統獨立建設時,沒有和外界系統做良好的打通,導致應用系統之間存在流程或數據的孤立性,最終給業務帶來嚴重影響。

解決數據信息孤島的經典方法就是主數據管理(MDM)的思想,主數據管理通過應用架構的拓撲設計,配合相應的管理手段,幫助企業存儲、識別唯一的關鍵數據,避免企業內部關鍵數據的冗餘和不一致問題。常見的主數據有客戶主數據,商品主數據等。

主數據管理的設計理念應該自始至終貫穿企業應用架構的設計過程。需要注意的是,企業應該在合適的階段實施主數據管理和治理。主數據將應用架構變得更複雜,在初期階段實施時需要投入更多時間和資源,而在企業發展的某些階段,快速迭代上線意味著對商機的捕獲和市場變化的迅速跟進,一個合格的架構師應該在應用架構設計和公司業務發展之間做出合理權衡,要根據現實的情況和資源,敢於在應用架構的和理性上做出妥協和讓步。

主數據經常作為底層數據應用來管理,因此在架構圖中我們將它和 DW 並列畫在最底層。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043014.png[/img]

[b]抽離共性模塊全面服務化建設[/b]

公司業務發展穩定,各個系統底層做過幾次技術重構,性能更強健。為了讓各個應用系統更加聚焦,提升穩定性,節約開發成本,避免重複勞動,CTO 和產品技術總監討論後決定對一些公有服務從各自應用系統中剝離,統一進行服務化改造升級,為以後公司新業務的開展打好基礎。

例如,將 CRM 和商城後台的消息模塊功能合并,將商城支付模塊單獨剝離,設計實施了集成化的許可權管理系統 Auth,給全公司多個應用提供統一的許可權管理服務,控制公司運營風險。

CTO 和產品技術總監合作加強了數據團隊建設,設立了數據挖掘團隊,豐富了客戶畫像,加強了經營分析能力,產生了更多的策略輸出。數據策略輸出不僅給在線商城提供了更強勁的推薦策略,也為 CRM,運營人員提供了更豐富的策略運營、精準定向活動推送支援。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043015.png[/img]

[b]強健的底層架構快速支援新業務開展[/b]

公司在尋找新的增長點,計劃開展個人理財業務。公司的組織架構有了新的調整,管理模式也有了新的提升,形成了集團化治理模式,成立了財務共享中心,人力資源共享中心。

新設立的理財事業部,和零售事業部、電商事業部一起,調整為獨立核算事業部編製,事業部聚焦經營和銷售,集團層面給事業部提供基礎運作支援。信息技術部也與時俱進,將之前的需求管理部調整為產品部,信息技術部主要負責 CRM、CallCenter、ERP、OA、HRM、DW、BI 等應用系統,保證集團職能部門運作,為事業部的應用系統提供基礎架構和底層服務支援。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043016.png[/img]

因為集團IT應用架構已經非常強健,理財業務的系統構建可以迅速展開,CTO 和理財事業部的產品總監溝通後繪製了集團應用架構圖,理財業務只需要建設一套 C 端 APP 和一套基本的管理後台,而類似於客戶數據、支付、Push 服務、DW 和 BI 都直接使用集團現有系統,無需重新開發。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043017.png[/img]

CTO 和產品總監討論後,認為上述架構圖還存在一點問題,賬號管理不應該單獨創建,集團已經有著很成熟的統一客戶管理理念,多套賬號管理模塊會再次造成信息孤島問題。因此決定將現有的賬號管理模塊也進行平台化、服務化升級,給理財業務提供支援。集團層面的 Passport 系統誕生了。

更新後的架構圖如下:
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043018.png[/img]

這裡順便解釋一下:為什麼本文對所有軟體系統都稱為系統,而互聯網公司則習慣稱其為產品。

互聯網的發展催生了產品經理的崗位。產品經理常分為 C 端產品經理,B 端產品經理(包括商家端和運營管理中後台)等。

B 端產品線中,有 CRM 產品經理、供應鏈產品經理等。在互聯網公司似乎不太在意區分產品和系統的叫法,到底兩者有何區別?

實際上,所謂產品是指企業提供的商品或服務,給企業帶來利潤。早期的互聯網公司多為虛擬經濟形態,面向用戶的軟體系統就是公司給消費者提供的商品或服務,因此聚焦軟體功能設計的人員被稱為產品經理。

而互聯網公司是一類高度依賴信息技術能力驅動業務的公司,對各類軟體系統都傾向於自主建設,因此不論是面向客戶的系統,或面向企業內部的系統,軟體設計人員都統一叫做產品經理,其職責定位就是負責軟體的設計和實現,軟體系統習慣被稱為產品;而在傳統企業,負責軟體設計的人員一般都叫做需求分析師或系統分析員,軟體系統習慣被稱為系統。

其實怎麼稱呼都無所謂,本文統一叫做系統。

[b]企業通用應用架構設計[/b]

[b]通用企業應用架構圖[/b]

對上文的應用架構圖做一些簡化和調整,以便更加準確的體現應用架構的共性以及與業務的對應關係,得到一張更加清晰簡潔的企業級應用架構圖。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043019.png[/img]

第一層是對外系統。所有給企業外部客戶使用的系統都在這一層,包括官網,普通用戶或客戶使用的 C 端。如果是類似於美團,天貓這種平台性質的業務,還會包括給商家使用的商家端。這類系統站在與客戶接觸的最前線,是公司實現商業模式的橋頭堡。

第二層是對應 C 端系統的管理後台。常見的管理後台都會包含訂單、CMS 、商品等模塊。每個 C 端業務形態都會對應一個管理後台,有些管理後台的模塊可能會被抽離出來集中維護,例如風控,消息服務,客戶主數據。

第三層是業務單元支援系統。絕大多數企業業務的開展,必然不能單純靠線上的運作來實現經營,而可能包含電話銷售,客服,地推,倉配等一系列業務單元共同運作。業務單元的運作需要強大的系統支撐。

第四層是職能單元支援系統。企業發展到一定規模後,必然會有完善的職能單元作為後勤部門支援業務單元的運轉和企業的正常運作,例如法務、財務、人力、客服,每個部門的正常運轉都需要相應系統的支援。

第五層是基礎架構支援系統。信息化建設到達一定程度後,企業有必要將通用功能服務化,平台化,以保證應用架構的合理性,提升服務效率。這類系統主要給其他應用系統提供基礎服務能力支援。

第六層是數據底層。和第五層類似,這一層主要集中在數據層面的統一和封裝,對各個下游系統提供數據服務。

以上六層劃分涵蓋了企業所有的應用系統建設,每一個應用系統的存在都將定位在六層中的某一層。

上圖示例的系統涵蓋了絕大多數正常企業經營運轉常見的應用系統,在現實世界中,應用系統數量會遠遠多於上圖所示,例如商業銀行可能會有成百上千個系統存在。但是理解一個常見企業的組織結構,部門定位,以及上述應用架構圖形成的原因,可以讓你更準確快速的理解、掌握、設計任意一個應用系統。

[b]不同類型企業的應用架構圖示例[/b]

因為一般企業的組織架構設計,職能單元的設計基本沒有太大區別,而以上簡化版的應用架構圖映射了一個標準化企業的各個常規業務單元,且涵蓋了絕大多數企業中標準的應用系統,所以我們可以將不同互聯網企業的應用架構圖映射到上圖中。

下面我們用三個例子,向讀者演示不同業務形態、發展階段的公司,其應用架構的可能形態。作者並未在以下公司任職,或與相關內部人員探討過其公司應用架構,以下示意圖均為作者根據幾個公司的業務特點和發展階段,所做的推測。

首先以美團點評為例。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043020.png[/img]

美團網的業務模式主要為供需平台建設,幫助消費者和服務提供方撮合交易。外部系統包括了 C 端系統和商家端系統,C 端系統為消費者常用 APP,商家端系統為商家提供商品管理、交易管理、推廣管理、經營分析等功能。C 端或商家端都對應後端管理系統,方便企業內部對整個平台進行管理、行銷、風控等。

平台需要發掘更多的商戶資源入駐,因此會有銷售過程管理的 OCRM 系統;平台需要對 C 端客戶提供客服與售後支援服務,相信美團點評的業務量,一套專業的 CallCenter 系統必不可少;美團提供了自營的配送服務,TMS 系統必然成為標配(也有可能是 SCM 中的模塊)。

由於美團業務不涉及自營的實物貨物買賣服務,沒有倉儲體系,因此推測沒有 WMS 系統(或者 ERP 中包含了 WMS 模塊但是沒有啟用)。O2O 業務需要管理大量線下門店,因此 GIS(Geography Information System)系統不可或缺,對於實力較強的公司,可能還會開發獨立的 POI(Point of Information)管理系統(也有可能是 GIS 中的模塊)。至於財務、OA 、Passport 、Auth、BI、DW、MDM 等,必然都是公司標配。

接下來再以今日頭條為例。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/2017043021.png[/img]

今日頭條構建了信息流資訊類 C 端,吸引網民使用,這類產品最常見的盈利方式為廣告變現。在公司經營之初,可能採取了市面上的 DSP 平台來完成 APP 的廣告管理(當然也可能從來沒有採用過),為了更好的設計廣告產品,相信現在一定有自己的廣告投放管理平台,因此公司會有給廣告主使用的B端廣告投放管理系統。

「當然也有可能還沒有這類平台,作者在百度工作時很多商業變現產品投放管理都是PM和廣告主線下溝通後通過內部平台操作的。」

因為業務模式以廣告投放為變現手段,因此後端系統可能沒有交易類後端複雜,但基本的 CMS 和風控(反垃圾、反作弊、合法合規)必然是有的。公司需要盈利,就需要售賣產品,售賣產品永遠不可能只在線上運作,必然會有 BD 團隊支援,因此今日頭條也會有 CRM 系統,管理對象為廣告主而不是網民。

但是 WMS、TMS 系統這類系統估計就不需要了。至於 CallCenter,筆者查詢了官網,沒有找到相關的客服熱線,猜測還沒有建設。

今日頭條的早已度過創業期,標準的管理軟體應該配備齊全,例如 OA、HRM;不同的基礎架構支援系統,在當前階段有可能有,也有可能沒有;例如 Auth、Pay、MDM 等。作為一個純技術公司,BI、DW 當然是標配。

最後的例子,我們挑一個相對規模小,產品形態單一的例子,例如墨跡天氣,萬年曆這類工具類應用的公司。
[img]http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/201704302.png[/img]

這類公司在創業初期,不考慮變現的情況下,團隊小,產品簡單,應用架構圖也會非常簡單,在產品發布時,只需要實現官網、C端、後台管理、賬號和會員管理就足夠了。當然隨著公司的發展,常見的變現手段之一就是廣告投放,可能會繼續演變到類似於今日頭條的應用架構。

以上舉了三個例子,讓讀者更好的理解應用架構演變和公司業務模式以及發展階段的關係。在實際工作中,應用架構的建設與面臨的情況會複雜得多,只要理解了以上簡化版的例子,可以更容易理解實際工作中的場景。

[b]企業應用架構設計的一些建議[/b]

最後,我們來談一談如何合理的設計企業應用架構。不論是架構師,產品條線負責人,或某個系統的產品負責人,都要有架構設計的理念和知識,尤其是後端產品經理,必須充分理解企業應用架構的基本概念。這裡給出一些應用架構設計的建議。

[b]1. 系統定位和邊界要清晰,對應的業務定位和邊界要清晰[/b]

一套應用系統的存在,都是為了解決某一類業務問題,對應某一個業務板塊。如果業務板塊或業務單元定義模糊,也會導致對應的應用系統定位混亂。

[b]2. 系統要實現松耦合,高內聚[/b]

系統要對外界透明,簡單,易理解,與外部系統的介面要簡明,扼要,靈活。內部模塊高度聚合,粒度越細越不可拆解。

[b]3. 易變的,嘗試中的新業務要避免影響現有業務的穩定性[/b]

對新業務的支援,可以考慮新建獨立微小型應用系統,以便避免改造成熟核心系統,影響其穩定性和健壯性。

[b]4. 系統之間數據要實現單向流轉[/b]

系統之間盡量保證單向數據流轉,確保數據流可回溯,數據的一致性和可追溯性。混亂的數據流轉管理會造成應用架構管理的災難。

[b]5. 架構設計核心目標是支援業務,有些時候不合理的存在是合理的[/b]

應用架構存在的首要目標是支援業務,很多成長性企業或初創公司面對生存的壓力,不能為了保證架構的合理性而拖延系統實施速度導致企業錯過發展時機。

這種情況在互聯網型企業更為常見。業務還在試錯期,系統需要儘快保證支援業務試錯,如果一上來就談論整體架構的合理性,很可能花費巨大成本實現了合理架構後,新業務已經取消或失敗。優秀的架構師和CTO要懂得在合理架構設計和靈活多變的業務發展之間做出智慧的權衡取捨。

對於 CTO 或公司架構師,要保證整體企業應用架構的合理性,只要大框架合理,局部的偏差可以忽略,修正的成本也比較小,如果大框架有偏差,修正的代價會非常高。對於產品條線負責人,要保證局部框架的合理性,避免出現設計不合理造成的返工和補救工作。

很多時候架構師或條線負責人要做出判斷,是做一套新系統,還是修改老系統;新系統如何定位,老系統如何調整定位;數據如何流轉,系統之間如何關聯,底層數據如何打通;是否要復用其他系統模塊,是否要將某些模塊抽象化,服務化,平台化。對於產品經理,要在系統級別的粒度做出類似問題的判斷,能夠識別出可能存在的系統演變風險,及時升級控制不了的問題,避免做出錯誤決策。

企業架構是一套龐大複雜的體系,本文是對其中應用架構部分,結合作者實際工作經驗的淺薄理解,業界有著眾多的企業架構建設規範和指引,例如 Zachman、EAP、TOGAF 。這些框架涵蓋了信息技術和企業戰略結合實施的方方面面,感興趣的讀者可以做更深入的學習。
—————————————————————————————————————————————————————–

[i]文章由[b]FineReport[/b]報表與BI商業智慧軟體分享。

作者:楊堃(微號公眾號:goYangKun),9年互聯網研發、產品設計經驗,曾就職於傳統外資保險公司,百度,現就職於美菜網。[/i]