frlily 的所有文章
一、我國保險業所面臨的問題
近年來由於宏觀經濟的粗放型發展、居民財富分配不均,以及保險行業產品單一、同質化競爭、創新艱難、信息化建設不足、營銷機制問題等自身難題,各大保險公司壽險保費收入出現負增長。而保險產品供給與需求的錯位,產品不能滿足投保人需求,則被認為是其陷入困境的根本原因。
舊有的保險系統缺乏統一的客戶視圖,沒有完整的客戶信息資料,加大了理賠難度,尤其是跨區域業務。靈活的產品建模工具和快捷的產品發布方式的缺乏,使得產品難以滿足客戶靈活多變的投保需求。公司內部的資料並未形成一個完整的資料體系,導致分散經營,極大增加了運營成本,影響著企業的管理和決策。保險業所面臨的危機,恰恰給保險業擁抱巨量資料時代,藉助巨量資料分析提供了良好的機遇。
二.巨量資料技術對保險需求的影響
(1)對客戶需求的精確鎖定
在保險需求方面,巨量資料使過去無法滿足的保險需求成為可能。保險企業不是用網
by
frlily
-
資訊
利率市場化改革、宏觀經濟新常態、互聯網金融和巨量資料時代的來臨正從經營環境和商業模式兩個維度徹底顛覆著商業銀行賴以生存發展的生態環境。可以預期,內外部經營環境的變化和巨量資料的應用將共同推動商業銀行進入真正向「以客戶為中心」的業務轉型期。
一、巨量資料的定義及民生銀行巨量資料戰略
各行各業都在講巨量資料,但是至今仍沒有一個被廣泛採納的巨量資料的明確定義。中國民生銀行將國際國內巨量資料研究成果與自身應用實踐相結合,綜合考慮資料結構、資料技術和資料價值等不同維度,對巨量資料給出以下定義:
巨量資料是指把結構化、半結構化、非結構化海量資料通過資料技術進行收集、整理而成的資料集或資料群。利用資料挖掘分析技術能夠使這些資料集群產生巨大的商業價值。
實現巨量資料的商業價值不能急功近利,必須超越炒作,有步驟、務實的去實現。結合國內外先進企業經驗,民生銀行正逐步推進我行的巨量資料戰略。希望用三
by
frlily
-
資訊
對資料可視化這塊兒進行了研究和心得的整理,跟大家分享下資料可視化常用的五種方式,希望能給大家帶來思路的拓展。
概念
藉助於圖形化的手段,清晰、快捷有效的傳達與溝通信息。從用戶的角度,資料可視化可以讓用戶快速抓住要點信息,讓關鍵的資料點從人類的眼睛快速通往心靈深處。 資料可視化一般會具備以下幾個特點:準確性、創新性 和 簡潔性。
常用五種可視化方法
下面從最常用和實用的維度總結了如下5種資料可視化方法,讓我們來一一看一下:
一、面積&尺寸可視化
對同一類圖形(例如柱狀、圓環和蜘蛛圖等)的長度、高度或面積加以區別,來清晰的表達不同指標對應的指標值之間的對比。這種方法會讓瀏覽者對資料及其之間的對比一目了然。製作這類資料可視化圖形時,要用數學公式計算,來表達準確的尺度和比例。
a: 天貓的店鋪動態評分
天貓店鋪動態評分模塊右側的條狀圖按精確的比例清晰的表達了不同評分
by
frlily
-
資訊
近來由於資料記錄和屬性規模的急劇增長,巨量資料處理平台和並行資料分析演算法也隨之出現。於此同時,這也推動了資料降維處理的應用。實際上,資料量有時過猶不及。有時在資料分析應用中大量的資料反而會產生更壞的性能。
最新的一個例子是採用 2009 KDD Challenge 巨量資料集來預測客戶流失量。 該資料集維度達到 15000 維。 大多數資料挖掘演算法都直接對資料逐列處理,在資料數目一大時,導致演算法越來越慢。該項目的最重要的就是在減少資料列數的同時保證丟失的資料信息儘可能少。
以該項目為例,我們開始來探討在當前資料分析領域中最為資料分析人員稱道和接受的資料降維方法。
缺失值比率 (Missing Values Ratio)
該方法的是基於包含太多缺失值的資料列包含有用信息的可能性較少。因此,可以將資料列缺失值大於某個閾值的列去掉。閾值越高,降維方法更為積極,即降維越少
by
frlily
-
資訊
資料分析師這個職業現在越來越火爆。本文面向那些準備投身於這個行當的年輕人,在選擇怎樣的公司上給出了三條參考標準。
現在確實是屬於資料分析師的天下了。如果你有能力,有經驗,充滿好奇心以及永不倦怠的熱情,作為資料分析師的你可謂前景廣闊,有一大批公司乖乖站在你家門前掛著牌子等著你的挑選。但是在評估到底去哪家公司的平台上施展你的才華的時候,卻是有著很多考量的。即便是一個從業多年的老手也不可能在各種大小規模不一,發展階段不同,擁有各自的企業文化的公司待過。他們也不可能橫跨多個領域,掌握多種技術。但是,在本文中卻給出所有有志於從事資料分析師這個職業的年輕人一些經驗。大體上總結一下就三點內容,憑藉這三點內容,你可以非常理性、客觀地分析出來眼前的這家公司到底是否值得去。
第一點:去供職於那些利用資料分析來做市場戰略定位的公司
公司想要在市場上擁有特殊的競爭優勢,從而實現與眾不同的市場地位,其
by
frlily
-
資訊
面對一大堆看似雜亂的資料,如何進行信息提取與資料加工,從中獲取自己想要的信息,並應用這些信息,有理有據的進行需求的討論、最終設計決策的推進,這是每一個交互設計師必修的課程。
在我看來,資料分析是很難的。利用你當下有限的資料資源(大多數資料往往掌握在產品經理、運營手上)去整理、分析並得出結果。
交互設計師如何培養資料分析的能力呢?
首先,要有資料收集分析的意識,掌握資料產生的來源;
其次,拿到資料後,在資料間找關聯性,深挖內在含義;
再次,掌握基本的資料分析方法,並在實戰中加以應用;
最後,將分析的結果應用到後續工作中,檢驗分析結果。
如此,循環往複,形成一種職業習慣,一個工作的流程。
從平時的工作中,總結出以下幾點資料分析時要注意的原則,在這裡拋磚引玉,歡迎來拍:
1、明確資料分析的目的
要分析一份資料,首先得先明確自己的目的:為什麼要收集並分析這樣一份資料
by
frlily
-
資訊
一個優秀的企業級 BI 架構師應該需要具備怎麼樣的素質?
第一,我所理解的BI架構師不是局限於聚焦於前台Report & Analytics分析平台的精深的專家,而是更普適的至少跨越三個領域:資料庫,ETL,Report & Analytics的整體解決方案的架構師。此處需重點指出,本人對聚焦於前台R&A的專家只有敬仰,他們同樣是架構師並且也存在世界級應用的架構師,只是不在我本次回答的範疇內。
第二,架構師也是分等級的,我姑且分為入門級,專業級,大師級和殿堂級。
入門級:親自做過小規模項目,規模大約3-4個人,6個月左右。
專業級:作為Lead做過不少中等規模的項目,規模在15個人以上,12個月以上(有的時候做兩期)。輔佐專家級架構師做過大規模項目。
大師級:作為Lead作為大規模項目,規模在30個人以上,24個月(一般來說至少兩期)以上。作為專家組成員輔佐殿堂級專家完成世界
by
frlily
-
資訊
之前在微博上發起一個話題,大家一句話向外行說說什麼是資料分析?有100多位同學參與討論和轉發,其中一些有意思的、不錯的說法,大家一起來看看。
最專業的資料分析:
@沈浩老師: 有針對性的收集、加工、整理資料,並採用統計和挖掘技術分析和解釋資料的科學與藝術!
最簡潔的資料分析:
@小蚊子樂園:簡單的很,就是分析資料。
@Terensu:描述資料特徵,預測資料趨勢,展示分析結果。
@wangman02:從一大堆資料中提取到你想要的信息,就是資料分析。
最浪漫的資料分析:
@資料化管理:資料分析就是:茫茫人海中,你通過觀察、跟蹤、記錄等手段找到你生命中最想愛的那個人,進而根據對方的喜好,成功的展示了自己的優點,改進了自己的缺點,並且說服了對方的父母,承諾終身與ta為伴的一項工作。
@劉萬祥ExcelPro: 你喜歡上一個姑娘,你會搜集她的興趣、愛好、星座、閨
by
frlily
-
資訊
今天大家都在談資料,都在用資料,那麼我們就一起看看資料行業的相關發展歷程。
關於資料分析
至今,學術界和企業界對資料分析的概念仍很模糊。在元素看來,資料分析可以從兩方面理解,一是從廣義上理解,資料分析可以視為一種用資料解決問題的方法論,是一套解決問題的思維體系;另一種是從俠義上理解,也就是企業界通常所說的資料分析技術,又可稱之為「商業智慧」資料決策支持系統,如今它又有了一個時髦的名字「巨量資料」。
關於分析,我想說分析的其實是信息,而不是資料,資料只是信息的原材料之一。分析的目的是尋找業務短板,可能是自身的也可能是競爭對手的。在日常經營過程中,分析是指導決策的唯一依據,但我們用什麼來保證分析的正確呢?是不斷的試錯還是考驗我們分析師分析和利用信息的能力,這個過程歸根結底還是對人的分析,一方面是對製作原始信息人的溯源,另一方面則是對人的行為目的的還原。
商業決策流程
by
frlily
-
資訊
對於企業來說,巨量資料應用有5大經驗教訓需要牢記。
1、 要贏得利益相關者的信任
巨量資料正確的分析方法是業務而不是技術,在開始部署巨量資料應用之前,贏得業務部門的信任,增強其信息至關重要。首先,利益相關者會幫助你獲取所 需要的資源,包括團隊、資金和必要的資料資源,讓你的項目取得成功。其次,任何資料分析只有被付諸實踐才是有效的。如果主要管理者不願意基於巨量資料分析結 果對業務進行改進,那麼所有的投入都會被浪費。
因此,增強利益相關者的信心將是當務之急。
2、專註於那些對於企業至關重要的問題
對於很多大的機構或者企業而言,如果能夠進行資料歸檔並進行離線,採用幾乎免費的集群資料庫將會帶來巨大的成本節省,這是非常普遍的。
如果能夠對非結構化資料進行遷移,將會幫助企業節省大量的購買授權的成本,而部署和管理這樣的系統,就需要投入進行系統架構,而所節省的授權成本恰好可以用於系統架構的開銷。
by
frlily
-
資訊
早在20世紀90年代的美國沃爾瑪超市中,就有「啤酒與尿布「的故事表現了巨量資料分析給企業帶來的利益體現。這些年來巨量資料分析正在為企業帶來巨大的變化。雖然越來越普遍,但資料分析中有些「YES」和「NO」卻是必須遵循的。
YES!立體式分析
立體式分析即維度分析。產品資料挖掘應該在產品環境下從產品性能、市場需求、用戶體驗等方面切入分析。資料分析是帶有商業性的,因此要立體性對於資料進行深層次整理分析,才能將各方面有價值的信息提煉出來對產品優化帶來幫助。
YES!明確適用性
要注意每種統計分析方法的適用範圍。許多分析方法對資料的要求很高,如果樣本分布不符合要求,樣本量數量不足,或存在大量偽樣本,都將影響最後結果的正確性。譬如,我們經常要使用的因子分析、聚類分析,若樣本量不足獲得分析結果是沒有任何意義的。
YES!正確整理資料庫
在選擇好分析方法分析資料時的同
by
frlily
-
資訊
http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/shujvshoushen.jpg
越來越多的公司開始倡導『用資料說話』,利用資料分析來幫助公司進行商務運營和制定決策。但如果一個公司試圖對所有可能收集到的資料進行分析或者期望用數字來解決一切問題,那便又陷入了另一個極端,讓自己受到資料分析複雜性的困擾。公司應該利用簡單有效的資料分析方法幫助其在已有的業務認知基礎上更好地作出商務決策。下面我們就結合一些公司的實例來介紹利用簡單的資料分析解決商務問題的三部曲。
第一步,提高資料產生速度
更快的資料=更快的認知=更快的結果。通過建立一個可以快速融合巨量資料的混合科技資料服務平台來自動化並加速資料的產生和更新。這樣的環境能夠幫助企業更好地運轉和管理業務,並使大量資料在企業內部更好地流通。實
by
frlily
-
資訊
巨量資料解決方案供應商總是信誓旦旦。他們說,你要做的就是把資料給到我們。然後我們就會提供一系列想法,讓你們公司在營銷效率、客戶體驗和服務運營效率方面得到極大改善。你和你的團隊就放心吧,我們的技術和你們的資料科學家會把重頭扛下來。
是不是有似曾相識的感覺?如果你曾經歷客戶關係管理(CRM)改革時最初那個興奮階段,那麼你一定會有這種感覺。早在20世紀90年代,很多企業對這種技術十分認同,最後的結果就是搞了一堆沒用的資料庫、養成了很多叛逆的銷售團隊,以及資本預算的耗盡。
此後,CRM行業日漸成熟。毫無疑問,現在的CRM解決方案可以為很多機構提供真正的價值。例如,在貝恩諮詢「2015管理工具與趨勢」調查(2015 Management Tools & Trends)中,CRM是排名第六的暢銷業務工具。根據Gartner統計, 2014年,全球的CRM開支總計達到204億美元,此前一年為
by
frlily
-
資訊
今天要講資料分析的五大思維方式。
首先,我們要知道,什麼叫資料分析。其實從資料到信息的這個過程,就是資料分析。資料本身並沒有什麼價值,有價值的是我們從資料中提取出來的信息。
然而,我們還要搞清楚資料分析的目的是什麼?
目的是解決我們現實中的某個問題或者滿足現實中的某個需求。
那麼,在這個從資料到信息的過程中,肯定是有一些固定的思路,或者稱之為思維方式。下面零一給你一一介紹。(本文用到的指標和維度是同一個意思)
http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/shujvfenxi1.png
第一大思維【對照】
【對照】俗稱對比,單獨看一個資料是不會有感覺的,必需跟另一個資料做對比才會有感覺。比如下面的圖a和圖b。
圖a毫無感覺
http://www.finereport.c
by
frlily
-
資訊
2013年Teradata天睿公司首席分析官Bill Franks出版了《駕馭巨量資料》,時隔兩年他又帶來了新書《資料分析變革》,從書名可以看出巨量資料的應用已經發生了質變。Bill也把資料分析的變革比做是一場工業革命,因為技術的發展帶來了更多的分析能力,以及可以實現自動化的分析,這些也就如同蒸汽機給工業革命帶來發展的動力是同一道理。
從分析到高級分析的進化
分析的重要性已經成為現如今企業的共識,很多企業都在使用商業智能軟體將自身的業務進行匯總呈現。但報表呈現和分析的概念不盡相同,報表通常是按照固定格式自動生成,而分析並不是簡單的信息匯總,企業需要將匯總的資料進行整合并分析為決策給出建議。
當然分析的程度也有淺有深,巨量資料分析就是時下企業非常追捧的資料分析技術。Bill認為,巨量資料必須置於更廣泛的企業資料和分析戰略的場景中,而且不要糾結於如何定義巨量資料,只需思考如何
by
frlily
-
資訊
每個追尋巨量資料的組織機構都對它寄予厚望,希望它可以回答長期的業務問題,讓企業在市場中具有更多的競爭力,更好地交付產品和服務。然而在這種熱情之中,很容易產生對巨量資料的虛假期望——有些好處永遠不會實現,除非你藉助一定的「幫助」。以下就是巨量資料不會為你做的10件關鍵的事情,除非你採取正確的步驟來優化它的價值。
1、解決你的業務問題
巨量資料不會解決業務問題,解決問題的是人。只有那些在採用巨量資料之前冷靜地坐下來考慮他們想要從中獲得什麼的組織機構,才能獲得他們一直在尋求的商業智能的成果。
2、有助於你的資料管理
IBM聲稱全球每天會生成2.5億億個位元組的資料,其中大多數資料是巨量資料。不出所料,全球企業中受管理的資料正在成倍增長。隨著資料快速累積卻沒有明確的資料保留和使用策略(尤其是針對巨量資料),那麼機構組織就要面對管理這些資料的難題了。
3、緩解你的安全擔
by
frlily
-
資訊
一、引言
單純的防禦措施無法阻止蓄意的攻擊者,這已經是大家都認同的事實,應對挑戰業界有了諸多方面的探索和實踐,而其中最有趣的就非安全分析莫屬了,圍繞著安全分析展開,我們可以看到巨量資料、安全智能、情景感知、威脅情報、資料挖掘、視覺化等等,因為這些都是安全分析師手中的武器。
二、安全戰略思路的變化
壞的消息是,入侵總會發生,再強的防禦也難以做到禦敵於國門之外,攻擊者總會進入到你的網路中;那麼好消息就是入侵和破環是兩回事,雖然也存在入侵開始到實際損害發生之間時間窗口很短的情況,但是我們也還是看到,大多數入侵如果想達到目的,需要較長的時間,特別定向攻擊和APT攻擊。那麼如果安全團隊可以在攻擊者完成使命之前阻止其活動,就可以做到這點:我們有可能遭受入侵,但可能不會遭遇破環。
據此有效的戰略是儘可能多的進行實時防禦,來防止入侵的可能,同時配合積極的檢測(Hunting)與事件
by
frlily
-
資訊
新的想法誕生新的技術,從而造出許多新詞,雲計算、巨量資料、BYOD、社交媒體、3D印表機、物聯網……在互聯網時代,各種新詞層出不窮,令人應接不暇。
這些新的技術、新興應用和對應的IT發展趨勢,使得IT人必須了解甚至掌握最新的IT技能。另一方面,雲計算和巨量資料乃至其他助推各個行業發展的IT基礎設施的新一輪部署與運維,都將帶來更多的IT職位和相關技能技術的要求。
毫無疑問,這些新趨勢的到來,會誕生一批新的工作崗位,比如資料挖掘專家、行動應用開發和測試、演算法工程師,商業智慧分析師等,同時,也會強化原有崗位的新生命力,比如網路工程師、系統架構師、諮詢顧問、資料庫管理與開發等等。下面分別為大家介紹著十大IT技能所體現的工作崗位:
一、演算法工程師
何萬青博士曾經介紹把一件事做快做好的三種方法,其中就提到過「提高流水線效率、更好的演算法和更短的程式碼關鍵路徑。」可以看出演算法在
by
frlily
-
資訊
隨著經濟的快速增長,各個行業企業的各種客戶資料信息、交易資料信息也成爆炸式增長,與此同時,資料分析人員也相應供不應求。
那麼什麼樣的人能成為資料分析師呢?或者說資料分析師需要具備怎樣的素質與能力呢?我們可以從軟體與硬體兩方面來衡量一個資料分析師是否優秀?是否合格?
一、軟體要求
軟體要求主要包括態度、思維模式等,這些決定了一個人在一個較長的時間段內能達到怎樣的高度。而一個人的思維模式、態度往往是很難改變的。主要的軟體要求有以下五點:
1.態度嚴謹負責
從企業角度來說,資料分析師可以說是企業的醫生,他們通過對企業運營資料的分析,為企業尋找癥結及問題。一名合格的資料分析師,應具有嚴謹、負責的態度,保持中立立場,客觀評價企業發展過程中存在的問題,為決策層提供有效的參考依據;不應受其他因素影響而更改資料,隱瞞企業存在的問題,這樣做對企業發展是非常不利的,甚至會造成嚴重
by
frlily
-
資訊
在自然界中有一種物質叫做「暗物質」,從物理學家的解釋來看,「暗物質」是自然界當中最充滿能量的部分,如何發揮「暗物質」的作用是當代自然科學研究的話題。而在資料科學領域,人們都在討論如何發掘隱藏在企業內部和整個互聯網上巨量的「暗資料」,怎樣發揮「暗資料」的價值。
有一種說法,人類只要利用大腦的 10%,就可以實現長生不老。即便在無數神經學家將其斥為胡編亂造的無稽之談,多年以後,我們還是不會放棄這種念頭,因為我們知道自身還有很多潛力沒有發揮,只是有待發掘。同樣,許多企業也僅利用了資料的一小部分,而把經過巨大的開銷存儲著的關於流程、員工、客戶和產品的寶貴資料放在資料孤島中,無法有效利用。我們對資料的挖掘還處在一個非常初級的階段,可將其稱之為「黎明前的黑暗」階段。
定義「暗資料」
「暗資料」是指企業已付費購買、收集以及存儲在各種系統和資料存儲中,但實際上目前並未使用、分析甚至訪問的所有
by
frlily
-
資訊
今天帆軟傳說哥和大家來聊一聊百貨業。
國內百貨行業歷史悠久,百年前,俄國人在哈爾濱開設「秋林洋行」,翻開中國百貨第一頁;百年後,百貨店作為一種成熟的業態在中國遍地開花。「百貨大樓」曾是中國各城市的地標建築,樓內琳琅滿目的產品和熱鬧的場景是幾代中國人難以抹去的記憶。
進入互聯網時代之後,中國百貨行業外有國內經濟增長減速、社會零售總額增長放緩以及網路購物興起的困境,內有相較購物中心自營能力不足、千店一面同質化競爭嚴重問題,深處「內憂外患」之中。傳統百貨商場之間的同質化競爭也加劇了行業的下滑。目前百貨商場不管是什麼樣的經營模式,商場內部結構、經營內容都相差不大。在內外交困中,近年來傳統百貨變革的呼聲越來越高。那麼百貨業該怎麼變革,方向在哪裡?
不管我們願不願意,信息技術帶來了極大的供應鏈變革,隨著百貨業連鎖經營模式的導入,特別是顧客需求的多元化、個性化、高檔化,百貨零售商亟需建
by
frlily
-
資訊
作為程式工程師,選擇好合適的開發社區對提高自己的編程能力會有很大的幫助,我也說不出為什麼,但是一些優秀的實時開發社區確實能幫你積累不少開發經驗。
下面我們來看一下程式工程師經常去的14個頂級開發者社區,如果你還不知道它們,那麼趕緊去看看,也許會有意想不到的收穫。
Stack Overflow
http://www.finereport.com/tw/wp-content/themes/BusinessNews/images/Stack-Overflow.png
9月份,Stack Overflow也將迎來其6歲的生日,毫無疑問,Stack Overflow是全球最受程式工程師歡迎的開發社區,而且也是內容最豐富的社區之一。
官方網站: http://stackoverflow.com/
Reddit
http://www.finereport.c
by
frlily
-
資訊
每名行銷人員都知道,巨量資料時代已然來臨,隨之而來的是各種巨大的機遇以及驚人以客戶保持連接的各種新的方式。大量的客戶信息通過社交媒體,智能手機,機器人,GPS設備,照相機,電器和衛星流入企業,而各種日益複雜的計算機演算法正試圖把這一切資料信息轉變成對企業有用的情報。
對於企業的營銷人員和品牌經理而言,比以往任何時候都能夠更多的了解客戶的生活習慣、需求無疑是相當令人振奮的。但在振奮之餘,企業相關業務部門(包括CXO級別的高層管理人員)不應該忘了對於巨量資料的革命性力量或者說其對於各類企業所潛在的破壞性的威脅的真正理解。
當您企業正準備甩開膀子,最大限度地充分利用巨量資料所帶來的巨大優勢和機會時,請務必記住,巨量資料中的魔鬼也正隱藏在這些被忽略的細節中。
1、保護您企業的資料
對於那些收集和存儲了大量客戶資料的企業而言,最明顯的威脅是黑客以這些資料存儲的安全漏洞為攻擊目標,
by
frlily
-
資訊
如何成為一名合格資料分析師
「21世紀什麼最貴,人才」,在目前巨量資料時代下,什麼最難找,什麼最貴,實現資料價值的人,資料分析師。
但是對於資料分析師的認識,比較極端,但對資料分析師價值的認識正在回歸理性。很多人對資料分析師的期望,是無所不能,向諸葛亮一樣「指點江山,運籌帷幄」,招了資料分析師,好像一切困難迎刃而解。
的確,好的資料分析師可以在企業中發揮很大的價值,可以對公司未來的用戶行為進行提前預測,從而為行銷人員提供更好行銷參考。例如,以下案例:
女兒竟然懷孕了?!
美國第三大零售連鎖超市Target的一家店鋪,一名男子闖入進行抗議:「你們竟然給我女兒發嬰兒尿片和童車的優惠券?!要知道她才只有17歲啊」。出於客戶服務的需要,超市經理立刻代表公司進行道歉。
然而,若干天后,這位父親再次來到這家超市,很誠摯的向超市經理道歉,原來女兒真的懷孕了,而做父親的
by
frlily
-
資訊
我們常常迷失在資料中,紛繁複雜的資料讓我們無所適從。視覺化作為解決這問題的有效手段,通過視覺的方式讓數字易於理解。
資料視覺化和信息視覺化都是視覺化的一種方式,資料視覺化將資料庫中每一個資料項作為單個圖元元素表示,大量的資料集構成資料圖像,同時將資料的各個屬性值以多維資料的形式表示,可以從不同的維度觀察資料,從而進行更深入的觀察和資料分析。信息視覺化,旨在把資料資料以視覺化的方式表現出。信息視覺化是一種將資料與設計結合起來的圖片,有利於個人或組織簡短有效地向受眾傳播信息的資料表現形式。
本文梳理了視覺化相關內容,並且根據資料平台組同仁們在視覺化項目過程中使用經驗,總結一些視覺化使用注意事項,與大家分享。
資料視覺化的圖表類型簡介
資料視覺化有很多既定的圖表類型,下面我們分別來談談這些圖表類型,他們的適用場景,以及使用的優勢和劣勢。
1.柱狀圖
http://i
by
frlily
-
資訊
http://www.finereport.com/wp-content/uploads/2015/05/201505297.png
資料無處不在,原始性的資料需要進行收集、統計、管理和分析之後才能夠具有更大的價值,而在這樣的過程中發揮了關鍵性的作用的就是報表與BI開發軟體,在銀行金融和航海航空中都有對該軟體的使用,那麼主流的報表與BI開發軟體具備的常規功能都有哪些呢?
第一、常規報表的開發
報表與BI開發軟體中所有的報表設計器不但可以隨時生成報表,同時也可以運用其中的報表樣式,通過拖拽操作就能夠創建報表,實現從基礎報表到中式複雜報表等類型的轉換和生成,之後用戶可以使用報表的瀏覽、資料統計資料分析、資料填報以及列印和匯出等多種功能。
第二、互動式報表分析
互動式報表分析也是報表與BI開發軟體所具有的功能之一,它不但可以呈現資料,還能夠兼具有動態化的功能,同時還可以對資料進行深層次
by
frlily
-
資訊
http://www.finereport.com/wp-content/uploads/2015/05/201505292.png
市面上每一次出現一些產品,之所以會受到大家的歡迎就是因為這些產品在功能上充分的迎合了大家的需要,在互聯網辦公時代中,人們會對於資料視覺化提出高要求,隨即也就會有一些報表與商業智慧開發類的軟體應運而生,從當前用戶的主導需求來看,大家似乎對於該軟體的性能穩定要求比較高。
那麼報表與商業智慧開發軟體的性能穩定性都和什麼樣的因素有關呢?其中一個方面的因素就是它的容量,一般來說,軟體內部還會有一定的工具,還會有一些組件,想要保證比較穩定的運行性能,不但要容納下這些組件,同時還要容納下比較多的資料,容量足夠大的軟體才真正的能夠保證穩定的運行性能。
報表與商業智慧開發軟體的性能穩定同時也是和它可以承載的工作人數有關的,報表開發軟體的使用者有很多都是大型公司,這些
by
frlily
-
資訊
對於資料分析,如果只是給定準備好的資料集,做簡單的描述性統計、簡單繪圖,那麼不太需要掌握任何編程語言。問題是,現實中收集到的資料是多樣的、基礎的,很少能直接滿足模型對資料規格的要求以及模型成立的假設,那麼就需要在分析前變換、合并、分類、整理資料,此時可能需要從資料庫用SQL跨表查詢,資料整理好後利用模型做統計推斷或者機器學習等等,形成樣本內或樣本外的預測,可能還要用視覺化的方式呈現結果。
這整個過程中,各個環節都可能涉及到大量的參數需要調節,各種細節都需要控制,還有很多主觀的選擇。這樣的過程如果用軟體窗口去實現,窗口中的選項將非常複雜,整個過程需要在多個資料及上重複執行也很麻煩。用編程語言可以精確地描述整個過程,控制大部分細節,並且可以批量的重複實現。
資料分析和探索的過程是一個不斷嘗試想法、驗證假設的過程,這就需要臨時產生、執行新的代碼,腳本語言如Python和R天生就是對這
by
frlily
-
資訊
資料挖掘是利用業務知識從資料中發現和解釋知識(或稱為模式)的過程,這種知識是以自然或者人工形式創造的新知識。
當前的資料挖掘形式,是在20世紀90年代實踐領域誕生的,是在集成資料挖掘演算法平台發展的支撐下適合商業分析的一種形式。也許是因為資料挖掘源於實踐而非 理論,在其過程的理解上不太引人注意。20世紀90年代晚期發展的CRISP-DM,逐漸成為資料挖掘過程的一種標準化過程,被越來越多的資料挖掘實踐者 成功運用和遵循。
雖然CRISP-DM能夠指導如何實施資料挖掘,但是它不能解釋資料挖掘是什麼或者為什麼適合這樣做。在本文中我將闡述我提出資料挖掘的九種準則或「定律」(其中大多數為實踐者所熟知)以及另外其它一些熟知的解釋。開始從理論上(不僅僅是描述上)來解釋資料挖掘過程。
我的目的不是評論CRISP-DM,但CRISP-DM的許多概念對於理解資料挖掘是至關重要的,本文也將依賴
by
frlily
-
資訊
由於BI軟體的價格昂貴,人們一直認為中小企業中用不起BI系統,也不需要BI系統。其實不同的企業企業E化程度並不一致,中小企業也可根據自身企業E化的狀況,選擇合適的BI軟體。事實上,正是因為中小企業規模小,生存的壓力才更大,更需要時刻關注企業的經營資料,所以,中小企業比大企業更需要資料挖掘。
最近這幾年, 商業智慧市場很熱鬧,不過主要還是基於企業E化程度比較好的大型行業,如金融、電信等。但近一段時間來,一些中小企業在企業E化的應用上也在升溫,尤其是像製造和零售業等,這些行業已經大範圍地部署了ERP、 CRM等系統,系統讓企業擁有了很大的資料量,而如何能夠有效地利用和整合這些資料已經成為擺在CIO面前的難題。
根據GARTNER分析,隨著中小企業對ERP、CRM系統的部署,積累了大量的材料和資料,它們希望有很好的工具來利用這些資料做出更好的決策,所以BI成為中小企業最關心的技術。「可以
by
frlily
-
資訊