2014年9月25日 星期四
2014年9月17日 星期三
2014年國際Top 50新興大數據服務公司
美國知名通路媒體(CRN),最近整理了2014年國際排名前100大的新興Big Data公司,筆者根據國外論壇報導,整理排名前50名公司來進行分享。
這些公司有65%都在美國矽谷,公司的服務項目包大數據的基礎設施建設、數據分析、數據管理等。值得注意的是,這些公司的平均年齡都小於4年,且服務項目都各有專注,像是Pivotal與Xplenty專門處理Big Data的基礎設施,而Alpine Data Labs與Numerify為數據分析的專業。
這些公司有65%都在美國矽谷,公司的服務項目包大數據的基礎設施建設、數據分析、數據管理等。值得注意的是,這些公司的平均年齡都小於4年,且服務項目都各有專注,像是Pivotal與Xplenty專門處理Big Data的基礎設施,而Alpine Data Labs與Numerify為數據分析的專業。
2014年8月31日 星期日
2014年8月30日 星期六
13個資料科學實驗室精選訊息(2014/08)
筆者精選資料科學相關的關注訊息之整理。
關鍵訊息:
技術文章:
關鍵訊息:
- 看資料找故事工作坊-千萬資料可以化約成幾個數字,但每個數字背後都有一個故事
- 看資料找故事工作坊-橫看成嶺側成峰,遠近高低各不同,未識故事真面目,只緣身在資料中
- 資料科學 IN 白色巨塔
- 資料視覺化公司Re-LAB
記得兩年前觀察國外的Infographic公司大多都從2010年開始,而且總數不到一百家,沒想到台灣開始也有類似公司。 - Data scientist: Your mileage may vary
- 文章指出,資料科學家的薪水,已經漲到一年最多30萬美金,折合台幣900萬台幣,而且只需兩年的工作經驗,這數字真的很驚人。但資料科學家本身除了要會做,還要會想,如同小弟之前的文章「蘋果的Big Data職缺,想進蘋果也要懂資料分析」所說的,人才真的不好找!
- 馬來西亞:線上預訂餐廳服務 TableApp,來台取經後快速成長
- 資料價值還缺一味,資料科學團隊還缺一位
- Data Is Money: Why The Cloud Is Transforming Data Into A New Global Currency
- 全臺資料科學家周末齊聚南港,價值百萬年薪的經驗大公開
- 大數據評估公司Wecash閃銀獲IDG千萬級投資
- R tops KDNuggets data analysis software poll for 4th consecutive year
2014最新的資料分析軟體使用比較出爐,R還是高於其他的軟體,排名依序為R>SAS>Python>SQL>Java,組合使用的比例還是以R+Python居多,其次是Python+SAS 。
技術文章:
2014年7月10日 星期四
大數據探索航空資料系列-達美航空
Logo/達美航空、攝影/Jerry
繼續本系列主題,本次介紹的應用是來自達美航空(Delta Air Lines),達美航空在這幾年扶搖直上,於2010年完成跟西北航空合併之後,成為全世界航線里程與客運機隊規模最大的航空公司。
這篇文章是2014年由SapientNitro廣告公司的數據分析師Myles Harrison所分享的文章,介紹它應用主成分分析(Principal Component Analysis)與K平均算法(k-means)去分析達美航空的飛機數據。
2014年7月3日 星期四
大數據探索航空資料系列-美國聯邦航空管理局
攝影/Jerry
最近筆者剛好讀到有關於大數據應用於航空資料分析,值得整理介紹給相關領域的朋友們參考。記得上Data Science Program的課程中,曾有學生邀請筆者至某航空公司擔任顧問,但筆者實在是分身乏術,所以希望這一篇能夠幫上航空界的忙。
其中一篇是2009年刊登在知名期刊Knowledge-Based Systems上的學術研究,主要是應用決策樹(Decision trees)從美國聯邦航空管理局(FAA)的數據來挖掘出可能會出現航空事故的特徵。研究所採用的分析工具為Megaputer Intelligence所開發的PolyAnalyst與挪威科技大學開發的Rosetta。
2014年6月7日 星期六
蘋果的Big Data職缺,想進蘋果也要懂資料分析
筆者將職缺需求整理如下,提供相關的產業參考。
- 超過五年的軟體工程與資料分析的經驗。
- 熟悉的工具須要包含Java、Python、Hadoop、R、SPSS、SAS。
- 具有網路廣告的分析經驗。
- 懂SQL,也就是過去大家熟悉的關聯式資料庫。
- 理論的部分要懂資料探勘(Data mining)、資料匹配(Data matching)、機器學習(Machine learning)、 統計(Statistical techniques)、實驗設計(Experimental design)、最佳化(Optimization)。
- 具有大量數據的處理經驗,像是處理單位高達PB(Petabyte)以上的資料量。
- 具有解決真實問題的經驗。
- 獨立的工作能力。
- 關注資料分析的準確率與品質。
以上主要的徵求內容,在台灣算是跨科系才能學到的能力,筆者舉例如下:
- Java較偏資工系
- R較偏統計系
- Python與Hadoop可能偏資管系或資工系
- SQL的部分偏資工與資管
理論的部分資管跟資工都可以選修到,有些還是必修,但最佳化(Optimization)的課反而在工管系才可能碰到。當然現在有所謂的「資訊科學系」可能前述理論與工具都可能學習到。而個人覺得工具面的部份包含Java、Python、Hadoop、R這些開放原始碼,大部分都還是要靠學生自行學習。
最難的部分是在領域知識,像是蘋果的職缺需求就要網路廣告的分析經驗,對岸有些職缺需要懂金融、商業等領域知識的,這些領域知識在學校反而偏向是商業類科系才可能碰到,譬如筆者在大學修的廣告學、消費者行為,都需要跨修到企管系。
面對於這種職缺需要多年養成的職缺,企業不可能要求求職者百分之百都會以上技能,因為有些求職者即使會以上技能,個性與相處上反而也有問題,只能盡量取人格特質與技能較為平均的人才。i
以筆者的經驗,通常一般行情是很難請到具有上述能力的人才。因此筆者就根據企業所要發展的方向來決定這些能力的比重,像是工作在分析比重較高,就會著重在R與Python的能力,且具有商業分析概念,且具備「溝通」能力的人才,因為他一般的工作就是協助進行資料分析,並產製BI報表或平台的能力。而R跟Python本身就能完成這些事情,所以工作反而是在溝通與呈現,以及應用統計、資料探勘、機器學習等理論在實務上。
至於比較強調資料儲存與資料流通的,技術要求就會著重SQL、NoSQL上,因為這類人才就類似早期的資料庫管理師,強調在資料庫的配置,資料庫的管理,他的工作比較偏重資料庫、基礎設施、資訊安全,同時這個角色對於伺服器這些硬體設備也要有一定的了解。
最後,比較著重系統建置的,就會希望具有PHP、RoR、Python、C#與資料庫的能力。這個角色能夠提供前端與後端的系統建置,像是具有做過ERP、PLM這類大型系統的建置經驗,他們通常具備一些技能組合,像是PHP+MySQL、C#+MSSQL、RoR+PostgreSQL等等,他們負責將資料分析人員產生的雛型(Prototype)進行實踐。
這樣的分工組合就可以變成分析的人才專注在分析與商業應用探討,並做出雛形系統,資料庫人員專注協助資料庫管理與資訊安全,系統建置則專注將分析結果實施到企業系統上。
訂閱:
文章 (Atom)





