Visualization

摘要： 如今數據科學書籍、認證和文憑，如雨後春筍般層出不窮。但許多僅僅是鏡花水月：新瓶裝舊酒（比如統計學和R）放在了“數據科學”這個新瓶裡。

摘要： 本篇分享一些和數據質量監控相關的內容。數據質量監控是一個在快速發展的業務中最容易被犧牲和忽略的功能，但是它確實至關重要的。 假設你做了100個業務，一旦有其中一個業務在某個時間段出現了數據異常，這個異常還是由業務方發現的而不是你，根據我的經驗是，它帶來的負面影響會超過你之前做的100個業務帶來的正面影響。

摘要： 如何才能成為一個頂尖的程序員呢?Java頂尖程序員Lukas Eder和我們分享了偉大程序員應該具備的十大特質，他表示這十大特質並不是偉大程序員所特有的，任何領域的領導者可以說都有這些特質。

摘要： 在 Google I/O 大會上，谷歌公佈了最新的機器學習算法——AutoML，隨即，Quoc Le 與 Barret Aoph 大神在 Google Research Blog 上發佈了一篇名爲《採用機器學習探索神經網絡架構》的文章。進行了編譯，並做了不改動原意的編輯和修改。

摘要： 只有信息技術行業的數據科學家才以開發人員為主，但更注重數據分析而不是技術創新的行業（比如教育/科學和醫療保健）則以研究人員為主，而強調通過創新思維解決問題的行業（比如專業服務和通信）則以創意人士為主。

隨著大數據概念的火熱，數據科學家這一職位應時而出，那麼成為數據科學家要滿足什麼條件？或許我們可以從國外的數據科學家面試問題中得到一些參考，下面是77個關於數據分析或者數據科學家招聘的時候會常會的幾個問題，供各位參考。

1、你處理過的最大的數據量？你是如何處理他們的？處理的結果。

2、告訴我二個分析或者計算機科學相關項目？你是如何對其結果進行衡量的？

3、什麼是：提升值、關鍵績效指標、強壯性、模型按合度、實驗設計、2/8原則？

4、什麼是：協同過濾、n-grams, map reduce、餘弦距離？

5、如何讓一個網絡爬蟲速度更快、抽取更好的信息以及更好總結數據從而得到一干淨的數據庫？

6、如何設計一個解決抄襲的方案？

7、如何檢驗一個個人支付賬戶都多個人使用？

8、點擊流數據應該是實時處理？為什麼？哪部分應該實時處理？

9、你認為哪個更好：是好的數據還是好模型？同時你是如何定義“好”？存在所有情況下通用的模型嗎？有你沒有知道一些模型的定義並不是那麼好？

10、什麼是概率合併（AKA模糊融合）？使用SQL處理還是其它語言方便？對於處理半結構化的數據你會選擇使用哪種語言？

11、你是如何處理缺少數據的？你推薦使用什麼樣的處理技術？

12、你最喜歡的編程語言是什麼？為什麼？

13、對於你喜歡的統計軟件告訴你喜歡的與不喜歡的3個理由。

14、SAS, R, Python, Perl語言的區別是？

15、什麼是大數據的詛咒？

16、你參與過數據庫與數據模型的設計嗎？

17、你是否參與過儀錶盤的設計及指標選擇？你對於商業智能和報表工具有什麼想法？

18、你喜歡TD數據庫的什麼特徵？

19、如何你打算發100萬的營銷活動郵件。你怎麼去優化發送？你怎麼優化反應率？能把這二個優化份開嗎？

20、如果有幾個客戶查詢ORACLE數據庫的效率很低。為什麼？你做什麼可以提高速度10倍以上，同時可以更好處理大數量輸出？

21、如何把非結構化的數據轉換成結構化的數據？這是否真的有必要做這樣的轉換？把數據存成平面文本文件是否比存成關係數據庫更好？

22、什麼是哈希表碰撞攻擊？怎麼避免？發生的頻率是多少？

23、如何判別mapreduce過程有好的負載均衡？什麼是負載均衡？

24、請舉例說明mapreduce是如何工作的？在什麼應用場景下工作的很好？雲的安全問題有哪些？

25、（在內存滿足的情況下）你認為是100個小的哈希表好還是一個大的哈希表，對於內在或者運行速度來說？對於數據庫分析的評價？

26、為什麼樸素貝葉斯差？你如何使用樸素貝葉斯來改進爬蟲檢驗算法？

27、你處理過白名單嗎？主要的規則？（在欺詐或者爬行檢驗的情況下）

28、什麼是星型模型？什麼是查詢表？

29、你可以使用excel建立邏輯回歸模型嗎？如何可以，說明一下建立過程？

30、在SQL, Perl, C++, Python等編程過程上，待為了提升速度優化過相關代碼或者算法嗎？如何及提升多少？

31、使用5天完成90%的精度的解決方案還是花10天完成100%的精度的解決方案？取決於什麼內容？

32、定義：QA（質量保障）、六西格瑪、實驗設計。好的與壞的實驗設計能否舉個案例？

33、普通線性回歸模型的缺陷是什麼？你知道的其它回歸模型嗎？

34、你認為葉數小於50的決策樹是否比大的好？為什麼？

35、保險精算是否是統計學的一個分支？如果不是，為何如何？

36、給出一個不符合高斯分佈與不符合對數正態分佈的數據案例。給出一個分佈非常混亂的數案例。

37、為什麼說均方誤差不是一個衡量模型的好指標？你建議用哪個指標替代？

38、你如何證明你帶來的算法改進是真的有效的與不做任何改變相比？你對A/B測試熟嗎？

39、什麼是敏感性分析？擁有更低的敏感性（也就是說更好的強壯性）和低的預測能力還是正好相反好？你如何使用交叉驗證？你對於在數據集中插入噪聲數據從而來檢驗模型的敏感性的想法如何看？

40、對於一下邏輯回歸、決策樹、神經網絡。在過去15年中這些技術做了哪些大的改進？

41、除了主成分分析外你還使用其它數據降維技術嗎？你怎麼想逐步回歸？你熟悉的逐步回歸技術有哪些？什麼時候完整的數據要比降維的數據或者樣本好？

42、你如何建議一個非參數置信區間？

43、你熟悉極值理論、蒙特卡羅邏輯或者其它數理統計方法以正確的評估一個稀疏事件的發生概率？

44、什麼是歸因分析？如何識別歸因與相關係數？舉例。

45、如何定義與衡量一個指標的預測能力？

46、如何為欺詐檢驗得分技術發現最好的規則集？你如何處理規則冗餘、規則發現和二者的本質問題？一個規則集的近似解決方案是否可行？如何尋找一個可行的近似方案？你如何決定這個解決方案足夠好從而可以停止尋找另一個更好的？

47、如何創建一個關鍵字分類？

48、什麼是殭屍網絡？如何進行檢測？

49、你有使用過API接口的經驗嗎？什麼樣的API？是谷歌還是亞馬遜還是軟件即時服務？

50、什麼時候自己編號代碼比使用數據科學者開發好的軟件包更好？

51、可視化使用什麼工具？在作圖方面，你如何評價Tableau?R?SAS?在一個圖中有效展現五個維度？

52、什麼是概念驗證？

53、你主要與什麼樣的客戶共事：內部、外部、銷售部門/財務部門/市場部門/IT部門的人？有諮詢經驗嗎？與供應商打過交道，包括供應商選擇與測試。

54、你熟悉軟件生命週期嗎？及IT項目的生命週期，從收入需求到項目維護？

55、什麼是cron任務？

56、你是一個獨身的編碼人員？還是一個開發人員？或者是一個設計人員？

57、是假陽性好還是假陰性好？

58、你熟悉價格優化、價格彈性、存貨管理、競爭智能嗎？分別給案例。

59、Zillow's算法是如何工作的？

60、如何檢驗為了不好的目的還進行的虛假評論或者虛假的FB帳戶？

61、你如何創建一個新的匿名數字帳戶？

62、你有沒有想過自己創業？是什麼樣的想法？

63、你認為帳號與密碼輸入的登錄框會消失嗎？它將會被什麼替代？

64、你用過時間序列模型嗎？時滯的相關性？相關圖？光譜分析？信號處理與過濾技術？在什麼樣的場景下？

65、哪位數據科學有你最佩服？從哪開始？

66、你是怎麼開始對數據科學感興趣的？

67、什麼是效率曲線？他們的缺陷是什麼，你如何克服這些缺陷？

68、什麼是推薦引擎？它是如何工作的？

69、什麼是精密測試？如何及什麼時候模擬可以幫忙我們不使用精密測試？

70、你認為怎麼才能成為一個好的數據科學家？

71、你認為數據科學家是一個藝術家還是科學家？

72、什麼是一個好的、快速的聚類算法的的計算複雜度？什麼好的聚類算法？你怎麼決定一個聚類的聚數？

73、給出一些在數據科學中“最佳實踐的案例”。

74、什麼讓一個圖形使人產生誤解、很難去讀懂或者解釋？一個有用的圖形的特徵？

75、你知道使用在統計或者計算科學中的“經驗法則”嗎？或者在商業分析中。

76、你覺得下一個20年最好的5個預測方法是？

77、你怎麼馬上就知道在一篇文章中（比如報紙）發表的統計數字是錯誤，或者是用作支撐作者的論點，而不是僅僅在羅列某個事物的信息？例如，對於每月官方定期在媒體公開發布的失業統計數據，你有什麼感想？怎樣可以讓這些數據更加準確？

End.

轉貼自： 36大數據

摘要： 「大數據」（big data）和「資料科學家」（data scientist）是近年來商業界的熱門關鍵字。不過，你感受到大數據的重要性，卻未必真正了解大數據和你我的工作、和企業的關聯性是什麼？以下 5 張圖，讓你快速了解大數據的商業應用。......

摘要： 人工智慧發展大躍進，Facebook、Google、亞馬遜、微軟等巨頭，無不投注鉅資佈局，萬事萬物「AI」化，儼然已成下一波科技突破的重心。 但在這波大浪中，似乎尋不著蘋果的身影，目前搬得上檯面的似乎只有語音助理 Siri 以及 Proactive Suggestions（類似 Google Now 根據使用者習慣推播訊息的功能），相較其他競爭者，這個開啟行動革命的科技公司，進攻人工智慧的動作看起來卻相對緩慢。......

摘要： 2016年3月2日，中國進入“兩會”時間。政協第十二屆四次會議與人大十二屆四次會議的開幕對於中國經濟發展決勝開局具有至關重要的意義。3月5日上午，十二屆全國人大四次會議開幕，國務院總理李克強作政府工作報告，系統總結了2015年政府工作，並為轉型期的中國經濟發展提出了新的方向。分析《政府工作報告》成為社會各界關注兩會的重要視角。......

摘要： 問卷調查，是研究中研究者用來搜集資料的常用方法，絕大多數人其實並不陌生。傳統的調查方法，不僅浪費時間及金錢成本，往往還存在樣本偏差、線上的網頁、微信調研刷票等問題。許多研究都是基於調研結果，如果調研結果不可靠，無論分析方法怎麼先進，結論也是有問題的。如果有一個專業的在線問卷服務平台，以上困擾會不會都迎刃而解了呢，這個平台就是今天獵雲網要介紹的「問卷寶」......

摘要： 在互聯網金融、消費金融的蓬勃發展的當下，央行徵信在數據時效性、全面性和層次性上的短板日益凸顯。深度挖掘互聯網大數據信息，開發大數據風控模型，更加精準的評估風險，已經逐漸成為了新一代信用風險模型體系建設的核心課題。......

摘要： 大數據行銷新4P，即時預測消費者狀態和動態，零時差、零誤差的個人化行銷，1個人就是1個分眾市場，行銷命中率100%。......