Visualization

摘要： 一般而言，抓取稍微正規一點的網站，都會有反爬蟲的製約，以下教你如何反反爬蟲

摘要： 這是Scrapy爬蟲框架的第一篇，本系列專題將包含以下內容： 1.介紹Scrapy框架的主體以及各個組件的意義；2.舉實例講解其具體應用。

摘要： 很多人喜歡鼓吹人工智能，自動車，機器人等技術，然而如果你仔細觀察，就會發現這些人不但不理解人類智能是什麼，不理解人工智能有什麼局限性，而且這些“AI狂人”們的心，已經嚴重的機械化了。

摘要： 我們都覺得數據科學家應該是客觀的，但他們卻可能有意或無意也可以帶來誤導的結果。我們研究了數據科學家們應該知道的三種常見的“謊言”。

摘要： 根據VB消息，營銷分析大數據公司ActionIQ剛剛完成1300萬美元的A輪融資，領投方為紅杉資本，此前投資方FirstMark Capital、Amplify Partners以及Bowery Capital參投。此外，斯坦福大學通過旗下投資基金Stanford Engineering Venture Fund也參與了本輪融資。據業內傳言，紅杉也有參投ActionIQ此前融資。

摘要： 摘要內容

摘要： 微軟旗下有數不清的服務，因此其需要相當多的數據中心。而作為一家注重數據保護與客戶隱私的大公司，微軟在雲基礎設施的安全性上也是下了很大的工夫。近日，微軟企業網絡安全事業部首席安全顧問Mark Mclntyre，就在出席華盛頓特區召開的“首席信息安全官圓桌會”時，分享了該公司應對這方面挑戰的應對策略。通過歷年的互聯網使用量數據圖，微軟展示了自己是如何成為一家被信賴的雲服務提供商的。

摘要： Wikibon最近完成了2017年大數據全球預測，該報告的作者是Wikibon分析師George Gilbert，以及Wikibon的Ralph Finos和Peter Burris，涉及到大數據的市場規模、增長和趨勢等。

今年，我們把重點放在構建實現大數據成果所必需的戰略業務能力來說最重要的大數據軟件技術上。下面是該報告主要的一些研究發現：

– 2016年，全球大數據硬件、軟件和服務整體市場增長22%達到281億美元，讓大數據成為技術領域更具吸引力的領域之一。

–我們的模型顯示，到2027年期間，在大數據硬件、軟件和服務上的整體開支的複合年增長率為12%，將達到大約970億美元，而這主要是受到了大數據軟件的推動。

–不過，即使大數據仍然是企業關注熱點，但是嚴重的問題也使得大數據市場出現了一些黯淡之處。特別是，大數據項目的故障率很高，甚至是信息技術標準。

–大數據市場正在快速變革，以應對項目故障率較高的問題。正如我們所預測的，對基礎設施的關注正在轉移到對使用實例、應用、利用大數據能力創建可持續業務價值上來。

–為了避免出現基礎設施問題，企業對於把雲用於大數據應用特別感興趣。

大數據軟件細分市場快速增長

與很多技術領域一樣，大數據領域的很多項目首先是把焦點集中在了硬件和基礎設施軟件上。在大數據領域，獲取、保存和處理大量大數據有很多需要的技術。因此，用戶提到了大規模處理較高數據到達率而構建“數據湖”能力。這種能力仍然很重要，但是構建集群、數據庫和數據遷移工具是不夠的。如今，企業領導者重新將注意力集中在了構建大數據軟件和系統的工具和業務能力上。下面就讓我們來快速瀏覽一下每個大數據軟件細分的趨勢：

–應用數據庫增加了分析數據庫的功能。越來越多的數據分析會實時地給人類和機器發送通知信息。2016年這個細分領域的總規模為26億美元，到2020年增幅放緩到30%達到77億美元。

–分析數據庫不止是數據湖。作為數據湖的主幹，MPP SQL數據庫將繼續變革，最終成為大規模、高級、離線分析的平台。2016年這個細分領域的總體規模為25億美元，增幅要慢於總體水平，到2020年達到38億美元。

–在線選擇的增長是以大筆基礎設施開支為代價的。這個部分包括像Spark、Splunk和AWS EMR這樣的產品，2016年的總體規模為17億美元。到2020年期間增幅搶眼，到2020年規模將達到61億美元。

–物聯網應用將提升持續處理基礎設施。這個細分領域將是新興的、基於微服務的大數據應用的基礎，包括大多數智能交互系統，在2016年的總體規模為2億美元，但是到2020年將增長到18億美元。

–數據科學工具鏈正在演變為帶有API的模型。今天，數據科學工具鏈要求有專門的專家來架構、管理和操作。但是，複雜的數據科學工具鏈——包括針對機器學習的——都將轉變為實時的、預培訓的模型，可通過開發者應用編程接口進行訪問。這個細分領域的總體規模是2億美元，到2020將達到18億美元。

–機器學習應用現在大多都是定制的。除了出現很多新的專業公司之外，這些應用還將在現有的企業應用中更為普及。2016年這個市場總體規模為9億美元，到2020年它將赶超其他所有大數據細分市場，規模達到63億美元。

行動項目：企業正在迅速積累大數據經驗，但是還不夠快，無法滿足商業領袖的想像力和需求。2017年及之後，CIO們需要專注於戰略業務能力，以更快速地創建、具有成本效益地管理、成功地集成高級分析系統。

轉貼自： 36大數據

摘要： 數據造假的甄別在數據分析領域是一個熱門的話題，也是對數據分析師的一項挑戰。分析數據造假的方法有很多種。我們在前面的系列文章中曾經介紹過兩種檢驗作弊流量的方法。一種是根據歷史經驗及分佈情況的多維度交叉檢驗，另一種是使用隨機森林模型根據已知作弊流量的特徵對新流量進行分類及預測。

摘要： 作者：George Hill ，他是知名商業媒體 Innovation Enterprise 的主編，同時也是 The Cyclist 公司的聯合創始人。本文由可譯網toypipi , 中山狼 , 薯片番茄, 班納睿翻譯。長期以來，Hadoop 這個詞鋪天蓋地，幾乎成了大數據的代名詞。三年之前，提起超越 Hadoop 這件事，似乎還顯得難以想像。但三年後的今天，這一情況發生了一些改變。

摘要： 除Hadoop外的9個大數據技術： 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Mic​​rosoft Cognitive Services