2014年2月7日-11日,一年一度的美國大學生數學建模競賽正在緊張進行,參加這個競賽獲獎的學生,能比較輕松地敲開美國前一百位大學的大門;Hadoop雖然是一個強大的分布式計算架構,但是它也有很多不足的地方;擁有過8億的活躍用戶,提供了60多個全球化產品,分別在20多個國家或地區部署數十萬臺服務器之上的雅虎運維團隊為何僅有數百人,看北京全球研發中心高級系統運維工程師劉元如何解讀……
第六屆中國云計算大會(China Cloud Computing Conference)將于2014年05月在國家會議中心?北京召開。此次會議將繼承前五屆大會的成功經驗,將邀請更多國內外知名院士、專家學者、行業CIO參加會議并作演講。
車輛右行:在一些規定汽車靠右行駛的國家(即美國,中國和其他大多數國家,除了英國,澳大利亞和一些前英國殖民地)
,多車道的高速公路經常使用這樣一條規則:要求司機開車時在最右側車道行駛,除了在超車的情況下,他們應移動到左側相鄰的車道,超車,然后恢復到原來的行駛車道(最右車道)。建立和分析一個數學模型,來分析這一規則在輕型和重型交通中的性能(即車輛較少和交通較擁堵時)。
大學教練的故事:體育畫報,為運動愛好者雜志,正在尋找上個世紀堪稱“史上最優秀大學教練”的男性或女性。建立數學模型,選出在大學曲棍球,足球,棒球或壘球,籃球,橄欖球領域(過去或現在)最好的一個或多個、男性或女性大學教練。你在你的分析中使用的時間范圍對結果有影響嗎?比如說,在1913年執教的情況不同于2013年?清楚地說明您的評估指標。討論你的模型怎樣在男女性別和所有可能的運動中應用。展示由你的模型得到的3個不同的運動各自排名前5的教練。
要想在云領域和IT領域成為成功人士,你首先要完善你已有的專業技能,除此之外,下面的10種方法可能會幫到你:關注社會,并獲得別人的關注、學習新的技術、學習商業語言、設想自己是架構師――統籌全局、了解團隊和組織動態、將業務和市場轉化為真正的IT解決方案、不要害怕說出來、網絡、網絡和還是網絡、考慮“數據中心”以外的東西、永不自滿。
Yahoo!是一家全球知名的互聯網公司,擁有過8億的活躍用戶,提供了60多個全球化產品,分別部署在20多個國家或地區的數十萬臺服務器之上,然而雅虎全球的運維團隊卻僅有數百人。雅虎北京全球研發中心高級系統運維工程師劉元從三個方面來闡述雅虎的技術運維體系,剖析超大規模網絡應用的運維挑戰,走進Yahoo!數據中心!
然后重點介紹了Yarn架構:Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調度/監視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM),Application相當于map-reduce job或者DAG jobs。
ResourceManager和NodeManager(NM)組成了基本的數據計算框架。ResourceManager協調集群的資源利用,任何client或者運行著的applicatitonMaster 想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫,對于MapReduce框架而言有它自己的AM實現,用戶也可以實現自己的AM,在運行的時候,AM會與NM一起來啟動和監視tasks。
這九點包括:發布保留實例 、 推出更多的托管服務、利用搜索、 提供更多不同類型的實例、 增添更多的區域、 提供虛擬機鏡像導入/導出功能、 發揮光纖優勢、 多宣傳GCE技術領軍人物、 加強執行力。
福特數據科學負責人Michael Cavaretta是負責整理公司所有數據的數據分析師之一,這次他從通過數據了解汽車設計、考慮價值,而不僅僅是成本、追求新技術也要適可而止,有時候也要重視效益、不用崇拜數據科學家方面給大家介紹福特是如何讓“數據”說話的。
Michael Cavaretta
進入20世紀后,福特經歷一系列打擊,面臨絕境,福特轉變傳統思維尋求數據專家幫助,如今數據分析已經深入福特的企業文化,數據幫助福特了解用戶需求、優化汽車設計、解決業務問題......“大數據”對福特公司有著很重要的意義,現在的福特就像是由無數個0和1構成。有關于汽車的數據,有關于這家世界五百強公司戰略的數據,甚至還有關于客戶如何看待福特公司這樣的數據。
Red Hat和Hortonworks將合作整合大量的技術,Hortonworks看重Red Hat一直是開源社區的頂級貢獻人,有良好的企業形象和銷售渠道,而Red Hat要進一步的發展也需要有Hadoop的支持,雙方可謂各取所需。新伙伴關系下的整個產品列表:
Hortonworks的首席執行官Rob Bearden
Hortonworks還喊出了開源口號,想要與Red Hat和微軟這樣更大的平臺供應商建立更深的聯系,而MapR仍然努力想讓自己的產品脫穎而出。Cloudera積極嘗試 丟掉Hadoop供應商的標簽,作為提供全方位數據管理的企業,從Teradata甚至IBM這樣的公司搶走客戶。
10. 在AWS上使用GPU實現分布式神經網絡
Netflix最近承認正在開發新的技術開展人工智能領域的應用,著眼深度學習可以讓Netflix的電影推薦更準確,但是深度學習領域還有很多技術難題未被解決,Netflix技術博客網站的Alex
chen等人結合自身實踐,從分布式機器學習的層次、優化CUDA Kernel、PCI 配置空間和虛擬環境、G2 實例、分布式貝葉斯hyperparameter優化等方面分享了在AWS上實現分布式人工智能網絡的經驗。
最后作者總結道:如果你需要在自己定制的基礎設施上實現它、成本和復雜性將難以想象的。利用AWS有明顯的好處,在實例的定制和使用資源時會有一定的支持。我們希望通過分享我們的經驗來讓別人更方便開發類似應用程序。
11-15. 其它云計算熱點資訊還有大數據時代,看“小數據”如何支持決策、Hadoop Namenode以regular方式啟動代碼流程分析、詳解并行邏輯回歸、為Hadoop存儲層增加對OpenStack Swift的支持、追本溯源 解析“大數據生態環境”發展現狀,請繼續關注CSDN云計算頻道。(文/魏偉)