⑴ 如何用Python在10分鍾內建立一個預測模型
Python用戶數量上漲及其本身的簡潔性，使得這個工具包對數據科學世界的Python專家們變得有意義。本文將幫助你更快更好地建立第一個預測模型。
絕大多數優秀的數據科學家和kagglers建立自己的第一個有效模型並快速提交。這不僅僅有助於他們領先於排行榜，而且提供了問題的基準解決方案。
⑵ kaggle 101是哪個級別
最近正好組內做了一個文檔相似度的分享。決定回答一發。
首先，如果不局限於NN的方法，可以用BOW+tf-idf+LSI/LDA的體系搞定，也就是俗稱的01或one hot representation。
其次，如果樓主指定了必須用流行的NN，俗稱word-embedding的方法，當然首推word2vec（雖然不算是DNN）。然後得到了word2vec的詞向量後，可以通過簡單加權/tag加權/tf-idf加權等方式得到文檔向量。這算是一種方法。當然，加權之前一般應該先幹掉stop word，詞聚類處理一下。
還有，doc2vec中的paragraph vector也屬於直接得到doc向量的方法。特點就是修改了word2vec中的cbow和skip-gram模型。依據論文《Distributed Representations of Sentences and Documents》(ICML 2014)。
還有一種根據句法樹加權的方式，是ICML2011提出的，見論文《Parsing Natural Scenes and Natural Language with Recursive Neural Networks》，後續也有多個改編的版本。
當然，得到詞向量的方式不局限於word2vec，RNNLM和glove也能得到傳說中高質量的詞向量。
ICML2015的論文《From Word Embeddings To Document Distances, Kusner, Washington University》新提出一種計算doc相似度的方式，大致思路是將詞之間的餘弦距離作為ground distance，詞頻作為權重，在權重的約束條件下，求WMD的線性規劃最優解。
最後，kaggle101中的一個word2vec題目的tutorial里作者如是說：他試了一下簡單加權和各種加權，不管如何處理，效果還不如01，歸其原因作者認為加權的方式丟失了最重要的句子結構信息（也可以說是詞序信息），而doc2vec的方法則保存了這種信息。
在剛剛結束的ACL2015上，似乎很多人提到了glove的方法，其思想是挖掘詞共現信息的內在含義，據說是基於全局統計的方法（LSI為代表）與基於局部預測的方法（word2vec為代表）的折衷，而且輸出的詞向量在詞聚類任務上幹掉了word2vec的結果，也可以看看。《GloVe: Global Vectors forWord Representation》
⑶ 數據挖掘工程師一般都做什麼
數據挖掘工程師是做什麼的？
數據挖掘，從字面上理解，就是在數據中找到有用的東西，哪些東西有用就要看具體的業務目標了。最簡單的就是統計應用了，比如電商數據，如淘寶統計過哪個省購買泳衣最多、哪個省的女生胸罩最大等，進一步，可以基於用戶的瀏覽、點擊、收藏、購買等行為推斷用戶的年齡、性別、購買能力、愛好等能表示一個人的畫像，就相當於用這些挖掘出來的屬性來刻畫一個人，這些還是最簡單的東西，更深層次的比如預測（股票預測），但是比較難。
數據挖掘往往與機器學習離不開。比如分類、聚類、關聯規則挖掘、個性化推薦、預測、神經網路、深度學習等。
數據挖掘 = 業務知識 + 自然語言處理技術（ NLP ） + 計算機視覺技術（ CV ） + 機器學習 / 深度學習（ ML/DL ）
（ 1 ）其中業務知識具體指的是個性化推薦，計算廣告，搜索，互聯網金融等； NLP ， CV 分別是處理文本，圖像視頻數據的領域技術，可以理解為是將非結構化數據提取轉換成結構化數據；最後的ml/dl 技術則是屬於模型學習理論；
（ 2 ）在選擇崗位時，各個公司都沒有一套標準的稱呼，但是所做的事情無非 2 個大方向，一種是主要鑽研某個領域的技術，比如自然語言處理工程師，計算機視覺工程師，機器學習工程師等；一種是將各種領域技術應用到業務場景中去解決業務需求，比如數據挖掘工程師，推薦系統工程師等；具體的稱呼不重要，重要的是平時的工作內容；
PS ：在互聯網行業，數據挖掘相關技術應用比較成功的主要是推薦以及計算廣告領域，而其中涉及到的數據主要也是文本，所以 NLP 技術相對來講比較重要，至於 CV 技術主要還是在人工智慧領域（無人車，人臉識別等）應用較多，本人了解有限，相關的描述會較少；
數據挖掘崗位需要具備的3 種基本能力
1. 工程能力
（ 1 ）編程基礎：需要掌握一大一小兩門語言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 腳本；需要掌握基本的資料庫語言；
建議： MySQL + python + C++ ；語言只是一種工具，看看語法就好；
推薦書籍：《 C++ primer plus 》
（ 2 ）開發平台： Linux ；
建議：掌握常見的命令，掌握 Linux 下的源碼編譯原理；
推薦書籍：《 Linux 私房菜》
（ 3 ）數據結構與演算法分析基礎：掌握常見的數據結構以及操作（線性表，隊，列，字元串，樹，圖等），掌握常見的計算機演算法（排序演算法，查找演算法，動態規劃，遞歸等）；
建議：多敲代碼，多上 OJ 平台刷題；
推薦書籍：《大話數據結構》《劍指 offer 》
（ 4 ）海量數據處理平台： Hadoop （ mr 計算模型， java 開發）或者 Spark （ rdd 計算模型， scala開發），重點推薦後者；
建議：主要是會使用，有精力的話可以看看源碼了解集群調度機制之類的；
推薦書籍：《大數據 spark 企業級實戰》
2. 演算法能力
（ 1 ）數學基礎：概率論，數理統計，線性代數，隨機過程，最優化理論
建議：這些是必須要了解的，即使沒法做到基礎扎實，起碼也要掌握每門學科的理論體系，涉及到相應知識點時通過查閱資料可以做到無障礙理解；
（ 2 ）機器學習 / 深度學習：掌握 常見的機器學習模型（線性回歸，邏輯回歸， SVM ，感知機；決策樹，隨機森林， GBDT ， XGBoost ；貝葉斯， KNN ， K-means ， EM 等）；掌握常見的機器學習理論（過擬合問題，交叉驗證問題，模型選擇問題，模型融合問題等）；掌握常見的深度學習模型（ CNN ，RNN 等）；
建議：這里的掌握指的是能夠熟悉推導公式並能知道模型的適用場景；
推薦書籍：《統計學習方法》《機器學習》《機器學習實戰》《 UFLDL 》
（ 3 ）自然語言處理：掌握常見的方法（ tf-idf ， word2vec ， LDA ）；
3. 業務經驗
（ 1 ）了解推薦以及計算廣告相關知識；
推薦書籍：《推薦系統實踐》《計算廣告》
（ 2 ）通過參加數據挖掘競賽熟悉相關業務場景，常見的比賽有 Kaggle ，阿里天池， datacastle 等。
想要學習數據挖掘的話可以看一下這篇文章《AI時代就業指南：數據挖掘入門與求職》
⑷ kaggle房價預測還可以提交嗎
可以了
⑸ Kaggle簡介
Kaggle是由聯合創始人、首席執行官安東尼·高德布盧姆（Anthony Goldbloom）2010年在墨爾本創立的，主要為開發商和數據科學家提供舉辦機器學習競賽、託管資料庫、編寫和分享代碼的平台。該平台已經吸引了80萬名數據科學家的關注，這些用戶資源或許正是吸引谷歌的主要因素。
2019年1月Kaggle人類蛋白質圖像深度學習分類大賽，昂鈦客[angtk.ai]獲1銀2銅。
(5)kaggle股票價格預測擴展閱讀：
Kaggle這一平台已經吸引了許多科學家和開發者的關注，他們也紛紛入駐這一平台。這些科學家和開發者資源正是谷歌看中他們的地方。
這項技術可以直接從圖片預測地標，以幫助人們更好地理解和整理他們的照片集。這項競賽要求參賽者建立能夠在挑戰性測試圖像數據集中識別正確地標（如果有）的模型。
⑹ 為什麼手動實現決策樹效率比調包低很多
1.每個演算法模塊按照「原理講解→分析數據→自己動手實現→特徵與調參」的順序，「原理加實踐，頂天立地」。
2.拒絕簡單的「調包」——增加3次「機器學習的角度看數學」和3次「Python數據清洗和特徵提取」，提升學習深度、降低學習坡度。
3.增加網路爬蟲的原理和編寫，從獲取數據開始，重視將實踐問題轉換成實際模型的能力，分享工作中的實際案例或Kaggle案例：廣告銷量分析、環境數據異常檢測和分析、數字圖像手寫體識別、Titanic乘客存活率預測、用戶-電影推薦、真實新聞組數據主題分析、中文分詞、股票數據特徵分析等。
⑺ 如何用Python和機器學習炒股賺錢
相信很多人都想過讓人工智慧來幫你賺錢，但到底該如何做呢？瑞士日內瓦的一位金融數據顧問 Gaëtan Rickter 近日發表文章介紹了他利用 Python 和機器學習來幫助炒股的經驗，其最終成果的收益率跑贏了長期處於牛市的標准普爾 500 指數。雖然這篇文章並沒有將他的方法完全徹底公開，但已公開的內容或許能給我們帶來如何用人工智慧炒股的啟迪。
我終於跑贏了標准普爾 500 指數 10 個百分點！聽起來可能不是很多，但是當我們處理的是大量流動性很高的資本時，對沖基金的利潤就相當可觀。更激進的做法還能得到更高的回報。
這一切都始於我閱讀了 Gur Huberman 的一篇題為《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的論文。該研究描述了一件發生在 1998 年的涉及到一家上市公司 EntreMed（當時股票代碼是 ENMD）的事件：
「星期天《紐約時報》上發表的一篇關於癌症治療新葯開發潛力的文章導致 EntreMed 的股價從周五收盤時的 12.063 飆升至 85，在周一收盤時接近 52。在接下來的三周，它的收盤價都在 30 以上。這股投資熱情也讓其它生物科技股得到了溢價。但是，這個癌症研究方面的可能突破在至少五個月前就已經被 Nature 期刊和各種流行的報紙報道過了，其中甚至包括《泰晤士報》！因此，僅僅是熱情的公眾關注就能引發股價的持續上漲，即便實際上並沒有出現真正的新信息。」
在研究者給出的許多有見地的觀察中，其中有一個總結很突出：
「（股價）運動可能會集中於有一些共同之處的股票上，但這些共同之處不一定要是經濟基礎。」
我就想，能不能基於通常所用的指標之外的其它指標來劃分股票。我開始在資料庫裡面挖掘，幾周之後我發現了一個，其包含了一個分數，描述了股票和元素周期表中的元素之間的「已知和隱藏關系」的強度。
我有計算基因組學的背景，這讓我想起了基因和它們的細胞信號網路之間的關系是如何地不為人所知。但是，當我們分析數據時，我們又會開始看到我們之前可能無法預測的新關系和相關性。
如果你使用機器學習，就可能在具有已知和隱藏關系的上市公司的寄生、共生和共情關系之上搶佔先機，這是很有趣而且可以盈利的。最後，一個人的盈利能力似乎完全關乎他在生成這些類別的數據時想出特徵標簽（即概念（concept））的強大組合的能力。
我在這類模型上的下一次迭代應該會包含一個用於自動生成特徵組合或獨特列表的單獨演算法。也許會基於近乎實時的事件，這可能會影響那些具有隻有配備了無監督學習演算法的人類才能預測的隱藏關系的股票組。
⑻ Kaggle2017-1百萬美金的肺癌檢測競賽的難點哪兒
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
佳學基因的技術基礎是很強的。
medical image analysis是個非常有意義的研究方向，按道理屬於Computer Vision，但由於沒有像CV裡面物體識別場景識別里標准化的資料庫和評測方法，一直比較小眾。MICCAI是這個medical image analysis方向的頂會，目前並沒有被deep learning統治，經常看到mean-shift以及其他比較基礎的圖片處理的演算法，深度學習在這方面應該有很大潛力。CV里扎堆的優秀同學們不妨多看看這個方向，畢竟在某個疾病預測任務上能提升2%准確度比在Pascal VOC上費牛勁擼個0.5%提高有意義多了：）
medical image analysis裡面數據尤其寶貴，這次比賽放出來的數據以及這種公開比賽的模式應該能推動這個方向的發展。大致看了下比賽數據，「a thousand low-dose CT images from high-risk patients in DICOM format. Each image contains a series with multiple axial slices of the chest cavity. Each image has a variable number of 2D slices, which can vary based on the machine taking the scan and patient.」，雖然只有1000多張CT圖，但是每張圖是很多slice，所以算是個cubic representation，可能可以從deep learning for 3D或者deep learning for video recognition等方向看看有沒有合適的方法可以借鑒。我不是這方面的專家，就留給各位見仁見智了，歡迎分享。
記得選我最佳答案。
⑼ 如何在Kaggle獲得Top 2%並成為深度學習研究員
Expedia比賽的挑戰是你基於在Expedia提供的用戶的搜索數據中的一些屬性來預測他們會預定哪一個。