微軟計劃用即將推出的“Pendleton”工具解決“數據清洗”問題

隨著愈發強調AI技術的重要意義再配合其作為工具供應商的角色定位，微軟公司此次在傳統程序員之外、決定麵向數據科學家開發工具的決策可謂毫不令人意外。

根據微軟研究部門在今年早些時候發布的聲明，數據科學家們目前將80%的工作時間用於數據的信息提取與清理工作——即“數據清洗”。微軟公司希望幫助其解決這一難題。

Pendleton項目由此誕生。

一年之前，我第一次聽說微軟公司正在開發一款代號為Pendleton項目的新型機器學習相關工具。不過在此之後，由於缺少充分的背景信息，我們一直無法對Pendleton作出深入解析。

不過根據最近發布的Pendleton“入門介紹”文檔，我們得知Pendleton項目在微軟心目中的具體定位：

“Pendleton項目提供一套靈活且具備可擴展性的工具集，旨在幫助您探索、發現、理解數據內容並修複其中的問題。其允許用戶以多種形式實現數據消費，並將數據轉換為更適合您實際用例的新形式。”

Pendleton是一款客戶端應用，麵向Windows與OS X/MacOS平台。其運行時利用Python設計，且依賴於多種Python庫。

根據一位知情人士的說明，Pendleton項目是一款麵向數據科學家的工具，專門用於進行數據籌備與清理。該工具能夠實現錯誤列刪除、列格式更改以及丟失數據處理等。另外，其還提供各類分析工具，可幫助數據科學家獲取數據集中包含的具體內容。Pendleton項目可以從SQL Server、Azure Blob以及數據湖當中讀取數據，亦可與本地PC文件內讀取信息。

微軟公司已經在內部對Pendleton項目測試了近一年時間——實際周期可能更長。我還沒有聽說軟件巨頭打算如何發布這款工具，但似乎其確實在醞釀相關計劃。

在我看來，微軟研究部門的PROSE（即項目綜合使用示例）團隊可能負責為Pendleton項目“開發數據清洗的項目綜合技術，並將其納入實際產品”，或者說至少有參與其中。

與此同時，在數據科學與大數據集方麵，微軟公司與Facebook則於今天公布了其共同開發的新型模型格式，其可確保各類深度學習模型在不同框架之間實現往來轉移。

這項新標準被稱為開放神經網絡交換（簡稱ONNX），其允許開發人員在微軟Cognitive Toolkit、Facebook Caffe2以及PyTorch等AI框架之間將模型往來遷移。ONNX代碼的初始版本及相關說明文檔目前已經以開源項目形式公布在GitHub之上。