原標題：谷歌數(shù)據(jù)集搜索正式版出爐：全面升級，覆蓋2500萬數(shù)據(jù)集 來源：騰訊新聞
機器之心報道
參與：李澤南、一鳴
公開數(shù)據(jù)集往往存在于論文和網(wǎng)站數(shù)據(jù)庫中，想要找到它們需要花費一番功夫。除了機器之心 SOTA以外，搜索公開數(shù)據(jù)集的搜索引擎仍然比較少——除了谷歌的數(shù)據(jù)集搜索工具以外。
谷歌宣布，它們的數(shù)據(jù)集搜索引擎不再是 beta 版了。這意味著該產(chǎn)品已經(jīng)正式向用戶們開放使用。Jeff Dean 和谷歌官方都在推特上宣布了這一消息。
谷歌數(shù)據(jù)集搜索的 beta 版本早在 2018 年 9 月就上線了，該引擎面向「科學家、開發(fā)者、數(shù)據(jù)極客等人群」，一直以來都是人們尋找數(shù)據(jù)集的主要方式之一。
鏈接：datasetsearch.research.google/
谷歌表示，經(jīng)過一年多的努力，數(shù)據(jù)集搜索功能的階段性測試已經(jīng)完成。
如果你在數(shù)據(jù)集搜索上輸入「skiing」，會出現(xiàn)的結(jié)果：出現(xiàn)了從最快的滑雪運動員到滑雪地的收入數(shù)據(jù)集等不同類型。
正式版更新了什么？
谷歌從用戶在 Beta 版的使用中獲得了很多經(jīng)驗。在正式版中，你可以根據(jù)所需的數(shù)據(jù)集類型（表格、圖片、文本等），或者數(shù)據(jù)集是否可以免費獲取等條件來進行搜索。如果數(shù)據(jù)集是關(guān)于某個地區(qū)的，你也可以通過地圖進行查找。另外，現(xiàn)在搜索也做了移動端的適配，并大幅改善了數(shù)據(jù)及描述的質(zhì)量。任何數(shù)據(jù)集發(fā)布者都可以通過 schema.org 開放標準在自己的網(wǎng)站上進行規(guī)范性描述，以提高搜索結(jié)果的質(zhì)量。
對于不同的學科來說，人們進行的搜索是完全不同的：科學家會尋找研究目標（如搜索催產(chǎn)素），學生會搜索包含自己作業(yè)主題的關(guān)鍵字，業(yè)務分析師和數(shù)據(jù)科學家會尋找移動 app 或快餐店銷售的數(shù)據(jù)……今天，所有這些內(nèi)容都有數(shù)據(jù)集。
谷歌表示，目前人們在數(shù)據(jù)集搜索上查詢頻率最高的詞是「教育」、「天氣」、「癌癥」、「犯罪」、「足球」以及「狗」。
搜索「快餐店」出現(xiàn)的結(jié)果索引。
哪些數(shù)據(jù)集可以找到？
數(shù)據(jù)集搜索引擎可以提供數(shù)據(jù)集的快照信息，特別是有關(guān)地理信息、生物和農(nóng)業(yè)方面的信息。很多信息都來自于 schema.org，只要網(wǎng)絡上存在的數(shù)據(jù)集符合 schema 的開放標準，搜索引擎就可以搜索到。
除了公開數(shù)據(jù)之外，數(shù)據(jù)集搜索引擎還包括了很多政府公開數(shù)據(jù)，包括美國政府超過兩百萬的數(shù)據(jù)集。絕大部分的公開數(shù)據(jù)都是以表格形式存儲的，可以很容易地下載并進行處理。
使用體驗
機器之心嘗試了這一數(shù)據(jù)集搜索工具。例如，我們在搜索欄里輸入了 CIFAR，搜索引擎很容易就提供了 CIFAR-10 和 CIFAR-100 兩個數(shù)據(jù)集的搜索結(jié)果，并附帶數(shù)據(jù)集全名、被引用數(shù)量、更新時間、提供者、下載方式、介紹和信息來源等。
如果我們不知道數(shù)據(jù)集叫什么名字，但是想看看有沒有某種數(shù)據(jù)的數(shù)據(jù)集呢？機器之心嘗試了一些不常用關(guān)鍵詞，如「Chinese Poem」（中國詩歌）。
搜索結(jié)果也還不錯，提供了相當多的數(shù)據(jù)集，包括數(shù)據(jù)集所在的論文等。
下一步計劃
項目團隊表示，他們會繼續(xù)優(yōu)化數(shù)據(jù)集搜索這項產(chǎn)品，并歡迎用戶提出進一步改進建議。
參考鏈接：
blog.google/products/search/discovering-millions-datasets-web/
reddit/r/MachineLearning/comments/etdiz9/n_googles_dataset_search_is_out_of_beta/
本文為機器之心報道，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。
------------------------------------------------
