電子發(fā)燒友網>電子資料下載>電子資料>PyTorch教程5.7之在Kaggle上預測房價

PyTorch教程5.7之在Kaggle上預測房價

2512804 2023-06-05 | pdf | 0.49 MB | 次下載 | 2積分

資料介紹

現在我們已經介紹了一些用于構建和訓練深度網絡并使用包括權重衰減和丟失在內的技術對其進行正則化的基本工具，我們準備通過參加 Kaggle 競賽將所有這些知識付諸實踐。房價預測競賽是一個很好的起點。數據相當通用，沒有表現出可能需要專門模型（如音頻或視頻可能）的奇異結構。該數據集由 De Cock ( 2011 )收集，涵蓋 2006 年至 2010 年愛荷華州埃姆斯的房價。它比Harrison 和 Rubinfeld (1978)著名的波士頓住房數據集大得多，擁有更多的例子和更多的特征。

在本節(jié)中，我們將帶您了解數據預處理、模型設計和超參數選擇的詳細信息。我們希望通過實踐方法，您將獲得一些直覺，這些直覺將指導您作為數據科學家的職業(yè)生涯。

						%matplotlib inline
import pandas as pd
import torch
from torch import nn
from d2l import torch as d2l

						 

						%matplotlib inline
import pandas as pd
from mxnet import autograd, gluon, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

						 

						%matplotlib inline
import jax
import numpy as np
import pandas as pd
from jax import numpy as jnp
from d2l import jax as d2l

						 

						No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

					

						%matplotlib inline
import pandas as pd
import tensorflow as tf
from d2l import tensorflow as d2l

						 

5.7.1. 下載數據

在整本書中，我們將在各種下載的數據集上訓練和測試模型。在這里，我們實現了兩個實用函數來下載文件和提取 zip 或 tar 文件。同樣，我們將它們的實現推遲到第 23.7 節(jié)。

					def download(url, folder, sha1_hash=None):
  """Download a file to folder and return the local filepath."""

def extract(filename, folder):
  """Extract a zip/tar file into folder."""

5.7.2. 格格

Kaggle是一個舉辦機器學習競賽的流行平臺。每場比賽都以數據集為中心，許多比賽由利益相關者贊助，他們?yōu)楂@勝的解決方案提供獎勵。該平臺幫助用戶通過論壇和共享代碼進行交互，促進協作和競爭。雖然排行榜追逐經常失控，研究人員短視地關注預處理步驟而不是提出基本問題，但平臺的客觀性也具有巨大價值，該平臺有助于競爭方法之間的直接定量比較以及代碼共享，以便每個人都可以了解哪些有效，哪些無效。如果你想參加 Kaggle 比賽，你首先需要注冊一個賬號（見圖 5.7.1）。

https://file.elecfans.com/web2/M00/A8/BC/poYBAGR3IKiAAYRAAAKeYMfXAiY589.png

圖 5.7.1 Kaggle 網站。

在房價預測比賽頁面，如圖 5.7.2所示，可以找到數據集（在“數據”選項卡下），提交預測，就可以看到你的排名，網址在這里：

https://www.kaggle.com/c/house-prices-advanced-regression-techniques

https://file.elecfans.com/web2/M00/A9/37/pYYBAGR3IK2AIz08AAJE64c9ZKo210.png

圖 5.7.2房價預測比賽頁面。

5.7.3. 訪問和讀取數據集

請注意，比賽數據分為訓練集和測試集。每條記錄包括房屋的屬性值和街道類型、建造年份、屋頂類型、地下室狀況等屬性。特征由各種數據類型組成。例如，建造年份用整數表示，屋頂類型用離散的分類分配表示，其他特征用浮點數表示。這就是現實使事情復雜化的地方：例如，一些數據完全缺失，缺失值簡單地標記為“na”。每個房子的價格僅包含在訓練集中（畢竟這是一場比賽）。我們希望對訓練集進行分區(qū)以創(chuàng)建驗證集，但我們只能在將預測上傳到 Kaggle 后才能在官方測試集上評估我們的模型。圖 5.7.2有下載數據的鏈接。

首先，我們將pandas使用我們在第 2.2 節(jié)中介紹的方法讀入和處理數據。為了方便起見，我們可以下載并緩存 Kaggle 住房數據集。如果與此數據集對應的文件已存在于緩存目錄中并且其 SHA-1 匹配sha1_hash，我們的代碼將使用緩存文件以避免因冗余下載而阻塞您的互聯網。

					class KaggleHouse(d2l.DataModule):
  def __init__(self, batch_size, train=None, val=None):
    super().__init__()
    self.save_hyperparameters()
    if self.train is None:
      self.raw_train = pd.read_csv(d2l.download(
        d2l.DATA_URL + 'kaggle_house_pred_train.csv', self.root,
        sha1_hash='585e9cc93e70b39160e7921475f9bcd7d31219ce'))
      self.raw_val = pd.read_csv(d2l.download(
        d2l.DATA_URL + 'kaggle_house_pred_test.csv', self.root,
        sha1_hash='fa19780a7b011d9b009e8bff8e99922a8ee2eb90'))

					 

訓練數據集包含 1460 個示例、80 個特征和 1 個標簽，而驗證數據包含 1459 個示例和 80 個特征。

							data = KaggleHouse(batch_size=64)
print(data.raw_train.shape)
print(data.raw_val.shape)

							 

							Downloading ../data/kaggle_house_pred_train.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_train.csv...
Downloading ../data/kaggle_house_pred_test.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_test.csv...
(1460, 81)
(1459, 80)

						

							data = KaggleHouse(batch_size=64)
print(data.raw_train.shape)
print(data.raw_val.shape)

							 

							Downloading ../data/kaggle_house_pred_train.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_train.csv...
Downloading ../data/kaggle_house_pred_test.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_test.csv...
(1460, 81)
(1459, 80)

						

							data = KaggleHouse(batch_size=64)
print(data.raw_train.shape)
print(data.raw_val.shape)

							 

							Downloading ../data/kaggle_house_pred_train.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_train.csv...
Downloading ../data/kaggle_house_pred_test.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_test.csv...
(1460, 81)
(1459, 80)

						

							data = KaggleHouse(batch_size=64)
print(data.raw_train.shape)
print(data.raw_val.shape)

							 

							Downloading ../data/kaggle_house_pred_train.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_train.csv...
Downloading ../data/kaggle_house_pred_test.csv from http://d2l-data.s3-accelerate.amazonaws.com/kaggle_house_pred_test.csv...
(1460, 81)
(1459, 80)

						

5.7.4. 數據預處理

我們來看看前四個和最后兩個特征以及前四個示例中的標簽 (SalePrice)。

							print(data.raw_train.iloc[:4, [0, 1, 2, 3, -3, -2, -1]])

							 

							  Id MSSubClass MSZoning LotFrontage SaleType SaleCondition SalePrice
1     60    RL     65.0    WD    Normal   208500
2     20    RL     80.0    WD    Normal   181500
3     60    RL     68.0    WD    Normal   223500
4     70    RL     60.0    WD    Abnorml   140000

						

							print(data.raw_train.iloc[:4, [0, 1, 2, 3, -3, -2, -1]])

							 

							  Id MSSubClass MSZoning LotFrontage SaleType SaleCondition SalePrice
1     60    RL     65.0    WD    Normal   208500
2     20    RL     80.0    WD    Normal   181500
3     60    RL     68.0    WD    Normal   223500
4     70    RL     60.0    WD    Abnorml   140000

						

							print(data.raw_train.iloc[:4, [0, 1, 2, 3, -3, -2, -1]])

							 

							  Id MSSubClass MSZoning LotFrontage SaleType SaleCondition SalePrice
1     60    RL     65.0    WD    Normal   208500
2     20    RL     80.0    WD    Normal   181500
3     60    RL     68.0    WD    Normal   223500
4     70    RL     60.0    WD    Abnorml   140000

						

							print(data.raw_train.iloc[:4, [0, 1, 2, 3, -3, -2, -1]])

							 

數據集數據預處理 pytorch

下載該資料的人也在下載下載該資料的人還在閱讀

更多 >

PyTorch教程13.5之在多個GPU上進行訓練
PyTorch Recipes.zip 0次下載
Effective PyTorch之 PyTorch基礎知識（譯）
基于灰色預測和支持向量機的人口組合預測模型 19次下載
可提高瓦斯風險預測準確率的ELM模型 2次下載
改進神經網絡的港口貨運量預測模型 18次下載
STM8學習之在串口通信中定義通信協議 50次下載
借助長短期記憶網絡預測文件訪問熱度預測 7次下載
github上的pytorch學習資料詳細說明 6次下載
LabVIEW教程之在文件夾下直接創(chuàng)建新的VI詳細說明 16次下載
如何使用改進GM模型進行房價預測模型資料說明 7次下載
PICmicro中檔單片機系列之在線串行編程
C語言教程之在指定位置插入字符 0次下載
Delphi教程之在IE工具欄上增加一個按鈕圖標 4次下載
Delphi教程之在StringGrid組件中顯示查詢結果 5次下載

利用Arm Kleidi技術實現PyTorch優(yōu)化 239次閱讀
使用PyTorch在英特爾獨立顯卡上訓練模型 651次閱讀
Pytorch深度學習訓練的方法 240次閱讀
PyTorch神經網絡模型構建過程 533次閱讀
PyTorch的介紹與使用案例 435次閱讀
如何使用PyTorch建立網絡模型 447次閱讀
使用PyTorch構建神經網絡 745次閱讀
TorchFix:基于PyTorch的代碼靜態(tài)分析 1101次閱讀
基于PyTorch AMD的解決方案 947次閱讀
PyTorch 的 Autograd 機制和使用 1132次閱讀
一文解構PyTorch：深入了解PyTorch內部機制 4033次閱讀
PyTorch官網教程PyTorch深度學習:60分鐘快速入門中文翻譯版 1w次閱讀
這些年來，我們的數據科學究竟發(fā)生了什么變化？ 2815次閱讀
Github上Star過千的PyTorch NLP相關項目都在這兒了！ 7320次閱讀
如何很容易地將數據共享為Kaggle數據集 5453次閱讀

1PFC電路與BOOST電路設計實例分享
1.83 MB | 12次下載 | 4 積分
2世平基于靈動微 SPIN560C 的低壓無刷電機應用方案
10.93 MB | 11次下載 | 免費
3電源測試報告-基于國民技術 N32L406 和杰華特 JW3376+3330 的 BMS 方案
6.47 MB | 11次下載 | 免費
4PWM控制器的控制方法
0.39 MB | 3次下載 | 4 積分
5電流檢測芯片FP135應用說明
1.24 MB | 3次下載 | 免費
6全面解讀被動式與主動式PFC電路
1.27 MB | 1次下載 | 4 積分
7HC88L051F4低功耗芯片規(guī)格書
4.76 MB | 1次下載 | 免費
8CIU32D655x5數據手冊
2.14 MB | 1次下載 | 免費

本月

1常用電子元器件使用手冊
2.40 MB | 52次下載 | 免費
2高功率密度碳化硅MOSFET軟開關三相逆變器損耗分析
2.27 MB | 33次下載 | 10 積分
3PFC電路與BOOST電路設計實例分享
1.83 MB | 12次下載 | 4 積分
4世平基于靈動微 SPIN560C 的低壓無刷電機應用方案
10.93 MB | 11次下載 | 免費
5電源測試報告-基于國民技術 N32L406 和杰華特 JW3376+3330 的 BMS 方案
6.47 MB | 11次下載 | 免費
6USB拓展塢PCB圖資料
0.57 MB | 11次下載 | 免費
7MS1826 HDMI 多功能視頻處理器數據手冊
4.51 MB | 9次下載 | 免費
8HAL9303線性霍爾效應傳感器技術手冊
0.70 MB | 9次下載 | 免費

總榜

1matlab軟件下載入口
未知 | 935134次下載 | 10 積分
2開源硬件-PMP21529.1-4 開關降壓/升壓雙向直流/直流轉換器 PCB layout 設計
1.48MB | 420064次下載 | 10 積分
3Altium DXP2002下載入口
未知 | 233089次下載 | 10 積分
4電路仿真軟件multisim 10.0免費下載
340992 | 191424次下載 | 10 積分
5十天學會AVR單片機與C語言視頻教程下載
158M | 183352次下載 | 10 積分
6labview8.5下載
未知 | 81600次下載 | 10 積分
7Keil工具MDK-Arm免費下載
0.02 MB | 73818次下載 | 10 積分
8LabVIEW 8.6下載
未知 | 65991次下載 | 10 積分

亚洲精品久久久久久久久久久,亚洲国产精品一区二区制服,亚洲精品午夜精品,国产成人精品综合在线观看,最近2019中文字幕一页二页

搜索歷史