在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

哪些特征工程技術(shù)可以改善機器學習預測?

穎脈Imgtec ? 2024-07-30 08:28 ? 次閱讀

機器學習方面,人們可以采取的改進 ML 模型預測的方法是選擇正確的特征并刪除對模型性能影響微不足道的特征。因此,選擇正確的特征可能是數(shù)據(jù)科學家或機器學習工程師需要做的最重要的步驟之一,他們通常負責構(gòu)建那些能夠很好地概括測試數(shù)據(jù)集的復雜模型。

例如,考慮預測一個人是否會患心臟病的任務,可以產(chǎn)生良好影響的最強指標之一就是體重指數(shù) (BMI)。當我們試圖預測一個人可能患有的血壓 (BP) 水平時,沒有考慮這個特征并且沒有在我們的數(shù)據(jù)集中使用它,通常會導致結(jié)果不太準確。在這種情況下,BMI 可以強烈表明一個人患有這些疾病。因此,考慮這個特征很重要,因為它會對結(jié)果產(chǎn)生很大的影響。

考慮另一個預測某人是否會拖欠貸款的案例研究。在向某人提供貸款之前,所考慮的銀行會詢問一系列問題,例如工資、凈資產(chǎn)和他們的信用記錄。如果我們要讓一個人根據(jù)上述一系列因素來決定是否必須向某人提供貸款,他/她會查看總工資和他們的整體信用記錄。

同樣,當數(shù)據(jù)以與人類相同的方式提供給 ML 模型時,它會學會獲得重要的表示,以便它決定一個人是否會償還貸款。如果我們刪除諸如工資之類的特征,ML 模型將缺少關(guān)鍵信息,無法完美地解讀一個人是否會償還貸款。因此,它的預測可能會非常錯誤,因為數(shù)據(jù)中缺少最重要的特征之一(工資)。因此,這凸顯了擁有正確的特征對于我們的機器學習和深度學習模型在測試集和實時數(shù)據(jù)上表現(xiàn)良好的重要性。

現(xiàn)在我們已經(jīng)了解了確定正確特征對于確定模型預測質(zhì)量的重要性,我們現(xiàn)在將繼續(xù)尋找有助于我們的模型預測并改善其結(jié)果的各種特征化技術(shù)。


插值

這是我們在數(shù)據(jù)中填充缺失值的一種方法。我們在互聯(lián)網(wǎng)上找到了大量數(shù)據(jù)集,例如包含幾乎所有特征和標簽而沒有異常或缺失數(shù)據(jù)的玩具數(shù)據(jù)集。然而,這在現(xiàn)實生活中可能遠非如此,因為大多數(shù)現(xiàn)實世界數(shù)據(jù)都包含缺失值。因此,必須采取特定步驟來確保以某種方式填充缺失的值。

我們可以使用各種方法來執(zhí)行插值。我們可以使用特征的平均值或平均值來填充缺失值。還有其他方法,例如特征的中位數(shù)插值和眾數(shù)插值。因此,通過執(zhí)行這些方法,我們不會得到包含缺失值的數(shù)據(jù)。

如果我們要預測一個人是否會拖欠貸款,我們會將薪水作為我們機器學習模型的重要特征之一。但是,所有參與者的薪水信息可能不存在于我們的數(shù)據(jù)中。因此,最好的方法之一是分別用整個薪資特征的平均值來估算或填充這些缺失值。


縮放我們傾向于為我們的模型提供一組不同的特征,基于此,模型將確定用于預測結(jié)果或目標變量的最佳特征。但需要注意的是,我們使用的特征在我們最初收到數(shù)據(jù)時可能具有不同的尺度。

以用于確定房價的特征為例。在這種情況下,特征可能是臥室數(shù)量和利率。我們無法比較這兩個特征,因為臥室數(shù)量以單位為單位,而利率以美元 ($) 為單位。如果我們將這些數(shù)據(jù)提供給我們的 ML 模型,它只會理解美元比臥室數(shù)量特征高出很多單位。然而,正如我們上面所看到的,這遠非事實。因此,在將特征提供給模型進行預測之前,執(zhí)行特征的縮放操作非常重要。


歸一化這是我們執(zhí)行縮放操作的一種方式,在轉(zhuǎn)換數(shù)據(jù)中的其他值之前,先對所考慮的各個特征取最大值和最小值。我們確保特征的最小值為 0,最大值為 1。這將確保我們能夠使用模型產(chǎn)生最佳結(jié)果并獲得良好的預測。以客戶是否會流失(離開)或繼續(xù)使用互聯(lián)網(wǎng)服務為例,月費和使用期限等特征是一些重要特征。月費可以以美元 ($) 為單位,而使用期限可以以年或月為單位。由于它們的規(guī)模不同,因此規(guī)范化在這種情況下非常方便,并確保我們獲得最佳的模型預測。


標準化標準化在轉(zhuǎn)換特征方面與規(guī)范化類似,不同之處在于我們以這樣一種方式轉(zhuǎn)換數(shù)據(jù),即我們得到一個輸出,該輸出對于每個單獨的特征都具有單位方差和零均值。我們已經(jīng)看到,對各種特征使用不同的尺度常常會使模型感到困惑,因為模型會因為數(shù)據(jù)的尺度而假設一個特征比另一個特征更重要,執(zhí)行標準化操作有助于確保我們獲得最佳預測。因此,這是機器學習從業(yè)者在構(gòu)建最佳預測時經(jīng)常采取的一步。

在預測汽車價格時,我們會分別考慮氣缸數(shù)和里程數(shù)等特征。由于這兩個特征的尺度不同,我們必須執(zhí)行標準化,以便在給出預測模型之前,我們可以在特征之間找到共同點。


獨熱編碼想象一個場景,我們的數(shù)據(jù)中有大量分類特征。我們數(shù)據(jù)中的一些分類特征可以包括國家、州、名稱等特征。從這些特征中,我們看到,我們只生成這些實例的出現(xiàn),而沒有得到數(shù)字表示。為了使我們的 ML 模型能夠很好地工作并利用數(shù)據(jù),分類特征(如上所示)應該轉(zhuǎn)換為數(shù)字特征,以便模型執(zhí)行計算。因此,我們執(zhí)行這一步獨熱編碼,以便將分類特征轉(zhuǎn)換為數(shù)字特征。現(xiàn)在人們可能會質(zhì)疑算法實際上是如何做到這一點的。它只是將每個特征的每個類別視為單獨的列。特定類別的存在或不存在將被標記為 1 或 0。如果我們發(fā)現(xiàn)特定類別存在,反之亦然,我們將值設為 1。


響應編碼這是另一種與獨熱編碼非常相似的方法,因為它可以處理分類數(shù)據(jù)。但是,將分類特征轉(zhuǎn)換為數(shù)值特征的過程與之前的方法不同。在響應編碼中,我們最感興趣的是每個類別的目標平均值。例如,以確定房價為例。為了預測各個地區(qū)的房價,我們將對各個地區(qū)進行分組,并找出每個地區(qū)的平均房價。稍后,我們將用每個地區(qū)特定的平均房價替換地區(qū),以表示先前作為分類特征的數(shù)值。因此,我們的模型可以固有地了解社區(qū)在確定房價方面有多大影響。因此,響應編碼在這種情況下非常方便。考慮到預測汽車價格的問題,可能會有 SUV 或轎車等汽車。有時可以通過這兩個特征來確定價格。因此,當使用響應編碼轉(zhuǎn)換此分類特征(汽車類型)時,響應編碼會很有用。我們僅取 SUV 和轎車的平均價格。如果車型為 SUV,我們將其替換為 SUV 車型細分市場的平均價格。如果車型為轎車,我們將其替換為轎車車型細分市場的平均價格。


處理異常值異常值是被視為數(shù)據(jù)異常的數(shù)據(jù)點。但是,還需要注意的是,數(shù)據(jù)中的某些異常值對于模型正確確定結(jié)果非常有用且重要。如果我們發(fā)現(xiàn)數(shù)據(jù)中存在大量異常值,則可能會使模型無法對異常值做出正確的預測,而無法很好地概括實時數(shù)據(jù)。因此,我們必須采取正確的步驟,確保在訓練模型并將其投入生產(chǎn)之前將其移除。有多種方法可以去除數(shù)據(jù)中的異常值。其中一些方法包括找到每個特征的標準差。如果數(shù)據(jù)點高于或低于平均值 3 個標準差,我們可以自動將它們歸類為異常值并將其移除,這樣它們就不會影響機器學習模型的預測。

考慮到一個人是否會拖欠貸款,可能會有關(guān)于此人工資的信息。薪資信息可能并不總是準確的,并且這個特征中可能存在相當多的異常值。使用這些數(shù)據(jù)訓練我們的 ML 模型通常會導致它在測試集或未見過的數(shù)據(jù)上表現(xiàn)不佳。因此,最好的方法是在將數(shù)據(jù)提供給 ML 模型之前從數(shù)據(jù)中刪除異常值。這可以通過了解薪資的標準差來實現(xiàn),并且高于或低于 3 個標準差的值會自動被刪除,以便模型做出可靠的預測。


對數(shù)轉(zhuǎn)換

當我們發(fā)現(xiàn)數(shù)據(jù)中存在嚴重偏差時,可以使用這種技術(shù)。如果存在大量偏差,即數(shù)據(jù)包含大量集中在特定區(qū)域的值,而一些異常值和數(shù)據(jù)點遠離平均值,則我們的模型更有可能無法理解這種復雜的關(guān)系。

因此,我們將使用對數(shù)變換來轉(zhuǎn)換這些數(shù)據(jù)并減少偏差,以便模型對異常值更具魯棒性,并且能夠很好地概括實時數(shù)據(jù)。對數(shù)變換可以是一種方便的特征工程技術(shù),可以分別提高 ML 模型的性能。

與上述預測一個人是否會拖欠貸款的問題類似,我們也可以將對數(shù)變換應用于工資,因為我們看到工資信息中普遍存在很多偏差。大量人(約 80%)獲得基本工資,而一小部分人(約 20%)獲得大量工資。數(shù)據(jù)中存在相當大的偏差,實際上可以通過使用對數(shù)變換來消除。


結(jié)論讀完這篇文章后,我相信您能夠理解對您的機器學習模型很重要的各種特征工程技術(shù)。在正確的時間使用最佳的特征工程技術(shù)確實非常方便,并且可以通過使用人工智能公司生成有價值的預測。

來源:PyTorch研習社

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1792

    文章

    47484

    瀏覽量

    239162
  • 數(shù)據(jù)模型
    +關(guān)注

    關(guān)注

    0

    文章

    49

    瀏覽量

    10043
  • 機器學習
    +關(guān)注

    關(guān)注

    66

    文章

    8428

    瀏覽量

    132831
收藏 人收藏

    評論

    相關(guān)推薦

    ASR和機器學習的關(guān)系

    自動語音識別(ASR)技術(shù)的發(fā)展一直是人工智能領(lǐng)域的一個重要分支,它使得機器能夠理解和處理人類語言。隨著機器學習(ML)技術(shù)的迅猛發(fā)展,AS
    的頭像 發(fā)表于 11-18 15:16 ?361次閱讀

    什么是機器學習?通過機器學習方法能解決哪些問題?

    來源:Master編程樹“機器學習”最初的研究動機是讓計算機系統(tǒng)具有人的學習能力以便實現(xiàn)人工智能。因為沒有學習能力的系統(tǒng)很難被認為是具有智能的。目前被廣泛采用的
    的頭像 發(fā)表于 11-16 01:07 ?460次閱讀
    什么是<b class='flag-5'>機器</b><b class='flag-5'>學習</b>?通過<b class='flag-5'>機器</b><b class='flag-5'>學習</b>方法能解決哪些問題?

    數(shù)據(jù)準備指南:10種基礎特征工程方法的實戰(zhàn)教程

    在數(shù)據(jù)分析和機器學習領(lǐng)域,從原始數(shù)據(jù)中提取有價值的信息是一個關(guān)鍵步驟。這個過程不僅有助于輔助決策,還能預測未來趨勢。為了實現(xiàn)這一目標,特征工程技術(shù)
    的頭像 發(fā)表于 11-01 08:09 ?302次閱讀
    數(shù)據(jù)準備指南:10種基礎<b class='flag-5'>特征</b><b class='flag-5'>工程</b>方法的實戰(zhàn)教程

    特征工程實施步驟

    1.為什么特征工程很重要?對于不同的數(shù)據(jù)科學家,特征工程可能呈現(xiàn)不同的意義。對于一些數(shù)據(jù)科學家,特征工程
    的頭像 發(fā)表于 10-23 08:07 ?321次閱讀
    <b class='flag-5'>特征</b><b class='flag-5'>工程</b>實施步驟

    【「時間序列與機器學習」閱讀體驗】時間序列的信息提取

    個重要環(huán)節(jié),目標是從給定的時間序列數(shù)據(jù)中提取出有用的信息和特征,以支持后續(xù)的分析和預測任務。 特征工程(Feature Engineering)是將數(shù)據(jù)轉(zhuǎn)換為更好地表示潛在問題的
    發(fā)表于 08-17 21:12

    【《時間序列與機器學習》閱讀體驗】+ 時間序列的信息提取

    本人有些機器學習的基礎,理解起來一點也不輕松,加油。 作者首先說明了時間序列的信息提取是時間序列分析的一個重要環(huán)節(jié),目標是從給定的時間序列數(shù)據(jù)中提取出有用的信息和特征,以支持后續(xù)的分析和預測
    發(fā)表于 08-14 18:00

    【「時間序列與機器學習」閱讀體驗】全書概覽與時間序列概述

    數(shù)據(jù)中提取特征并將其轉(zhuǎn)化為交易策略,以及機器學習在其他金融領(lǐng)域(包括資產(chǎn)定價、資產(chǎn)配置、波動率預測)的應用。 全書彩版印刷,內(nèi)容結(jié)構(gòu)嚴整,條理清晰,循序漸進,由淺入深,是很好的時間序列
    發(fā)表于 08-07 23:03

    機器學習中的數(shù)據(jù)預處理與特征工程

    機器學習的整個流程中,數(shù)據(jù)預處理與特征工程是兩個至關(guān)重要的步驟。它們直接決定了模型的輸入質(zhì)量,進而影響模型的訓練效果和泛化能力。本文將從數(shù)據(jù)預處理和
    的頭像 發(fā)表于 07-09 15:57 ?511次閱讀

    機器學習的經(jīng)典算法與應用

    據(jù),每條記錄都有4項特征:花萼長度、花萼寬度、花瓣長度、花瓣寬度,可以通過這4個特征預測鳶尾花卉屬于(iris-setosa,iris-versicolour,ir
    的頭像 發(fā)表于 06-27 08:27 ?1695次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>的經(jīng)典算法與應用

    特征工程與數(shù)據(jù)預處理全解析:基礎技術(shù)和代碼示例

    機器學習和數(shù)據(jù)科學的世界里,數(shù)據(jù)的質(zhì)量是建模成功與否的關(guān)鍵所在。這就是特征工程和數(shù)據(jù)預處理發(fā)揮作用的地方。本文總結(jié)的這些關(guān)鍵步驟可以顯著提
    的頭像 發(fā)表于 06-26 08:28 ?509次閱讀
    <b class='flag-5'>特征</b><b class='flag-5'>工程</b>與數(shù)據(jù)預處理全解析:基礎<b class='flag-5'>技術(shù)</b>和代碼示例

    名單公布!【書籍評測活動NO.35】如何用「時間序列與機器學習」解鎖未來?

    設備的運行狀況,生成各種維度的報告。 同時,通過大數(shù)據(jù)分析和機器學習技術(shù)可以對業(yè)務進行預測和預警,從而協(xié)助社會和企業(yè)進行科學決策、降低成本
    發(fā)表于 06-25 15:00

    通過強化學習策略進行特征選擇

    來源:DeepHubIMBA特征選擇是構(gòu)建機器學習模型過程中的決定性步驟。為模型和我們想要完成的任務選擇好的特征可以提高性能。如果我們處理
    的頭像 發(fā)表于 06-05 08:27 ?384次閱讀
    通過強化<b class='flag-5'>學習</b>策略進行<b class='flag-5'>特征</b>選擇

    凌科喜獲“廣東省工程技術(shù)研究中心”認定

    近日,廣東省科學技術(shù)廳正式公布了“2023年度廣東省工程技術(shù)研究中心認定名單”。憑借在工業(yè)連接器領(lǐng)域卓越的技術(shù)創(chuàng)新與研發(fā)實力,凌科電氣的“高可靠高精密工業(yè)連接器(凌科)工程技術(shù)研究中心
    的頭像 發(fā)表于 05-25 08:13 ?378次閱讀
    凌科喜獲“廣東省<b class='flag-5'>工程技術(shù)</b>研究中心”認定

    喜訊!諾安智能獲“廣東省工程技術(shù)研究中心”認定

    4月7日,廣東省科學技術(shù)廳發(fā)布了《廣東省科學技術(shù)廳關(guān)于擬認定2023年度廣東省工程技術(shù)研究中心名單的公示》,經(jīng)單位申報、主管部門推薦、專家評審等程序,諾安智能申報的“廣東省智能光電氣體傳感工程
    的頭像 發(fā)表于 04-17 15:08 ?523次閱讀
    喜訊!諾安智能獲“廣東省<b class='flag-5'>工程技術(shù)</b>研究中心”認定

    數(shù)據(jù)預處理和特征工程的常用功能

    機器學習最基礎的5個流程,分別是數(shù)據(jù)獲取,數(shù)據(jù)預處理,特征工程,建模、測試和預測,上線與部署。
    的頭像 發(fā)表于 01-25 11:26 ?782次閱讀
    主站蜘蛛池模板: 亚洲精品在线视频| 午夜免费视频| 欧美精品videosex性欧美 | 日韩手机看片| 色女仆影院| 欧美一级片在线免费观看| 欧美性天堂| 精品免费久久久久久成人影院| 中文在线资源链接天堂| 国产免费人成在线视频视频| 国产一级特黄高清免费大片| 成人久久精品| 午夜影视福利| 久久久午夜毛片免费| 国产福利午夜自产拍视频在线| 最近高清免费观看视频| 中文字幕在线一区| 男人j进女人j视频| 亚洲天堂三级| 四虎成人在线视频| 羞羞漫画喷水漫画yy漫画| 久久国内| 91精品久久久久含羞草| 在线观看一二三区| 99热网址| 日本在线观看永久免费网站| 你懂的网址在线| 超级极品白嫩美女在线| 台湾三级毛片| 欧美极品一区| 综合色视频| 色视频一区| 狠狠色噜噜狠狠狠狠狠色综合久久| 人人入人人爱| 韩国三级理论在线看中文字幕| 夜夜穞狠狠穞| a级男女性高爱潮高清试| 欧美亚洲视频一区| 手机在线精品视频| 国产欧美日韩综合精品一区二区| 天天天综合|