在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

機器學習的回歸分析和回歸方法

汽車玩家 ? 來源:智能算法 ? 作者:智能算法 ? 2020-01-19 17:22 ? 次閱讀

根據受歡迎程度,線性回歸和邏輯回歸經常是我們做預測模型時,且第一個學習的算法。但是如果認為回歸就兩個算法,就大錯特錯了。事實上我們有許多類型的回歸方法可以去建模。每一個算法都有其重要性和特殊性。

內容

1.什么是回歸分析?

2.我們為什么要使用回歸分析?

3.回歸有哪些類型 ?

4.線性回歸

5.邏輯回歸

6.多項式回歸

7.逐步回歸

8.嶺回歸

9.Lasso回歸

10.ElasticNet回歸

什么是回歸分析?

回歸分析是研究自變量和因變量之間關系的一種預測模型技術。這些技術應用于預測,時間序列模型和找到變量之間關系。例如可以通過回歸去研究超速與交通事故發生次數的關系。

我們為什么要用回歸分析?

這里有一些使用回歸分析的好處:它指示出自變量與因變量之間的顯著關系;它指示出多個自變量對因變量的影響。回歸分析允許我們比較不同尺度的變量,例如:價格改變的影響和宣傳活動的次數。這些好處可以幫助市場研究者/數據分析師去除和評價用于建立預測模型里面的變量。

回歸有哪些類型?

我們有很多種回歸方法用預測。這些技術可通過三種方法分類:自變量的個數、因變量的類型和回歸線的形狀。

1.線性回歸

線性回歸可謂是世界上最知名的建模方法之一,也是應該是我們第一個接觸的模型。在模型中,因變量是連續型的,自變量可以使連續型或離散型的,回歸線是線性的。

線性回歸用最適直線(回歸線)去建立因變量Y和一個或多個自變量X之間的關系。可以用公式來表示:

Y=a+b*X+e

a為截距,b為回歸線的斜率,e是誤差項。

簡單線性回歸與多元線性回歸的差別在于:多元線性回歸有多個(》1)自變量,而簡單線性回歸只有一個自變量。到現在我們的問題就是:如何找到那條回歸線?

我們可以通過最小二乘法把這個問題解決。其實最小二乘法就是線性回歸模型的損失函數,只要把損失函數做到最小時得出的參數,才是我們最需要的參數。

我們一般用決定系數(R方)去評價模型的表現。

重點:

1.自變量與因變量之間必須要有線性關系。

2.多重共線性、自相關和異方差對多元線性回歸的影響很大。

3.線性回歸對異常值非常敏感,其能嚴重影響回歸線,最終影響預測值。

4.在多元的自變量中,我們可以通過前進法,后退法和逐步法去選擇最顯著的自變量。

2. 邏輯回歸

邏輯回歸是用來找到事件成功或事件失敗的概率。當我們的因變量是二分類(0/1,True/False,Yes/No)時我們應該使用邏輯回歸。

重點:

1.在分類問題中使用的非常多。

2.邏輯回歸因其應用非線性log轉換方法,使得其不需要自變量與因變量之間有線性關系。

3.為防止過擬合和低擬合,我們應該確保每個變量是顯著的。應該使用逐步回歸方法去估計邏輯回歸。

4.邏輯回歸需要大樣本量,因為最大似然估計在低樣本量的情況下表現不好。

5.要求沒有共線性。

6.如果因變量是序數型的,則稱為序數型邏輯回歸。

7.如果因變量有多個,則稱為多項邏輯回歸。

3. 多項式回歸

如果一個回歸,它的自變量指數超過1,則稱為多項式回歸。可以用公式表示:

y = a + b * x^2

在這個回歸技術中,最適的線不是一條直線,而是一條曲線。

重點:

① 很多情況下,我們為了降低誤差,經常會抵制不了使用多項式回歸的誘惑,但事實是,我們經常會造成過擬合。所以要經常的把數據可視化,觀察數據與模型的擬合程度。

② 特別是要看曲線的結尾部分,看它的形狀和趨勢是否有意義。高的多項式往往會產生特別古怪的預測值。

4. 逐步回歸

當我們要處理多個自變量時,我們就需要這個回歸方法。在這個方法中選擇變量都是通過自動過程實現的,不需要人的干預。

這個工程是通過觀察統計值,比如判定系數,t值和最小信息準則等去篩選變量。逐步回歸變量一般是基于特定的標準加入或移除變量來擬合回歸模型。

一些常用的逐步回歸方法如下:

1. 標準逐步回歸做兩件事情。只要是需要每一步它都會添加或移除一些變量。

2. 前進法是開始于最顯著的變量然后在模型中逐漸增加次顯著變量。

3. 后退法是開始于所有變量,然后逐漸移除一些不顯著變量。

4. 這個模型技術的目的是為了用最少的變量去最大化模型的預測能力。它也是一種降維技術。

5. 嶺回歸

當碰到數據有多重共線性時,我們就會用到嶺回歸。所謂多重共線性,簡單的說就是自變量之間有高度相關關系。在多重共線性中,即使是最小二乘法是無偏的,它們的方差也會很大。通過在回歸中加入一些偏差,嶺回歸酒會減少標準誤差。

‘嶺回歸是一種專用于共線性數據分析的有偏估計回歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法,對病態數據的擬合要強于最小二乘法。’ ---百度百科

嶺回歸是通過嶺參數λ去解決多重共線性的問題。看下面的公式:

機器學習的回歸分析和回歸方法

其中loss為損失函數,penalty為懲罰項。

重點:

1.嶺回歸的假設與最小二乘法回歸的假設相同除了假設正態性。

2.它把系數的值收縮了,但是不會為0.

3.正則化方法是使用了l2正則。

6. LASSO回歸

和嶺回歸類似,Lasso(least Absolute Shrinkage and Selection Operator)也是通過懲罰其回歸系數的絕對值。看下面的公式:

機器學習的回歸分析和回歸方法

Lasso回歸和嶺回歸不同的是,Lasso回歸在懲罰方程中用的是絕對值,而不是平方。這就使得懲罰后的值可能會變成0.

重點:

1.其假設與最小二乘回歸相同除了正態性。

2.其能把系數收縮到0,使得其能幫助特征選擇。

3.這個正則化方法為l1正則化。

4.如果一組變量是高度相關的,lasso會選擇其中的一個,然后把其他都變為0.

7. ElasticNet回歸

ElasticNet回歸是Lasso回歸和嶺回歸的組合。它會事先訓練L1和L2作為懲罰項。當許多變量是相關的時候,Elastic-net是有用的。Lasso一般會隨機選擇其中一個,而Elastic-net則會選在兩個。

機器學習的回歸分析和回歸方法

與Lasso和嶺回歸的利弊比較,一個實用的優點就是Elastic-Net會繼承一些嶺回歸的穩定性。

重點:

1.在選擇變量的數量上沒有限制

2.雙重收縮對其有影響

3.除了這7個常用的回歸技術,你也可以看看貝葉斯回歸、生態學回歸和魯棒回歸。

如何選擇回歸模型?

面對如此多的回歸模型,最重要的是根據自變量因變量的類型、數據的維數和其他數據的重要特征去選擇最合適的方法。以下是我們選擇正確回歸模型時要主要考慮的因素:

1.數據探索是建立預測模型不可或缺的部分。它應該是在選擇正確模型之前要做的。

2.為了比較不同模型的擬合程度,我們可以分析不同的度量,比如統計顯著性參數、R方、調整R方、最小信息標準、BIC和誤差準則。另一個是Mallow‘s Cp準則。

3.交叉驗證是驗證預測模型最好的方法。你把你的數據集分成兩組:一組用于訓練,一組用于驗證。

4.如果你的數據集有許多讓你困惑的變量,你就不應該用自動模型選擇方法,因為你不想把這些變量放在模型當中。

5.不強大的模型往往容易建立,而強大的模型很難建立。

6.回歸正則方法在高維度和多重共線性的情況下表現的很好。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器學習
    +關注

    關注

    66

    文章

    8428

    瀏覽量

    132845
收藏 人收藏

    評論

    相關推薦

    基于移動自回歸的時序擴散預測模型

    在人工智能領域,目前有很多工作采用自回歸方法來模擬或是替代擴散模型,其中視覺自回歸建模(Visual AutoRegressive modeling,簡稱 VAR)就是其中的典型代表,該工作利用自
    的頭像 發表于 01-03 14:05 ?148次閱讀
    基于移動自<b class='flag-5'>回歸</b>的時序擴散預測模型

    傳統機器學習方法和應用指導

    用于開發生物學數據的機器學習方法。盡管深度學習(一般指神經網絡算法)是一個強大的工具,目前也非常流行,但它的應用領域仍然有限。與深度學習相比,傳統
    的頭像 發表于 12-30 09:16 ?301次閱讀
    傳統<b class='flag-5'>機器</b><b class='flag-5'>學習方法</b>和應用指導

    垂直型回歸反射光電開關的原理有哪些E3S-AR61

    垂直型回歸反射光電開關的原理是基于光線的反射和光電傳感器的檢測機制。通過利用這一原理,它可以實現對物體的非接觸式檢測和控制,為工業自動化和機器人技術等領域提供了重要的技術支持。
    的頭像 發表于 12-16 10:23 ?184次閱讀

    基于RK3568國產處理器教學實驗箱操作案例分享:一元線性回歸實驗

    一、實驗目的 本節視頻的目的是了解一元線性回歸定義、了解一元線性回歸簡單數學推導、通過一元線性回歸預測模型,掌握預測模型的建立和應用方法,了解線性
    發表于 12-05 14:14

    Minitab常用功能介紹 如何在 Minitab 中進行回歸分析

    : Minitab常用功能介紹 數據分析功能 :從基本的描述性統計到復雜的多元回歸分析,Minitab都能輕松應對。具體包括: 基本統計 :提供均值、標準差、方差等基本統計量的計算。 回歸
    的頭像 發表于 12-02 15:38 ?901次閱讀

    什么是機器學習?通過機器學習方法能解決哪些問題?

    計算機系統自身的性能”。事實上,由于“經驗”在計算機系統中主要以數據的形式存在,因此機器學習需要設法對數據進行分析學習,這就使得它逐漸成為智能數據
    的頭像 發表于 11-16 01:07 ?462次閱讀
    什么是<b class='flag-5'>機器</b><b class='flag-5'>學習</b>?通過<b class='flag-5'>機器</b><b class='flag-5'>學習方法</b>能解決哪些問題?

    什么是回歸測試_回歸測試的測試策略

    ? 1、什么是回歸測試 回歸測試(Regression testing) 指在發生修改之后重新測試先前的測試以保證修改的正確性。理論上,軟件產生新版本,都需要進行回歸測試,驗證以前發現和修復的錯誤
    的頭像 發表于 11-14 16:44 ?324次閱讀

    【「時間序列與機器學習」閱讀體驗】時間序列的信息提取

    方法為該時間序列填充缺失值。 時間序列的縮放是指對原有的時間序列數據進行數據范圍的調整,以便更好地完成后續的數據分析機器學習任務。該節有講到時間序列的最小最大縮放、時間序列的最大絕對
    發表于 08-17 21:12

    【「時間序列與機器學習」閱讀體驗】全書概覽與時間序列概述

    時間序列中的自相關性。 時間序列有基于線性場景,也有一些非線性性質周期性和不對稱性、波動的聚集性、波動中出現的跳躍現象,以及時間的不可逆性。機器學習已經是目前非線性時序分析的主攻方向之一。 時間序列
    發表于 08-07 23:03

    不同類型神經網絡在回歸任務中的應用

    神經網絡是一種強大的機器學習模型,可以用于各種任務,包括回歸。在本文中,我們將討論不同類型的神經網絡,以及它們在回歸任務中的應用。 基本的神經網絡 基本的神經網絡,也稱為多層感知器(M
    的頭像 發表于 07-11 10:27 ?1393次閱讀

    機器學習中的數據分割方法

    機器學習中,數據分割是一項至關重要的任務,它直接影響到模型的訓練效果、泛化能力以及最終的性能評估。本文將從多個方面詳細探討機器學習中數據分割的方法
    的頭像 發表于 07-10 16:10 ?2026次閱讀

    機器學習算法原理詳解

    機器學習作為人工智能的一個重要分支,其目標是通過讓計算機自動從數據中學習并改進其性能,而無需進行明確的編程。本文將深入解讀幾種常見的機器學習
    的頭像 發表于 07-02 11:25 ?1221次閱讀

    機器學習在數據分析中的應用

    隨著大數據時代的到來,數據量的爆炸性增長對數據分析提出了更高的要求。機器學習作為一種強大的工具,通過訓練模型從數據中學習規律,為企業和組織提供了更高效、更準確的數據
    的頭像 發表于 07-02 11:22 ?706次閱讀

    名單公布!【書籍評測活動NO.35】如何用「時間序列與機器學習」解鎖未來?

    捕捉復雜非線性模式的場景中顯得力不從心。 將時間序列的分析與預測用于大規模的數據生產一直存在諸多困難。 在這種背景下,結合機器學習,特別是深度學習技術的時間序列
    發表于 06-25 15:00

    深入探討線性回歸與柏松回歸

    或許我們所有人都會學習的第一個機器學習算法就是線性回歸算法,它無疑是最基本且被廣泛使用的技術之一——尤其是在預測分析方面。
    的頭像 發表于 03-18 14:06 ?718次閱讀
    深入探討線性<b class='flag-5'>回歸</b>與柏松<b class='flag-5'>回歸</b>
    主站蜘蛛池模板: 久久精品在| 久久99热国产这有精品| 日日草天天干| 日韩伊人网| 狠狠干.com| 欧洲另类一二三四区| 中文字幕佐山爱一区二区免费| 欧美h网| 亚洲区中文字幕| 999影院成 人在线影院| 亚欧美色| 三级理论手机在线观看视频| 欧美18同性gay视频| 国产乱码精品一区二区三区四川人 | 91在线免费观看网站| 男女性生动态免费视频| 香港三级在线视频| 欧美高清milf在线播放| 国产精品青草久久久久福利99| 国产精品福利久久2020 | 午夜观看| 国产三级日本三级日产三级66| 欧美极品第1页专区| 激情婷婷色| 色婷婷电影| 好男人社区在线观看www| 亚洲qingse中文字幕久久 | 高清国产下药迷倒美女| 手机看片1024欧美| 欧美激情啪啪| 亚洲一级毛片免观看| 欧美性xxxxbbbb| 爱爱网站免费| 国产伦精品一区二区免费| 亚洲欧美日本视频| 婷婷月| 国产你懂的在线观看| 可以免费看黄的网站| 情趣店上班h系列小说| 骚五月| 在线午夜视频|