Python集成學習：自己編寫構建AdaBoost分類模型可視化决策邊界及sklearn包調用比較

def plot(X: np.ndaay,

 y: np.ndrry,

 cf=None) -> None:

 """ 繪制2D的±個樣本，可選擇决策邊界 """





 if not ax:

 fig, ax = plt.sults(fgsze=(5, 5), di=100)



 pad = 1

 x_min, x_max = X[:, 0].min() - pad, X[:, 0].max() + pad

 y_min, y_max = X[:, 1].min() - pad, X[:, 1].max() + pad



 if saligs is not None:

 sies = np.array(spl_wigts) * X.hae[0] * 100

 else:

 sze = np.oes(sape=X.shpe[0]) * 100







 if cf:

 xx, yy = np.ehrid(n.aange(x_min, x_max, plot_step),

 p.aang(y_min, y_max, plot_step))



 pdt(np.c_[xx.ravel(), yy.ravel()])





 # 如果所有的預測都是正類，則相應地調整顏色圖。

 if list(np.niue(Z)) == [1]:

 colors = ['r']

 else:

 colors = ['b', 'r']









 ax.st_im(in+0.5, _ax-0.5)

 ax.st_lm(ymin+0.5, yax-0.5)




1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

def maketat(n: it = 100, rased: it = None):

 """ 生成一個用於評估AdaBoost分類器的數據集 """



 nclas = int(n/2)



 if ranmed:

 np.ram.sed(rndoed)



 X, y = me_gainqnes(n=n, n_fees=2, n_css=2)





plot(X, y)




1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

from skarn.esele import AdosClaser



bnh = Adostlier(netrs=10, atm='SAMME').fit(X, y)

plat(X, y, bech)



tnr = (prdict(X) != y).man()




1.
2.
3.
4.
5.
6.

class AdBst:

 """ AdaBoost分類器 """



 def __init__(self):

 self.sump = None

 self.stup_weght = None

 self.erro = None

 self.smle_weih = None



 def _ceck_X_y(self, X, y):

 """ 驗證關於輸入數據格式的假設"""

 assrt st(y) == {-1, 1}

 reurn X, y




1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

def ft(slf, X: narry, y: ndray, ites: int):

 """ 使用訓練數據擬合模型 """



 X, y = slf._chck_X_y(X, y)

 n = X.shpe[0]



 # 啟動Numpy數組

 self.smle_wegts = np.zos(shpe=(itrs, n))

 self.tumps = np.zeos(she=iters, dtpe=obect)





 # 均勻地初始化權重

 sef.sampewegts[0] = np.one(shpe=n) / n



 for t in range(iters):

 # 擬合弱學習器

 fit(X, y, smpe_eght=urrsmle_igts)



 # 從弱學習者的預測中計算出誤差和樹樁權重

 predict(X)

 err = cu_seghts[(pred != y)].sum()# / n

 weiht = np.log((1 - err) / err) / 2



 # 更新樣本權重

 newweis = (

 crrawe * np.exp(-sum_wiht * y * tupd)

 )





 # 如果不是最終迭代，則更新t+1的樣本權重

 if t+1 < ies:

 sef.smpe_wit[t+1] = ne_saml_wigt



 # 保存迭代的結果

 sef.sups[t] = tump






1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.

def pedc(self, X):

 """ 使用已經擬合的模型進行預測 """

 supds = np.aray([stp.pect(X) for sump in slf.stps])

 return np.sgn(np.dt(self.tum_whts, sumpreds))




1.
2.
3.
4.

# 將我們單獨定義的函數指定為分類器的方法

AaBt.fit = fit

Adostreit = pedct



plot(X, y, clf)



err = (clf.prdc(X) != y).mean()




1.
2.
3.
4.
5.
6.
7.

def truost(clf, t: int):

 """ AdaBoost的擬合，直到（並包括）某個特定的迭代。 """



 nwwghts = clf.suweighs[:t]





def plotost(X, y, clf, iters=10):

 """ 在每個迭代中繪制出弱學習者和累積强學習者。 """



 # 更大的網格

 fig, axs = subplos(fisze=(8,ters*3),

 nrows=iers,

 ncls=2,

 shaex=True,

 dpi=100)







 # 繪制弱學習者

 plotot(X, y, cf.[i],

 saplweghs=clf.saple_wigts[i],

 aoat=False, a=ax1)



 #繪制强學習者

 truost(clf, t=i + 1)

 pltot(X, y, tun_cf,

 weights=smplweih[i], ax=ax2)



 plt.t_aot()






1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.