Gépi tanulás a gyakorlatban

A korábban megismert döntési fa osztályozó kis elemszámú, elsősorban diszkrét jellemzőtér esetén igazán jó gépi tanulási megközelítés. Nem célszerű alkalmazni például a szöveges dokumentumosztályozási feladat esetén, ahol a jellemzőtér (szótár mérete) sok tízezer vagy akár több százezer (ha n-grammokat is használunk) méretű is lehet, és csak folytonos jellemzőket tartalmaz. Az ilyen helyzetekben olyan modellt szeretnénk, ahol minden jellemző, valamilyen mértékben, hozzá tud járulni az osztályozási döntés meghozatalához, hiszen például egy dokumentum témájának beazonosításában minden egy szónak lehet szerepe.
Pontosan ezt biztosítják az ún. lineáris gépek. Egy lineáris gép a döntését az egyedet leíró jellemzők értékeinek és a minden jellemzőhöz rendelt súlyok lineáris kombinációja alapján számolja ki. Legyen $d$ jellemzőnk. a vizsgált egyed $i$. folytonos jellemzőjének értékét jelölje $x_i$. Bináris osztályozás esetén a lineáris gép modellje minden jellemzőhöz rendel egy $w_i$ súlyt és van egy konstanst $w_0$ eltolás értéke. Predikciós időben kiszámolja a jellemzővektor és a modell súlyvektorának lineáris kombinációját ($g()$-t diszkriminancia függvénynek hívjuk): $$g(\overrightarrow{x})=\sum _{i=1}^d{w}_i{x}_i+w_0$$

Ha $g(\overrightarrow{x})>0$ akkor az első osztályt, egyénként a második osztályt fogja predikálni a lineáris gép.

Vegyük észre, hogy a lineáris gépek "megversenyeztetik" az egyes osztályokat, igazából a céljuk, hogy jól el tudják különíteni az egyes osztályokat egymástól (az ilyen típusú gépi tanuló módszereket diszkriminatívnak hívjuk). Ez ellentétes a döntési fák céljaival, ahol a logikai kifejezésekkel megpróbáljuk az egyes osztályokat leírni/modellezni (az ilyen típusú gépi tanuló módszereket generatívnak hívjuk).

Lineáris gépek a gyakorlatban

Számtalan lineáris gép létezik, a leggyakrabban használtak a sztochasztikus gradiens perceptron (stochastic gradient descend (SGD) classifier), Support Vector Machines (SVM), Naive Bayes, Logisztikus Regresszió osztályozó (Logistic Regression) vagy más néven Maximum Entrópia (MaxEnt) osztályozó. Ezeknél a modell mindig ugyanaz (lineáris gép), de abban teljesen különböznek, hogy hogyan tanulják meg a modellt - azaz, hogyan állítjákbe a súlyvektorokat - egy tanító adatbázis alapján. Annyit érdemes még megjegyeznünk, hogy a Naive Bayes és Logisztikus Regresszió diszkrét jellemzőkészleten, míg az SGD és SVM módszerek folytonos jellemzőkészletre lettek tervezve, ezért ott érdemes őket használni.

Lineáris gépek előnyei:

Lineáris gépek hátrányai:

• A gépi tanult modell nem értlemezhető (interpretálható). Esetleg a legfontosabb jellemzők kilistázhatóak, de az nagyon kis részét magyarázza a döntésnek.
• Abból a feltevésből indul ki, hogy a folytonos jellemzők lineáris viszonyban vannak egymással és a célváltozóval, a nem-lineáris összefüggéseket nem képes modellezni (kivéve az SVM).