ridm@nrct.go.th   ระบบคลังข้อมูลงานวิจัยไทย   รายการโปรดที่คุณเลือกไว้


หน่วยงาน สำนักงานกองทุนสนับสนุนการวิจัย


ชื่อเรื่อง : อัลกอริทึมเรียนรู้สำหรับสร้างตัวจำแนกประเภทมีความถูกต้องสูง
นักวิจัย : บุญเสริม กิจศิริกุล
คำค้น : Bias-Variance , Ensemble , Kernels , Learning Algorithm , Radial Basis Functions , Support Vector Machines , Support Vector Regression
หน่วยงาน : สำนักงานกองทุนสนับสนุนการวิจัย
ผู้ร่วมงาน : -
ปีพิมพ์ : 2554
อ้างอิง : http://elibrary.trf.or.th/project_content.asp?PJID=RSA4980003 , http://research.trf.or.th/node/5387
ที่มา : -
ความเชี่ยวชาญ : -
ความสัมพันธ์ : -
ขอบเขตของเนื้อหา : -
บทคัดย่อ/คำอธิบาย :

The objectives of this research are to develop new kernel functions that are flexible enough to adjust themselves to the task under consideration, and to develop ensemble techniques that are able to reduce both bias and variance. First, we propose to develop new kernel functions for Support Vector Machines (SVMs). SVMs are learning algorithms based on the idea of empirical risk minimization principle. They have been widely used in many applications such as pattern recognition and function approximation. Basically, SVM operates a linear separation in an augmented space by means of some defined kernels. These kernels map the input vectors into a very high dimensional space where linear separation is more likely. Then, a linear separating hyperplane is found by maximizing the margin between two classes in this space. Hence, the complexity of the separating hyperplane depends on the nature and the properties of the used kernel. There are many types of kernel functions such as linear kernel, polynomial kernel, sigmoid kernel, and RBF kernel. Each kernel function is suitable for some tasks, and it must be chosen for the tasks under consideration by hand or using prior knowledge. The RBF kernel is a most successful kernel in many problems, but still has the restrictions in some complex problems. Therefore, we propose to improve the efficiency of classification by using the combination of RBF kernels at different scales. These kernels are combined by including weights. The weights, the widths of the RBF kernels, and regularization parameter of SVM are called hyperparameters. We propose to use the evolutionary strategy for determining the appropriate values of these hyperparameters. The experimental results show that the proposed multi-scale RBF kernels yield the better results than single RBF kernels. When SVM uses the multi-scale RBF kernel, it is able to learn from data very well. We also extend our method to deal with the problem of function approximation (regression). When SVM is applied to the regression problem, it is called Support Vector Regression (SVR). Similar to SVM, we propose to improve the efficiency of the regression by using the combination of RBF kernels at different scales, and employ an evolutionary strategy for determining the appropriate values of the hyperparameters. The experimental results show the ability of the proposed method on symmetric mean absolute percentage error (SMAPE). SVR with the multi-RBF kernel yields the lowest average SMAPE on testing. Ensemble is another technique for constructing highly accurate classifiers. We propose to use multi-level ensemble which combines Adaboost and Bagging. As Bagging can efficiently reduce the variance of it base learners, the key success of Bagging is the low-bias property of Its base learners, no matter how much variance its base learners will have. On the other hand, in many studies, AdaBoost appears to be a very low bias learner; it fits training examples very well. Therefore, it is promising to combine AdaBoost and Bagging by constructing a multi-level ensemble. The proposed ensemble employs AdaBoost as base learners of Bagging. The reason of this combination is that AdaBoost can provide low bias but may introduce high variance that in turn can be reduced by Bagging. We also propose an analysis tool for visualizing the effects of an ensemble to its base learners. The proposed analysis tool investigates practical behaviors of an ensemble learner. The tool does not calculate the bias-variance of a learner, but instead the tool analyzes the effects of an ensemble method to its base learners in the instance level. By this approach we are able to see the change of mean errors of each instance between “before” and “after” applying the ensemble method, and thus we can properly evaluate the performance of the ensemble.

บรรณานุกรม :
บุญเสริม กิจศิริกุล . (2554). อัลกอริทึมเรียนรู้สำหรับสร้างตัวจำแนกประเภทมีความถูกต้องสูง.
    กรุงเทพมหานคร : สำนักงานกองทุนสนับสนุนการวิจัย.
บุญเสริม กิจศิริกุล . 2554. "อัลกอริทึมเรียนรู้สำหรับสร้างตัวจำแนกประเภทมีความถูกต้องสูง".
    กรุงเทพมหานคร : สำนักงานกองทุนสนับสนุนการวิจัย.
บุญเสริม กิจศิริกุล . "อัลกอริทึมเรียนรู้สำหรับสร้างตัวจำแนกประเภทมีความถูกต้องสูง."
    กรุงเทพมหานคร : สำนักงานกองทุนสนับสนุนการวิจัย, 2554. Print.
บุญเสริม กิจศิริกุล . อัลกอริทึมเรียนรู้สำหรับสร้างตัวจำแนกประเภทมีความถูกต้องสูง. กรุงเทพมหานคร : สำนักงานกองทุนสนับสนุนการวิจัย; 2554.