1 / 24

利用遗传算法提取符号值分类规则研究

利用遗传算法提取符号值分类规则研究. 冯利美 fenglimei1981@126.com. 主要内容. 课题的意义 研究现状 在该课题已做的工作 发现的问题 下一步的工作内容 参考文献. 课题的意义. 符号学习 从符号 型 数据集中抽取归纳出 分类 规则。 符号 型 数据集 特征 离散 、 无序 、 无运算关系 、 有限 符号学习的方法有广泛的适用性，对符号学习问题的研究有重要意义。. 研究现状. Pittsburgh 方法 一条染色体表示一个规则集 GABIL (DeJong & Spears, 1991)

cambria-jovan
Download Presentation

利用遗传算法提取符号值分类规则研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 利用遗传算法提取符号值分类规则研究 冯利美 fenglimei1981@126.com

  2. 主要内容 • 课题的意义 • 研究现状 • 在该课题已做的工作 • 发现的问题 • 下一步的工作内容 • 参考文献

  3. 课题的意义 • 符号学习 从符号型数据集中抽取归纳出分类规则。 • 符号型数据集特征 离散、无序、无运算关系、有限 • 符号学习的方法有广泛的适用性，对符号学习问题的研究有重要意义。

  4. 研究现状 • Pittsburgh方法 一条染色体表示一个规则集 GABIL (DeJong & Spears, 1991) GAssist (Jaume Bacardit , 2004-2006) • Michigan方法 一条染色体表示一个规则 XCS (Wilson, 1995,2002).

  5. 提出一种新的种群初始化方法 引入了适应值尺度变换 改进了Hierarchical selection算子 提出一种新的GA迭代终止标准 已做的工作

  6. 发现的问题 比如：属性A：1111100001，则A有10个取值和3个simulated intervals

  7. 论文中的表述 11111000011010101011 属性中1的个数越多，则泛化能力越好。 问题

  8. 两种编码的泛化能力应该相同，但公式认为第1种好，矛盾。两种编码的泛化能力应该相同，但公式认为第1种好，矛盾。 解决方法 • 尊重理论，0的个数代替模拟区间数

  9. 进一步改进 • 一条染色体被看做一个决策列表，规则集有序 • 评价规则集的性能时考虑到单条规则的性能

  10. 评价一条规则 • IF A then C • TP=满足A和C的样例数 • FP=满足A但不满足C的样例数 • FN=不满足A但满足C的样例数 • TN= A和C都不满足的样例数

  11. 定义 • 置信度(确定度) • 支持度(强度) • 完整度(覆盖度) 表示结论包含与条件的正确程度，此数越大，表明该规则越完备

  12. (1) （2） 其中 评价规则的方法 L是类别数，U是样例集，R是规则集，Sc(r, u)是规则r是否正确预测样例u, 是取1，反之取0。Cb(r)可以减少规则之间的重叠。

  13. (1) （2） 其中 评价规则的方法 • 置信度，支持度和完整度 • 置信度，支持度和完整度 L是类别数，U是样例集，R是规则集，Sc(r, u)是规则r是否正确预测样例u, 是取1，反之取0。Cb(r)可以减少规则之间的重叠。

  14. （3） (4) 改成：？ (5)

  15. 已经进行的工作 • 公式(5) • a，b取值为1 • 公式(4)中a取0.5 • 分别代入公式(1-4) • 实验结果 • 在0的个数的公式基础上的改进无效。 • 相比而言，公式(1)比较好。

  16. 实验结果分析 (5) Heart库：148个样例，分成了两份，83代时， 染色体含7条规则，训练精度为98.65%

  17. (5) • 对公式(5)的分析 • W比较小 • TL，EL比较大 导致了加入F(r)项后，对MDL的影响不大。

  18. ？ MDL 遇到的困难 • F(r)怎么和原MDL公式怎么结合 • F(r)的形式 (5)

  19. (6) (7) …… 下一步的工作 • 改进适应度函数 • 系数 • 推荐取值 • 变化规律 • 理论解释

  20. References • DeJong K.A., Spears, W.M. Learning concept classifi-cation rules using genetic algorithms. In Proceedingsof the International Joint Conference on Artificial Intelligence pp. 651–656. 1991. • Kenneth A.DeJong, William M.Spears, and Diana F.Gordon. Using genetic algorithms for concept learning. Machine Learning, vol. 13, no. 2/3, pp. 161-188, 1993. • Jaume Bacardit. Pittsburgh Genetics-Based Machine Learning in the Data Mining era: Representations, generalization, and run-time. Doctoral disertation, Ramon Llull University, Barcelona, Catalonia, Spain.2004.

  21. J. Bacardit and N. Krasnogor, Smart crossover operator with multiple parents for a pittsburgh learning classifier system. Proceedings of the 8th Annual Conference on Genetic and Evolutionary Computation, pp. 1441-1448, ACM Press, 2006. • Jaume Bacardit. and N. Krasnogor, Empirical evaluation of ensemble techniques for a pittsburgh learning classifier system. Ninth International Workshop on Learning Classifier Systems,IWLCS2006, Lecture Notes in Artificial Intelligenge (to appear), Springer ,2006.

  22. Wilson, S. W. Classifier fitness based on accuracy. Evolutionary Computation, 3(2),149–175.1995. • Wilson, S. W. Get real! XCS with continuous-valued inputs. In Booker, L., Forrest,S., Mitchell, M., & Riolo, R. L. (Eds.), Festschrift in Honor of John H. Holland pp. 111–121.Center for the Study of Complex Systems. 1999. • Wilson, S. W. Compact rulesets from xcsi. In Revised Papers from the 4th InternationalWorkshop on Advances in Learning Classifier Systems pp. 197–210. Springer-Verlag. 2002.

  23. Alex A. Freitas.A survey of evolutionary algorithms for data mining and knowledge discovery. In: A. Ghosh and S. Tsutsui. (Eds.) Advances in Evolutionary Computation, pp. 819-845. Springer-Verlag, 2002. • Yuan Y and Zhuang H. A genetic algorithm for generating fuzzy classification rules[J]．Fuzzy Sets and systems．1996． • E. Noda, A.A.Freitas. Discovering interesting prediction rules with a genetic algorithm, Proc. Conf. on Evolutionary Computation (CEC-99), Washington, D.C. pp.1322-1329. 1999.

  24. 谢谢！

More Related