350 likes | 488 Views
金融智能. 课程简介 案例讨论 金融智能简介. 课程主页内容. Theories/Methods Data Warehouse Data Mining: Association rules, decision trees, clustering, nearest neighbor, neural networks, link analysis, Web mining etc. Applications
E N D
课程简介 • 案例讨论 • 金融智能简介
课程主页内容 • Theories/Methods • Data Warehouse • Data Mining: Association rules, decision trees, clustering, nearest neighbor, neural networks, link analysis, Web mining etc. • Applications • Market basket analysis, customer segmentation, CRM, personalization, Financial analysis etc. • Business Cases • Hands-on Experience • MS SQL • SAS – Enterprise Miner
课程资源 • 课程主页: Http://fife.swufe.edu.cn/ibmfi/
主要参考书籍 Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management, Second Edition Michael Berry and Gordon Linoff, 2004, Wiley, ISBN 0471-470643
主要参考书籍 • SAS EM 案例操作详解,西南财经大学金融智能与金融工程省重点实验室编著
课程安排 • 金融智能概述 • 金融智能技术 • 数据仓库技术 • 数据挖掘技术 • 金融智能应用 • 风险控制 • 市场营销 • 证券市场
主讲教师 • 刘家芬(概论) • 李瑾坤(数据仓库) • 李庆(数据挖掘,证券市场) • 郭黎明(市场营销) • 张英(风险控制)
课程项目安排 • 2~3人组成一组 • 一周内完成 • 寻找你所关心的项目 • 动机 • 数据 • 解决方案 • 两次课堂报告 • 学期中一次开题报告 • 学期末提交最终项目报告,并做课堂发表
评分标准 • 15%课堂参与度 • 50%课程项目 • 开题 5% • 最终报告 30% • 课堂发表 15% • 30%考试 • 5%课堂发表
一个金融智能的案例 • Discussion Questions: • What is BoA trying to achieve? • What are the alternative solutions? Pros and cons of each? • What are the stages of data mining? Describe each. • What are the data mining techniques used, and what are the findings from each technique?
金融智能 • Financial Intelligence is the gathering of information about the financial affairs of entities of interest, to understand their nature and capabilities, and predict their intentions. -Wikipedia • 商务智能在金融领域的应用
国商务智能市场分析 • 从全球范围来看,BI领域并购不断,BI市场已经超过ERP和CRM成为最具增长潜力的领域。 • 从国内来看,BI已经被电信、金融、零售、保险、制造等行业越来越广泛的应用,操作型BI逐步在大企业普及,也就是说BI不仅限于高层管理者的决策之用,也日益成为普通员工日常操作的工具。 • 据ChinaBI调查2009年中国大陆地区的BI市场份额约为26亿元人民币,比2008年增长18%,约占企业管理软件的市场份额的8%。 • 由于金融危机的影响,2009年部分企业的BI投资受到抑制,随着2010年全球经济的逐步复苏,在未来几年内BI市场需求旺盛,市场规模增长迅速。 • http://www.chinabi.net/Article/binews/201003/1479.html
从数据谈起 无所不在的数据
无所不在的数据(1) • 国家(省、市)统计局(http://www.stats.gov.cn)
无所不在的数据(2) • 金融数据( http://www.jrj.com/ )
无所不在的数据(3) • 在超市中,数据通过条码扫描机获得。这样的“购物蓝”数据库由大量的交易记录组成。 • 物联网技术。
无所不在的数据(4) • 中国探月网(http://www.clep.org.cn/)
无所不在的数据(5) • 生物信息学(人类基因组计划)
无所不在的数据(6) • 神经信息学(人类脑计划)
数据(Data) • 数据泛指对客观事物的数量、属性、位置及其相互关系的抽象表示,以适合于用人工或自然的方式进行保存、传递和处理。 • 例如,水的温度是100℃,礼物的重量是500克,木头的长度是2米,大楼的高度时45层。在这些表述中:100℃;500克;2米;45层就是数据。 • 数据的表现形式是多种多样的,除了数字,数据还以图像、声音、文字等形式表现出来。
结构化与非结构化数据 • 结构化——结构化的数据主要是指储存于各个交易系统背后的关系型数据库中的数据,通常都是以表格的形式存在和展现的。传统的商务智能概念只包括这种结构化的、可定量的数据。 • 非结构化的——非结构化的数据和信息主要是上面的提到的各个部门和各个员工创造和收集的、没有放在各种交易系统中的内容,通常是以零散的文件形式存在和展现的;新的商务智能概念纳入了非结构化内容的分析,但是非机构化的内容的管理仍然主要是通过文件管理和内容管理软件来进行的。 • 结构化数据通过关键字匹配进行数据检索,那么非结构化数据如何进行呢?
数据的来源 • 首先来源于各类信息系统 • ERP(Enterprise Resource Planning ) • SCM(Supply Chain Management) • CRM (Customer Relationship Management) • OA (Office Automation) • DSS (decision support system ) • MIS (Management Information System) • 有一部分在人手里 • 第三方数据提供
信息(Information) • 信息是指有一定含义的、经过加工处理的、对决策有价值的数据。 • 信息=数据+处理 • 信息是有意义的数据,是被赋予相关性和目的性的数据。例如,人口的分布情况、降雨量分布情况等。 • 可以用专门的信息管理系统对各类信息进行管理。信息管理系统的最基本功能就是数据收集和数据处理。
知识(Knowledge) • 知识是信息基础上的又一次升华,是浓缩的系统化了的信息。需要通过信息,使用归纳、演绎的方法得到。知识只有在经过广泛深入地实践检验,被人消化吸收,并成为了个人的信念和判断取向之后才能成为知识。 • 知识=信息+理解(understanding)与推理(reasoning)+解决问题的技能(skill) • 商务智能实际上是通过分析获得隐含在数据信息中的知识,并在商务决策中加以利用。
信息(Information)知识(Knowledge)与智慧(Wisdom)信息(Information)知识(Knowledge)与智慧(Wisdom)
示例 • 数据:上季度产品A在华东地区销售额为120万。 • 信息:上季度产品A华东地区销售额比去年同期减少了25 %。 • 知识:如分析原因是华东地区销售单位不行,或产品A进入了衰退期,还是公司整体营销活动落后,竞争者强力促销导致?或是其它原因。针对这一问题公司应对的策略是什么? • 智慧:应对的行动方案可能有多种,但(战略)选择哪个靠智慧。行动则又会产生新的交易数据。
智能技术应用领域 • Necessity is the mother of invention. • --------------Plato • 科学领域 • 生物医学数据 & DNA数据分析 • 空间数据分析 (GIS, GPS, 遥感系统) • 商业领域 • 经济 & 金融数据分析 • 零售业数据分析 • 电信业数据分析 • WWW数据分析
海量数据挑战 • 美国零售商沃尔玛每天大约2千万笔的交易,一年的客户交易数据库容量超过11TB • AT&T公司,1亿电话用户,每天3亿次的呼叫特征数据 • 美国宇航局NASA的地球观测系统每小时生成几个GB的原始数据 • 人类基因工程中超过3.3×109个核苷酸的数据库
技术驱动 • 更大,更便宜的数据存储器 -- 磁盘密度以Moore’s law增长 “每18个月增长一倍” -- 存储器价格飞快下降 • 更快,更便宜的信息处理器 -- 分析更多的数据 -- 适应更多复杂的模型 -- 引起更多查询技术 -- 激起更强的可视化技术 • 数据处理与分析技术 -- 数据库与数据仓库 -- 人工智能 -- 机器学习
多学科交叉 • 金融智能技术是多种学科的交叉的产物。它是商业(企业)竞争需求和技术发展推动的结果。 经济学 管理学 统计学 数据分析 数学 智能数据分析 金融智能 机器学习 数据挖掘 计算机科学 人工智能 数据库 数据仓库