260 likes | 465 Views
电子商务行业的架构转型史. 阿里巴巴 - 金融 - 核心业务 资深经理 侯放 fang.houf@alibaba-inc.com 18605886370. 现实的挑战. 用户越来越倾向于互联网 用户的行为越来越挑剔 用户对于服务的要求越来越高. 近十年. 数据容量呈万倍的增长 可靠的服务能力成为重要话题 技术的更新换代光速进行 整体成本逐年几何级增加. 共性. 大数据应用 分布式事务 灾难恢复能力 技术改造与业务发展的冲突. 举个例. 淘宝的双 11 促销 2009 年:十万级 2010 年:百万级 2011 年:千万级 2012 年:亿级.
E N D
电子商务行业的架构转型史 阿里巴巴-金融-核心业务 资深经理 侯放 fang.houf@alibaba-inc.com 18605886370
现实的挑战 • 用户越来越倾向于互联网 • 用户的行为越来越挑剔 • 用户对于服务的要求越来越高
近十年 • 数据容量呈万倍的增长 • 可靠的服务能力成为重要话题 • 技术的更新换代光速进行 • 整体成本逐年几何级增加
共性 • 大数据应用 • 分布式事务 • 灾难恢复能力 • 技术改造与业务发展的冲突
举个例 • 淘宝的双11促销 • 2009年:十万级 • 2010年:百万级 • 2011年:千万级 • 2012年:亿级
烟囱型 • 对业务需求响应快速且实施成本低 • 系统共享数据困难 • 维护成本逐年增加 • 复杂度越来越高
服务化型 • 原子化的服务模式提升了业务的可变性 • 数据的共享共用成为可能 • 整体维护成本得到控制 • IT投入可根据服务需要进行配置
云服务型 • 云服务使得开放、共享、共存、发展成为架构的新挑战 • 接纳与融合更多复杂的场景成为必须 • 场景的复杂要求服务的组合更加简洁 • 可用性的要求进一步提高
架构思路的演进 • 业务模式本身决定架构模式的发展 • 无关乎选择什么样的先进技术,而关于这项技术是否有解决问题的能力 • 识别核心技术问题,从而更有效的促进生产力
关键技术策略 • 异步化 • 大吞吐的高可靠消息 • 事务幂等性和一体化 • 大容量存储 • 虚拟化
异步化 • 异步有助于解决独立性、一致性和稳定性的问题 • 当你只有五六个系统和服务的时候异步的开销巨大,但你的服务数量过万的时候,同步所产生的失败率不是我们可以承受的
消息中间件 • 我们用消息中间件来解决异步的问题 • 对消息进行分级 • 提供高可用的消息处理 • 提供高容量的消息机制(廉价的扩容方式)
消息分级 • 消息双写 • 消息单写 • 异步复制 • Store4j • 积压消息限流
实现的秘密 • 双向的数据体管道 • 统一的消息注册与管理中心 • 消息处理放在本地事务域进行解决跨资源事务问题 • 消息体的时间戳避免幂等性引起的重复问题 • 消息中间状态的有效落地
事务幂等性和一体化 • 拒绝长事务 • 事务中间状态的回查 • 服务接口不仅仅只提供操作,还需要提供查询与回滚
大容量存储 • 复合型的存储结构 • 应用与存储的隔离 • 资源的一体化管理
虚拟化 • 根据利用率来组合应用 • 根据利用率决定应用所需的计算资源 • 让应用与物理资源隔离
虚拟化的新思路 • 提供多用户环境,每个用户一套环境 • libc mod,实现用户之间共用资源的隔离 • Hack sshd以保证运维的透明性 • taskset来隔离CPU资源,隔离磁盘
总结 • 架构和技术的选择不能走极致的道路 • 解决问题的架构才是好架构 • 关注细节、关注标准 • 技术发展的共存、共荣