注意:以下文档只适用于TOP接口,请谨慎使用!

文档中心 > 解决方案中心

TIS产品解决方案

更新时间:2015/09/18 访问次数:17583

1.业务背景

随着电商市场的蓬勃发展,商家的数据越来越大、业务场景越来越复杂,对数据的查询性能以及稳定性要求越来越高,单单靠数据库处理这些复杂查询已经越来越凸显瓶颈。如何解决大数据背景下复杂查询实时统计分析以成为商家所面临的难题,商家自行搭建搜索引擎的成本太高,不利于商家的业务快速发展。因此聚石塔推出了TIS(索引查询服务),为商家提供快捷、稳定、高效的云端索引查询功能。

 

2.业务现状

    为了提升复杂查询对数据库的访问效率,商家只能在用户体验和应用性能上作出取舍,通过的作法有二种:

第一、数据结转:将6个月前的历史数据定期迁出到核心业务库,缓解复杂查询对全表扫描带来的响应耗时,此种方案的缺点是只能查询近期有效时间段内业务数据,无法实现任意多维度的复杂查询。

第二、通过RDS或采购物理机自行搭建数据索引服务集群,需要招募专业的数据搜索工程师进行运维管理,由于业务场景的特殊性,需要多表数据聚合、join等复杂查询,由于RDS自身容量和性能限制,无法实施大数据下的实时统计分析,而商家自行采购的设备搭建数据索引查询服务技术门槛与建设成本较高,绝大部分商家不具备这样的能力,并且存在数据同步延时等问题,在资源投入和成本方面并不划算.

3.解决方案价值

    终端索引查询(Terminator Index Searcher,简称TIS)是一套低成本、高效率的云端数据库查询加速服务。TIS可轻松解决大数据背景下数据库的模糊、聚合、多表合并等慢查询场景。使用TIS可以有效缓解复杂查询对数据库的压力,从而保证企业IT系统整体的稳定性。

使用TIS带来的价值:

    a)降低成本: 将历史数据迁移到聚石塔低成本数据存储服务HDS或ODPS,降低RDS数据存储成本.

    b)加速查询效率: 使用TIS创建索引服务,数据库的模糊、聚合、多表合并等慢查询场景。使用TIS可以有效缓解复杂查询对数据库的压力.

c)数据互通: TIS支持现有聚石塔RDS、HDS、ODPS、DRDS数据源无缝接入,整合多个数据源创建索引服务,提升应用多维度数据分析效率.

 

使用TIS具备的优势:

a)高可靠性:TIS使用无单点的分布式架构,部分节点故障也不影响业务正常运行

b)易扩展性:TIS动态伸缩集群可轻松实现动态垂直扩容和无缝水平扩容

c)性能优越:优良的引擎内核设计保证了TIS在大数据背景下,聚合统计查询方面具有卓越、稳定的性能

d)实时性:TIS技术架构保证业务数据的更新到数据可见延迟在毫秒级

e)简单易用:只需简单的四步——申请TIS服务、创建索引、选择数据源同步,配置schema,即可轻松使用TIS提供搜索服务,后续的维护工作也可通过后台一站式解决。

 

4.成功案例

4.1案例背景描述

 

上海区域某CRM软件服务商的会员筛选功能是一套专业的电商数据统计分析器,通过多维度筛选统计店铺、商品、用户行为,帮助店铺经营者更好的了解用户喜好,为店铺推广、会员营销提供充分的数据依据,该软件日均查询数据量约3.5亿,采用TIS将会员筛选器查询所涉及到的会员、商品、订单,物流等数据打成宽表,并且支持数据实时同步到TIS提供索引查询服务.

4.2架构设计

   

根据该服务商的业务和数据量情况,聚石塔为该服务商应用系统制定的多维度查询方案如下:

 (1) 数据实时同步

TIS支持现有聚石塔云存储服务RDS、DRDS、ODPS、HDS无逢对接,商家只需要将数据授权给TIS,便能实时同步数据到TIS(增量+全量),商家只需申请TIS服务、创建索引、选择数据源同步,配置schema,即可轻松使用TIS提供搜索服务,后续的维护工作也可通过后台一站式解决.

(2) 在线查询应用

商家的在线查询应用分为两种情况,针对单表的在线查询,商家直接将RDS数据同步至TIS并进行在线索引查询;针对多表join查询,商家先将RDS中的数据同步至ODPS(ODPS支持准实时数据同步),TIS根据商家设置的规则将多张数据表的聚合统计结果合并为一张宽表,商家只需要调用接口从TIS中进行索引查询。

 

 

4.3应用效果

数据同步速度提升

切换前:量小的小卖家延迟时间约30分钟左右,而大卖家延迟时间有时候达到3-4小时,客户体验一般。

切换后:基本上订单数据产生后在60秒内就可以筛选出来,客户体验非常好,无差别无延迟支持的筛选维度翻倍,由原来支持60个维度,扩展到120个,能支持更丰富、更复杂的业务场景。

 查询效率提升

 时段内新老会员:

    切换前:只能按季度,年度划分时段内的新老会员筛选,百万级内的会员筛选时间约1.5秒左右。

    TIS:实现任意时段内的新老会员筛选,百万级内的会员筛选时间约 35毫秒左右。

 

时段内购买某商品:

    切换前:技术上实现有难度,只能固定按年、按季度筛选,体验一般。

    TIS:实现精确到天的任意时段内的购买某商品的筛选, 百万级内的会员筛选时间约 30毫秒,为客户实现了更精准的营销,客户体验非常好。

维护成本下降

切换前:

需要为搜索引擎采购了专用服务器32G内存16核cpu 大容量ssd 高速硬盘; 项目组成员自己进行服务器维护,系统发布备份等工作都要自己完成——光在服务器环境上面就需要投入很大精力。.

    单台机器投入3-4万,每年带宽5千,还不包括人员维护成本。

    切换后:

TIS专业的搜索引擎专家团队支持,有淘宝大数据处理的经验,业务上技术上给予很大的支持;TIS强大的云端容灾处理,不用担心宕机、IO过高等棘手问题了,轻易的应对各类场景

在服务器硬件成本上可以节省一大笔开销;采用TIS后运维成本也大幅降低,而且可以根据需要随时购买相应的服务;在项目管理上给公司带来的影响是颠覆性的,搜索项目的实施完全改变了的项目运作方式——简单、直接,能快速解决问题

 

FAQ

关于此文档暂时还没有FAQ
返回
顶部