大数据追踪术 让运维故障根源点无处遁形

华青融天基于大数据架构的EZSonar性能交易分析平台，满足银行对于应用系统智能监控中的业务维度转换和监控短板，通过各类报文数据维度，实现业务思路转换，在定位故障的同时，快速实现对业务交易的问题影响和追踪。
还满足银行行业对于数据监管需求，通过统一的大数据平台提供可视化工具，实现业务人员零技术基础跟踪交易数据，达到零风险可管控的目标，大大降低了监控软件自身对业务软件规格改造的需求，使得数据分析整理追踪类工作更简单高效。
一：方案介绍
随着信息技术发展，信息系统监控已经成为保证银行业务有效性与连贯性的关键。
在建立生产系统的故障发现与IT运维预警机制的同时，制定系统故障预测与预防方案，提高对系统故障的及时发现及预测管控，降低人力成本的投入等，对保证信息系统稳定运行和业务持续发展具有重大意义。
二：方案创新点
EZSonar应用性能监控系统，是华青融天研发的基于大数据技术的应用性能管理和网络性能解决方案的产品软件，目标是：深入业务系统运行和网络状态的黑箱，成为运维管理员的声纳，让故障根源点无处遁形。
通过对系统网络流量数据的分析，实现对业务过程的端到端监控，帮助运维团队建设性能监控平台。通过交易成功率、响应时间、交易量、业务流量等核心指标，结合灵活的多维分析指标，对业务过程进行全面监控，实现故障迅速定位，有效降低故障恢复时间，提高终端用户体验。
创新点一：旁路数据采集技术，数据分析更安全
使用物理交换机流量镜像的方法，将部署在银行AB两个应用之间的传输报文复制出来，再通过解码手段对报文进行解析和格式化，从而达到数据传输监听的目标。该种方法无需在生产环境软件中做任何变更，即可实现通讯分析目标。
创新点二：报文含义映射关联技术，业务关联分析更简单
在银行业务内部流传的过程中，往往要经过十几个应用集群之间的访问，集群与集群之间往往采用不同的字段含义进行传输，比如在A-B之间传输的字段是1’,在B-C之间传输的字段是2’看似1’与2’之间没有任何联系，但实际上通过A-B之间的数据就能找到1’而是用1’就能找到2’，从而实现了跨集群之间的交易追踪。
创新点三：图形框架交易追踪技术，零技术做到数据快速最终整理
对于银行技术人员，最头疼的莫过交易对账，因为他们需要从上亿笔交易中梳理交易传输规范，参照交易类型进行逐条核对，而在对照的过程中还存在入门条件高，投入工作量大，效率低下等问题。
通过该创新点，系统提供交易追踪图形框架，只需要输入要追踪交易的卡号、身份证号、手机号等信息，就可以快速帮助人工梳理海量交易数据，实现了低门槛、速度快、精度高等目标。
创新点四：异构报文支持，打破了监控系统对于业务系统数据传输规范的依赖
在银行交易传输过程中，每种交易采用不同类型的报文传输，交易与交易之间并无统一的报文规范，因此对于不同种类的异构报文类型进行解码，形成统一的结构整理输出用于大数据分析使用。
当前公司的探针程序已经能够识别高达几百种不同类型的报文规范，并能够快速识别判断报文类型，解析出符合统一规范的交易数据。
三：技术介绍
1.总体技术框架

2.使用场景
场景一：旁路实时报文采集，通过探针解码程序适配各类异构报文，整理后集中存储分散在各服务器上的交易传输信息，并可随时回溯。
场景二：通过关键字检索和别名映射，快速关联不同业务链路间的字段含义，实现全链路交易参数查询，当想查询某笔交易，只需了解客户信息，就能够通过界面的关联跳转操作，把某时间段内发生在银行内部的全部交易展现追踪出来，并且通过详情查看快速定位客户交易失败或交易行为类查询。
场景三：通过关键字和频次的告警规则，实现基于交易故障实时告警，对现有交易监控的交易流量提供有益帮助。
场景四：所见即所得的框架使用界面，实现零技术使用场景，降低人员投入。
场景五：通过角色和权限划分，确保数据访问性，保证各系统管理员只能看到自己系统的数据内容。
场景六：界面操作简便，不仅可以提供给运维团队，也可提供给科技开发人员。

平台包括：
数据采集：负责各类型异构报文数据采集、解密、结构化整理。
数据流式处理：负责大量报文数据业务属性定义。
数据存储：对数据进行分布式存储、数据归档。
关联分析：业务属性关联含义映射，可提供海量数据的分布式搜索引擎，为用户提供准实时的搜索服务。
数据可视化：提供简洁的日志呈现交互方式，如仪表盘、报表。
3. 技术特点
1)采用先进大数据架构
Kafka+Elasticsearch+AI算法；
2)旁路应用报文采集技术
交换机流量镜像技术，无需修改交易系统；
3)旁路应用报文解密技术
实现高达几百种异构报文自动识别解码，并统一输出用于分析；
4)报文分析应用含义映射关联技术
实现AB、BC交易节点关键词识别串联；
5)图形框架交易追踪技术
采用web框架，只需要输入时间、身份证号、手机号、卡号就能追踪任何时间段和交易节点之间传输的全部交易；
6)平台成熟稳定、性能高效，具备冗余、集群、负载均衡架构
全部软件支持分布式部署模式，银行常用两地三中心部署；
7)满足技术延展性需求，支持不同类型的交易报文关联追踪
四：产品特色
1. 微监控
代表交易监控颗粒度更细微，可体现为交易类型，应用节点等维度；
2. 轻告警
表示告警压缩，排重，交易依赖等告警大量降低，从而变得真正有效；
3. 全链路
表示交易产生的全过程链路可追溯；
4. 慧分析
表示交易可视化通过报表、仪表盘、多维度分析等层面能够满足不同客户不同层面的分析需求；
5. 快定位
表示为产品可以做到1分钟内交易故障快速定位。
五：应用场景
1. 业务全流程监控
系统需支持重点业务全流程的监控，能帮助运维人员梳理整个业务逻辑，不仅仅能直观展现整个业务系统的运行状态，并且还能定位是何系统调用出现异常情况，辅助运维人员实现对故障系统进行快速定位。
2. 服务评级、体验评分
系统支持业务系统用户体验场景评分，从用户体验角度出发，衡量系统的体验满意度情况，提供满意、容忍、失望等体验级别，帮助运维人员服务用户。
在大量业务交易记录中，支持指定时间内依据交易类型、交易渠道等多维度筛选，提供交易详细指标导出等，帮助运维人员对交易数据实时分析，协助交易数据上报。
3.节日保障和业绩实时展现
系统支持重大节日（双十一、双十二、618、年终大促）的场景监控。
可以从节日保障的角度，通过自定义交易面板，监控在线的用户数、交易金额、交易笔数等，方便从业务角度实时感知节日的保障成果。
另外，支持不同的运维场景（如灾备切换、系统上线等），通过完全自定义，实现基于任意监控指标的定制仪表盘，帮助业务保障人员对节日重保业务的实时动态交易进行监控。