数据泄露避无可避？看大数据技术如何防御

随着互联网的快速发展，网络机器人越来越普遍。50%的网络流量来自网络机器人，遍布各类网站，如政府类、银行类、票务类、电商类、社交类、招聘类等。网络机器人虚耗网络资源，无效益转化；暴力流量增加网站运营成本；影响正常用户访问；影响网站数据发布权威性；造成不正常竞争。邦盛科技网络实时机器防御方案针对政务领域的网络机器人，以核心技术“流立方”数据流处理技术为基础，支撑规则，辅以设备指纹技术、代理侦测技术、人机识别技术，结合数据，实现多层次多维度的网络机器人识别与防范。
背景
随着互联网快速发展，作为信用强相关数据，社保、公积金等个人数据价值被激活挖掘，这让一些不良公司利用账户数据信息“有利可图”。他们并未与各地社保局或公积金中心合作，而是通过投放大量广告诱导用户去使用他们的APP软件，依靠用户授权登陆个人网厅系统。只要用户授权APP平台查询一次，APP平台就偷偷保存用户的账户密码和社保/公积金的历史缴存信息。此类平台不但有账户密码泄露风险，同时还会泄露个人社保或公积金数据。
安全隐患
这给政府单位带来了安全隐患。首先，未受官方认可的爬取用户数据的行为侵害了公积金和社保管理中心的权益，影响其权威性。其次，网络爬虫获得用户授权后，将用户历史所有的数据全部爬取，并保存在服务器内，通过出售用户数据获利，极易被黑产用于诈骗等不法行为。同时，恶意爬虫危及网络安全，网站很难确定哪些流量来自真实用户，哪些流量来自机器人，影响了平台的正常运营和业务开展。
传统解决办法：
目前的反爬技术主要有两种：一种是限制同一IP、同一电脑在一定时间内访问网站的次数，另一种是设置复杂的验证码机制，让“爬虫”不好识别。但对一些网站来说，限制IP的做法可能误伤真实用户。而设置复杂验证码的形式，可能损失用户。除此之外，从DDOS防御、防火墙防御到业务反欺诈，各种防御手段都有其针对性，没有一劳永逸的手段。随着爬虫技术的演进，常规的反爬虫手段已经无法有效阻止爬虫的访问。
邦盛科技网络机器防御解决方案：
邦盛科技使用自主可控的流式大数据处理专利技术对网站访问全流量进行实时分析，结合设备指纹、反爬虫专家规则、机器学习模型等实时识别和拦截网络爬虫。
1、网站全流量实时分析
网络爬虫通过伪造各种参数模拟正常人访问，从单次和短时间内的访问无法被识别，但从长周期、全流量上下文关联分析中，依然可以挖掘出网络爬虫行为特征。因为网站访问流水数据量巨大，且对实时性要求极高，因此高性能的流式大数据处理技术成为大数据反爬虫的关键。
邦盛科技拥有完全自主可控的流式大数据实时处理技术，处于业内领先水平，具有毫秒级的时效性、高可扩展性、>100万请求/秒的处理能力。在面对大量恶意网络机器人的不间断请求，邦盛科技流式大数据处理引擎能够确保机器防御策略的实时稳定运行，不会因为海量请求导致处理延迟。
2、设备指纹
邦盛科技设备指纹技术通过在网站或移动端嵌入脚本，收集操作设备的主动要素和被动要素等多重信息，并由此生成一段设备识别码。具有以下特点：跨平台：支持所有平台、所有浏览器以及所有的操作系统。高性能：平均响应时间小于200毫秒。多层次：包括浏览器、操作系统识别、用户习惯特征识别。轻接入：只需在网站或移动设备中嵌入邦盛设备指纹脚本即可，终端用户完全无感知。
3、反爬虫规则及模型
邦盛科技机器防御产品积累了丰富的反爬虫专家规则。基于IP和设备指纹维度，访问波动性、访问要素关联、操作行为特征等多角度建立了行之有效的专家规则库。同时，基于积累的丰富爬虫数据，利用机器学习算法训练出针对网络爬虫的机器学习模型。邦盛机器防御解决方案通过反爬虫知识库和机器学习模型，并配合实时决策引擎，可以有效实时识别并拦截公积金社保网站的网络爬虫。

某直辖市公积金防护效果：
邦盛科技机器防御目前已经在全国多个公积金社保中心部署上线，客户包括省会城市、直辖市等用户量庞大的公积金社保中心。机器防御系统上线后，有效识别出大量网络爬虫，包括知名度靠前的一些第三方未授权APP。如图所示，在机器防御反爬虫拦截开关打开后，某APP显示公积金中心正在维护中。而通过公积金中心官方渠道仍可以正常查询。

邦盛科技解决方案优势：
1、支持多通道防护：支持网站、APP、微信公众号等多通道防护。
2、客户业务系统改造极少：网站通道、微信公众号通道防护业务系统无需改造，APP通道防护只要在客户APP里嵌入我们的SDK。
3、数据安全性：非SAS模式，业务数据不会流出内网，确保业务数据安全。
4、终端设备识别精准度高：设备指纹准确性达99.99%。
5、可识别多种自动化威胁类型：如简单网页型爬虫、复杂网页型爬虫、无浏览器内核智能型爬虫、有浏览器内核智能型爬虫，也可防护撞库、DDOS攻击、CC攻击。
6、控制手段多样：可以根据客户需要灵活选择直接禁止、验证码、限速等三种控制手段，也可以只分析不控制。
7、机器学习的引进：机器学习模型和专家规则互为补充，自动化攻击识别效果更优。