同盾科技是中国领先的人工智能科技企业，专注决策智能领域，致力于帮助政企客户防范风险、提升决策效率。同盾科技坚持自主科技创新，多项算法和软件系统已达全球领先水平，并形成了“基于隐私计算的共享智能平台-智邦”和“基于人工智能的决策智能平台-智策”两大平台，聚焦于金融风险、安全风险、政府治理风险三大场景，业务覆盖全球数十个国家，为 22 大行业、118 个细分场景的上万家客户提供了领先且独具特色的决策智能解决方案。
风控业务场景对数据库的需求与挑战
作为一家第三方风控公司，客户经常需要调用同盾的智能决策服务去做业务决策，如电商大促期间防范黑产薅羊毛，个人信贷杜绝多头借贷老赖行为等。因此，同盾服务调用常常呈现出非常大的 TPS 请求。同时，为了不影响客户调用服务的质量与体验，同盾对低延迟和高可用有着硬性要求。
(相关资料图)
基于这样的特征，同盾日均过亿的决策服务调用，会产生包括非结构化/结构化多种数据结构类型在内的海量数据入库。丰富的数据类型与多样的细分场景，使得同盾科技必须使用多种数据库去满足不同的业务场景需求，在同盾的数据架构中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等数据库。
在同盾的数据架构中，大多数初始落库的数据还比较原始，为了提供优质的数据服务用于智能决策，技术团队构建了成熟的大数据平台，用 T+1 离线数据分析的方式去进行日常的离线数据分析作业，利用数据二次加工赋能上层的风控智能决策。
但面对复杂的数据基础架构，同盾在业务增长中也遭遇了如下挑战：
·同盾拥有在线数千个大大小小的 MySQL 工作实例，数据十分分散，有一些是核心的风控业务系统数据，有一些是后台基础架构平台的数据，还有一些是集团 IT 系统数据，同盾希望通过集中化的方式对这些数据进行分析管理；
·最开始同盾将上游 MySQL 数据同步到下游进行分析，但整个过程中数据交换工作效率非常低，整体作业分析的 SLA 无法得到保证；
·由于上下游数据同步的阻塞问题，导致了离线数据同步实时性很差，上下游数据经常出现数据不一致的情况，非常影响提供给作业的数据质量。
其实同盾科技的业务场景并不复杂，只需要同步生产环境中数千个 MySQL 实例至下游的离线系统，提供给作业开发人员通过大数据平台进行离线分析加工。项目的核心目标是在海量数据落库下，保障在线到离线数据的数据库的准实时性和一致性，并提供优质的数据服务给内部的风控系统开发人员、算法模型工程师和运营人员加工数据。
为什么选择 TiDB？
经过长时间调研，同盾科技的技术团队最后选择了新一代分布式数据库 TiDB 作为离线层的核心数据库。同盾科技数据库运维梁高升表示，主要有以下几点原因最终促成同盾选择 TiDB：
首先，TiDB 高度兼容MySQL协议，在 TiDB 的使用和运维过程中大大减轻了运维和开发人员的使用成本；
第二，TiDB 作为分布式数据库，同盾可以把它看成一个大的数据库实例，可以汇聚上游所有的MySQL实例数据；
第三，TiDB 具备存算分离的架构，可以让同盾非常灵活地控制硬件成本，而不用一味堆砌服务器；
最后，TiDB 拥有非常活跃的社区。即使在使用 TiDB 的过程中遇到一些问题也马上能在社区得到解决。
解决方案
最终，同盾科技数据库团队构建了一整套基于 TiDB 的数据流转架构，该架构共分为三层：
实时数据层
同盾内部有 3000+ MySQL实例，在实时数据库层通过 MySQL cloud 管控上游数千个 MySQL。
传输层
在传输层，从 MySQL Cloud 对接实时数据同步任务到内部 Otter ，Otter 可以实现准实时同步 MySQL 数据，然后再由 OTTER 实时同步数据到 TiDB。
上下游同步组件决定了数据在下游离线场景的整体数据质量，同盾对数千个 MySQL 实例同步数据的同时，需要保证其稳定性、低延迟及整体可控的管理成本。虽然 PingCAP 数据迁移工具 DM 支持全量/增量灵活的数据导入场景，并具有较快的导入速率，但目前单个 DM worker 只支持绑定一个数据源，这限制了管理大量 MySQL 同步任务的需求。同盾最后选择使用 OTTER 作为常态化的数据增量同步平台，但 OTTER 只支持增量数据同步，且单任务吞吐有上限，同盾通过使用其支持 spark streaming 来进一步保障同步得吞吐和准实时性。未来在 TiDB 推出一个 DM worker 支持多个数据源的特性后，同盾会再考虑进行替换。
离线数据层
离线数据层中的大数据平台主要管控 TiDB 的元数据和实际到下游的同步情况。 在 Spark 运行作业的过程中通过 TiSpark 去访问 TiDB，最后接入 Hadoop 进行分析作业。
业务收益
通过打造 TiDB 数据产品链，同盾科技实现了数千个 MySQL 数据的离线汇聚管理。TIDB 有着便捷易操作的 Dashboard 管理界面，运维无心智负担，大大提升了数据库运维团队的管理运维和使用数据的便捷性与效率。同时，TiDB 的高性能保障提供高质量的数据服务，实现了准实时同步数据。
同盾科技数据库运维梁高升介绍，同盾刚开始上线的是 TiDB 2.0 早期版本，在上下游数据同步过程中遇到了一些 TiDB 和 MySQL 不那么兼容的情况，如果在上游有大量数据更新的情况下，会出现同步阻塞的情况，导致同步的实时性、一致性出现问题。但 TiDB 版本迭代速度非常快，每个版本都会对性能及稳定性做出大量改进和优化，在升级到 5.4 版本后，同盾就已经解决了大部分的兼容问题。而且在基准测试中，TiDB 的性能也得到了质的飞跃。
未来规划
同盾科技是 TiDB 非常早期的用户，多年的使用让同盾确信 TiDB 是一款非常好的产品，未来也会继续致力于在更多的场景依靠 TiDB 生态落地赋能一些业务场景。例如，虽然同盾的大部分作业是 T+1，但内部也有很多实实在在的实时分析场景，比如实时展示的 BI 系统，通过TiFlash 实时分析查询引擎可以进一步提升分析效率，更及时地满足实时分析需求；同盾国内在线业务针对海量关系型数据库初始使用的是 MYCAT，但是 MYCAT 的运维非常困难，对开发也不是很友好，更像是上一代的分布式数据库产品。后续，类似 MYCAT 这样的场景也很有必要使用 TiDB 进行替换。
近几年，随着出海趋势愈发火热，同盾科技在出海业务势头也非常迅猛，业务涉及东南亚、北美、欧洲等多个区域，这就需要在谷歌云、AWS、阿里云等通用公有云上，有一款标准的分布式数据库服务，帮助其在全球快速布局业务。而 TiDB Cloud 已经在各大主流公有云上提供服务，这也给同盾科技构建坚实的技术底座提供了更好的选择。
乐活HOT
-
四川正式启动三级保供电调控措施
继8月11日、14日连续两次召开电力保供工作紧急视频会议后，8月15日，四川再次召开电力保供调度会。记者从会上获悉，预计全省最大用电负荷将
-
前7月四川能源项目累计完成投资4
今年以来，四川积极扩大能源领域有效投资，前7月能源项目累计完成投资493亿元、同比增长4%。8月15日，省能源局相关负责人介绍，前7月煤炭类
-
四川加力加劲坚决遏制事故多发频
8月15日，全省防汛减灾、森林草原防灭火工作电视电话会议召开，深刻汲取彭州8·13山洪灾害教训，分析研判当前形势，安排部署下一步重点工作
-
四川攀枝花推动打造职业能力建设
8月9日，攀枝花技师学院实习工厂里，焊花四溅，机器声此起彼伏。身穿工作服的教师周树春，在一间间操作室里进进出出，指导学生们焊接。过去
-
上半年湖南物流需求平稳增长行业
记者从省发改委获悉，上半年全省物流需求平稳增长，行业运行总体平稳。全省社会物流总额64096 2亿元，同比增长4 4%;全省物流业总收入为2270
-
湖南各地工业企业忙生产全力以赴
在全球最大地下工程装备制造基地，掘进机生产计划已排到年底;千亿级工程机械产业园区边建设边生产，打造智能制造标杆……时已立秋，三湘大
-
江西赣州医疗卫生服务体系进一步
上犹县水岩乡卫生院医生蔡昌才驱车前往金盆村为村民骆运招治病。以往，每月去医院就诊不仅路途远，还要排队。这几年有了家庭医生后，直接送
-
江西坚持问题导向推进药品安全专
今年2月以来，省药监局深入开展药品安全专项整治行动，坚持问题导向，以严厉打击违法犯罪行为、全面排查风险隐患为手段，推进专项整治行动
-
江西九江多举措为创业者营造良好
没想到，现在直接在窗口就能办理，真是太方便了。蒋琼在九江市经营一家造型工作室，近期有意扩大生意规模，需要资金周转。她带齐资料来到九
-
上半年江西新余全市外贸进出口总
记者从新余海关获悉，今年上半年，新余市外贸取得了较好成绩，全市外贸进出口总值184 3亿元，同比增长84 3%，高出全国平均水平74 9个百分点
-
南昌高新区多举措推动重点项目建
作为南昌市第二季度集中开工的重大项目之一，南昌数谷产业园项目总投资100亿元，计划2024年5月完工交付使用，拟引进字节跳动、华为(南昌)工
-
安徽淮南颁发优才卡落实高层次人
淮南市向中国工程院院士、安徽理工大学校长袁亮颁发了第一张淮南市高层次人才优才卡。为深化我为人才办实事实践活动，落实高层次人才服务保
-
宿州市埇桥区细化工作举措筑牢防
连日来，宿州市埇桥区不断细化各项工作举措，压实防汛各项责任，提升应急救援保障能力，筑牢防汛安全堤。目前，该区防汛物资已储备到位，全
-
安徽无为市“交地即交证”优化营
近日，无为市自然资源和规划局、无为市福渡镇人民政府在无为润峰中海置业有限公司项目部现场举行交地即交证颁证仪式，标志该市交地即交证优
-
安徽全椒县推动农村寄宿制学校试
设施齐全的卫生食堂、水冲式的独立卫生间、楼道墙体粉刷一新的宿舍……走进安徽省全椒县武岗学校，已经运行满一年的农村特色寄宿制学校成果
娱乐LOVE
安徽安庆市正式成立“老年助餐慈善基
记者日前从安庆市民政局获悉，该市慈善会近日设立老年助餐慈善基金，共同守护老年人舌尖上的幸福。该基金专项用于资助城乡社区老年食堂、社
安徽淮北积极落实2022年电网防汛度汛
近日，国网淮北供电公司工作人员来到110千伏中泰变电站开展防汛隐患排查。该公司积极落实2022年防汛度汛措施，提前细化应急预案，推进极端
安徽全椒县完善拓展人力信息资源助企
今年以来，全椒县不断完善拓展人力资源信息库、劳务对接信息库、企业用工需求信息库三库信息资源，已摸排400多家次企业缺工岗位信息1 2万个
宿州市埇桥区柔性引进博士推进乡村振
宿州市埇桥区实施博士汇工程，柔性引进29名博士担任副乡镇长或园区副主任，他们将为加快产业发展、推进乡村振兴强化智力支持。目前，博士专
安徽印发出台全面实施零基预算改革方
为进一步提高财政资源配置效率和资金使用效益，省政府印发《安徽省全面实施零基预算改革方案》，明确从编制2023年预算起，在全省范围内全面
5月份安徽居民消费价格同比上涨2.3%
近日,国家统计局安徽调查总队发布了我省5月份居民消费价格统计数据。统计显示,我省居民消费价格同比上涨2 3%,同比涨幅比上月回落0 4个百分
安徽多种方式引导群众防范非法集资风
合肥地铁1号线、3号线上滚动播放防范非法集资宣传视频,淮南市发布《致老年群众的一封信》……6月份是一年一度防范和处置非法集资宣传月,今
铁路部门持续加大长三角地区运力投放
记者从中国铁路上海局集团有限公司获悉,随着上海疫情防控形势持续向好,为进一步适应旅客出行需要,助力复工复产,铁路部门自6月10日起持续加
安徽六安持续精准施策全力促进工业发
六安市与蔚来汽车签署合作协议,共建智能电动汽车零部件配套产业园区。该园区一期计划2023年上半年投产,建成后将具备年产30万吨铝压铸产能,
安徽淮北全力维护外卖送餐员合法权益
为切实防范化解新业态领域重大风险隐患,强化外卖送餐员权益保障工作,淮北市市场监管局充分发挥职能作用,全力维护外卖送餐员合法权益。淮北
湖南涟源开展专项行动一对一为企业纾
位于涟源市的湖南三合美新材料科技有限公司，两条生产线满负荷运行，生产聚氨酯和岩棉复合板。因产品升级与产能扩充，急需新增两条生产线，
湖南蓝山县进村入户排查整治自建房安
老叔，这栋房屋墙体有开裂痕迹，要维修加固，安全重要!5月20日，蓝山县塔峰镇果木村，党员干部上门开展农村自建房安全隐患排查整治。连日来
一季度湖南万元产值综合能耗同比下降
近日，湖南省工业通信业节能监察中心发布一季度全省六大高耗能行业能源消耗统计监测报告。据该报告，一季度全省146家主要高耗能企业的万元
济南起步区一年来累计签约优质项目11
万里黄河第一隧济南黄河济泺路隧道建成通车，占地4000余亩的新能源乘用车零部件产业园加快施工……记者21日采访获悉，建设实施方案获批复一
山东发布通知启动传统民居保护利用试
省住房城乡建设厅、省财政厅近日联合印发《关于做好传统民居保护利用试点工作的通知》，在全省部署开展传统民居保护利用试点工作。此次试点