基于HBase的工业大数据存储实战物品can总线故障解决方案
随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的数据壁垒效应，能够促进工业生产水平和生产管理水平的大幅提高。本期格物汇，就来给大家介绍HBase数据库及格创东智相关实战案例。
了解HBase
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术，可在廉价PCServer上搭建起大规模结构化存储集群。HBASE目标是存储并处理大型数据，更具体来说，是仅需使用普通硬件配置，就能够处理由成千上万行和列所组成的大型数据。
与传统数据库相比,HBASE具备多重优势：
1）线性扩展，即使数据量增多，也可以通过节点扩展进行支撑；
2）数据存储在hdfs上，加强备份机制；
3）通过zookeeper协调服务，便于访问速度快。
基于这些优势，我们可以看到，在解决can总线故障的问题中，如果我们要快速地查找物品，可以考虑使用类似的方法。在这个场景下，我们可能需要根据物品id查询该物品下的所有can总线状态，这个过程可以借鉴前面的MySQL+OSS方案改进为使用HBASE进行设计。这样，不仅能解决原有方案中链路过长的问题，还能提升查询效率满足业务需求。
具体来说，我们可以将每个物品对应的一个或多个can总线状态作为一个单独的一行记录，并且由于每个物品对应不同的数量级别（有的可能只有一个，而有的可能有10000几个），我们可以采用类似的MOB功能，将小文件大小（如2k以下）的can总线状态直接保存在表中，而不必分散到对象存储系统中，这样既节省了网络IO，又减少了复杂度，从而提升了整个系统性能。
最后，由于我们的应用场景主要涉及两种查询：根据组id查找该组下的所有面板，以及根据组id+面板id查找某个面板具体情况。这样的场景对于实现快速检索具有重要意义。通过以上提到的技术手段，我们不仅能够实现更好的查询效率，同时还能降低成本，因为只需要维护一张表即可完成所有操作，无需像之前那样频繁地访问两个不同类型的事务处理系统。这就是为什么我们选择使用基于hbase 的industrial big data storage solution 来解决 can 总线故障问题，它提供了一种有效且高效的手段去处理大量 industrial data，并确保良好的读写性能。此外，该解决方案也极大地简化了后续开发工作，因为它允许开发人员专注于应用逻辑，而不是花费时间去优化底层基础设施。
