基于HBase的工业大数据存储实战物品追踪系统中的can通信接口协议应用
随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的数据壁垒效应，能够促进生产水平和管理水平的大幅提升。本期格物汇，就来给大家介绍HBase数据库及格创东智相关实战案例。
了解HBase
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。它利用Hadoop HDFS作为其文件存储系统，将海量数据进行有效管理处理。与Google Bigtable不同的是,HBASE使用MapReduce进行大量数据处理，而不是像Bigtable那样依赖Chubby协同服务。
与传统数据库相比,HBASE具有以下优势：
线性扩展，可以通过增加节点来支持不断增长的数据量。
数据被保存在高可靠性的分布式文件系统（如HDFS）中，因此备份机制健全。
通过Zookeeper提供高度一致性的协调服务，加快访问速度。
HBase实战案例：基于can通信接口协议的大规模物品追踪系统
为了更好地展示如何在物品追踪场景中应用HBASE，我们可以参考某个半导体显示制造商的情况。这个公司需要设计一个快速查找面板特征的大型系统。在这个过程中，他们发现现有的MySQL+OSS解决方案存在两个主要问题：
MySQL不支持动态列，这导致同一组内面的所有面板被分散到不同的行中。
查询时需要从MySQL读取大量行，然后再从OSS获取相关特征，这导致查询链路过长且耗时。
为了解决这些问题，大数据团队决定采用HBASE，并结合其MOB（Medium-Sized Object）功能。这使得他们能够简化表结构并提高查询效率。具体做法是将每个面板组ID作为RowKey，并打开MOB功能以便于小文件存储。在创建表时设置MOB_THRESHOLD为2048字节，即当文件大小超过2KB时会视作小文件进行存储。
这样设计后，只需使用一个名为glass表就能替代原来的三张表，不仅减少了复杂度，还提高了查询性能。此外，由于该公司业务涉及的小对象数量较少，而且对延迟有一定的要求，该方案也优于直接使用对象存储云服务，如前文所述，对比测试结果显示，在复杂查询场景下，比对象存储有10倍以上性能提升，同时成本更低，更适合高并发场景下的需求。
总结来说，本次实战案例展示了如何利用基于can通信接口协议的大规模物品追踪场景下应用Hbase，无论是在物理设备层面的监控还是软件层面的日志记录，都能极大地提升整个物联网平台的大规模、大容量、高效率的一体化操作能力，为企业提供了一种新的思路和方法去应对未来可能出现的问题。
