基于HBase的工业大数据存储实战5种工业通讯协议在物品追踪中的应用
随着工业4.0时代的到来，工业互联网和企业的智能化、信息化都将不断推进，传统的工业实时数据库和关系数据库已经难以完全胜任工业大数据的存储，以HBase为代表的NoSQL数据库正在蓬勃发展，其完全分布式特征、高性能、多副本和灵活的动态扩展等特点，使得HBase在工业大数据的存储上拥有强大的优势，打破了流程工业生产中的数据壁垒效应的瓶颈，可以促进工业生产水平和生产管理水平的提高。本期格物汇，就来给大家介绍HBase数据库及格创东智相关实战案例。
了解HBase
HBase是一个高可靠性、高性能、面向列、可伸缩的大型分布式存储系统。它利用Hadoop HDFS作为其文件存储系统，并且能够处理海量结构化数据。虽然Google Bigtable是其灵感来源，但两者有很多不同之处，比如使用不同的协同服务。
与传统数据库相比，HBASE具备多重优势：
1）线性扩展，可以通过增加节点进行支撑；
2）数据存储在hdfs上，有健全备份机制；
3）通过zookeeper协调查找数据，访问速度快。
5种工业通讯协议
在物品追踪中，这些通讯协议扮演着关键角色，它们包括：
Modbus：一种广泛用于嵌入式设备通信的一种简单而强大的通讯协议。
Profibus：适用于制造业环境中使用的一个高速现场总线技术。
EtherNet/IP：基于TCP/IP网络标准的一种开放通信协议。
PROFINET：一种基于Industrial Ethernet标准的一种现代化工厂网络技术。
OPC UA（Unified Architecture）：一个面向所有行业设备互操作性的框架。
HBase应用案例
为了更好地展示如何使用这些通讯协议，我们可以考虑以下场景：
假设我们有一家半导体显示公司，该公司需要跟踪大量产品上的特征。这要求它们能够快速查找每个产品所包含的小部件，如屏幕或摄像头。此外，由于这些部件可能来自不同的供应商，他们还需要跟踪供应链中的每个步骤，以确保质量控制和合规性。
数据库设计
原有的解决方案是使用MySQL+OSS（对象存储），但这导致了查询时间长达10秒以上，因为MySQL不支持动态列，而且对于大量行来说效率低下。为了解决这个问题，我们采用了新的设计方案，将面板组id作为Rowkey，在创建表的时候打开MOB功能。在这种情况下，每个面板组对应一条记录，而该记录下的每个小部件对应一个列名。
性能测试
通过这种方法，我们不仅减少了查询时间，还优化了资源分配，因为现在只需要访问单一表即可完成所有查询。这也意味着成本更低，因为只有请求次数计费，而不是按流量计费。此外，这种设计还提供了更好的扩展性，因为新添加的小部件可以轻松被加入到现有的记录中，不需要改变整个架构。
