RockAI凭借非Transformer架构大模型荣登上海投资潜力榜
在第十七届外滩金融•上海国际股权投资论坛(2024SIPEF)上,备受瞩目的“2024上海最具投资潜力50佳创业企业评选”榜单终于揭晓。此次评选中,RockAI凭借其自主研发的Yan架构大模型脱颖而出,荣获了该奖项。
RockAI的Yan架构大模型在国内独树一帜,它打破了Transformer架构和非Attention机制的常规,为市场带来了全新的选择。这一创新不仅得到了业界的广泛关注,更在本次评选中获得了评委们的高度认可。凭借其在多元设备端落地应用的市场潜力,RockAI成功登上了“2024上海最具投资潜力50佳创业企业”的荣誉殿堂。
“2024上海最具投资潜力50佳创业企业评选”已经连续第九年举办,由上海市经信委指导,市中小企业办、市中小企业服务中心、市投资促进服务中心与上海国际股权协会等三家行业协会联合组织。上榜企业将被纳入“上海市重点培育创业企业库”,并有机会与沪上3家股权投资协会背后的近百家会员单位展开深入交流与合作,这无疑为RockAI的未来发展提供了更为广阔的空间。
自2023年6月成立以来,RockAI始终致力于Yan架构大模型的研发与创新。从Yan1.0到Yan1.3,每一次迭代都凝聚了团队的智慧与汗水。Yan架构大模型以MCSD、类脑激活机制为基础原理,实现了快速训练与高效推理。MCSD能够迅速提取特征,而类脑激活机制则模拟大脑神经元的激活模式,选择性激活部分参数,从而大幅减少算力冗余,提高问题解决效率。
在训练效率、推理吞吐量等方面,Yan架构大模型展现出了优于同等参数量Transformer架构模型的卓越性能。在今年的部分数据集测评中,Yan架构大模型已达到Llama3 8B的水平。Yan架构大模型还具备强大的适配伸缩性和多模态信息处理能力,能够无损部署到低算力设备如树莓派,以及机器人、手机、电脑、无人机等多样化终端。同时,它还能实现文本、语音、图像等跨模态交流,为用户带来更加便捷、高效的使用体验。
Yan架构大模型作为国内首个非Transformer架构、非Attention机制的大模型,已经通过网信办备案,并提交了超过50项专利申请。这些专利涵盖了模型结构设计、算法改进、预训练、微调等核心环节,充分展示了RockAI在大模型领域的创新实力和技术储备。凭借在算力受限场景下的本地部署运行等优势,RockAI已经与机器人、手机、电脑等领域的设备厂商建立了深度合作,并成功落地了多个项目。