AI时代的创新，追一科技发布了RoFormerV2模型
最近，追一科技发布了RoFormerV2车型。追一独特的旋转位置编码技术（RoPE）全面超越了目前主流的预训练模式，如BERT、RoBERTa、Albert和Electra。
RoFormerV2在NLP（自然语言处理）测试排行榜中文CLUE中，参加数仅为3亿，略高于10亿+参加数的模型，排名前5位（截止到2022年3月21日）几乎实现了同一尺度下的模型最优解。
RoFormerV2采用了自己的旋转位置编码技术，与BERT、RoBERTa、Albert、Electra等使用的方法不同。
旋转位置编码（RoPE）技术是在2021年提出的，利用矢量之间的旋转角度来表示特征之间的相对关系的想法与之前的所有方法都不同。它具有开拓性的意义，即革命性的rdquo。在今年提交的FLASH模型的论文中，RoPE表示将提高模型的效果，作为模型的默认方法。
此外，RoPE也被用于许多最新型号。例如，EleutherAI在60亿和200亿参数的新GPT模型中使用了RoPE位置编码。
同时，Google最近燃烧了的5400亿参数的PaLM模型追一的RoPE技术也被采用。PaLM是多语言多任务形式的超大型模型，不仅能理解人类的语言，还能理解机器代码。PaLM在100多个自然语言理解和自然语言生成任务中进行了测试，在很多任务中都获得了最佳结果。这些最新的方法都采用了RoPE的设计，其优势得到了进一步验证，将成为预培训模式的标准方法。
遵循ldquo是一个大模型rdquo；时代来了，很多用户想用优秀的模型来解决实际问题，但是这些ldquo；巨大的rdquo是必要的硬件，花费昂贵的费用，脚踏实地。利用ldquo是一个大模型rdquo；进行NLP技术的实验研究，计算力和时间成本越来越高。无论是NLP技术的研究还是应用实践，追一科技一直致力于开放、开源生态系统的参与、建设，帮助用户和开发者创新研究。
RoFormerV2是相同尺寸、效果最好的预培训模式，在有限的机械资源下进行培训和微调，可以获得更大尺寸模型以上的效果，因此在开源进行研究，将为中文NLP的发展做出贡献。
【出处：菠萝融资】