人工智能领域的领先企业xAI近日宣布,已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写,并融入了现代Transformer架构,包括GeGLU、ROPE、三明治范数等先进技术。此次公开...
Read More近日,研究人员开发了一种名为Resonance RoPE的新技术,帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding(RoPE)系统上进行了改进,提高了模型在长文本上的性能,...
Read More亚马逊开始进入开源LLM领域,推出RoPE微调Mistral 7B模型,支持长文本上下文。该模型可在上下文中扩展至32k个令牌,可用于各种自然语言处理任务,例如问答和文本生成。RoPE是亚马逊开发的一种新的训练技术,可提高大...
Read More美国警告欧盟,其提出的人工智能(AI)规定可能偏向于资源充足的公司,而对小型公司造成伤害。华盛顿的分析批评了欧盟对AI模型开发的关注,而非模型使用的风险,这可能会威胁到在欧盟的投资和AI研发。关于如何在AI问...
Read More