漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-07-15 talkingdev

Meta如何优化广告推理服务以提高尾部利用率

近日,Meta在其机器学习推理服务的尾部利用率方面进行了优化,这些优化使得失败率减少了三分之二,计算效率提高了35%,并将p99延迟减半。这些增强功能确保Meta的广告投放系统可以在不需要额外资源的情况下处理增加的...

Read More
2024-03-04 talkingdev

关于LLM量化的全面研究

随着人工智能模型的不断发展,越来越多的研究人员开始研究如何在不影响模型准确性的前提下,提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术,可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

Read More
2024-02-29 talkingdev

论文:量化语言模型提高生成效率

IR-QLoRA是一种新方法,它可以提高量化大型语言模型的准确性,使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间,但它也...

Read More
2024-02-01 talkingdev

Lilac Garden快速聚类技术:将语言模型训练效率提高100倍

在训练语言模型时,一个挑战是为任务找到足够多样化的数据集。更难的是,将这些数据可视化。这个很酷的工具使用快速聚类和主题建模,使得可以探索数据,以改善过滤和整体质量。

Read More
2023-12-18 talkingdev

Dover人工智能应用程序Sorting可以10倍加速简历筛选

Dover AI Application Sorting是一款人工智能招聘辅助工具,可帮助人力资源部门快速筛选来自招聘网站的大量工作申请。该工具使用机器学习算法,将简历按照相关性和特定标准进行排序,使HR在查看和筛选工作申请时效率...

Read More
2023-12-07 talkingdev

Solve Intelligence帮助律师起草专利文件以进行知识产权分析和生成

Solve Intelligence是一个基于人工智能的平台,可以帮助高效地起草高质量的专利文件。自7月份推出以来,全球25家以上的知识产权公司正在使用他们的平台,客户报告效率提高了60-90%。该公司从Y Combinator毕业,并最...

Read More