Horizon 是 Meta 投入数十亿美元建设所谓元宇宙的主要门户。几天前,扎克伯格在 Facebook 上发布了截图,不料被群嘲图形质量太差,国内网友吐槽『甚至不如上个世界的QQ秀』。
Vivek Sharma 过去六年一直任职于 Meta,在市场和游戏部门担任高级职务,最近还挑起了元宇宙的重担,在西雅图监督各种VR项目的推进。对于这位副总裁的离职,Meta公司发言人称『由于他的领导,Horizon已经建立了一个强大的团队,拥有一个雄心勃勃的愿景,而且它才刚刚开始』。
https://github.com/auxten/edgeRec
edgeRec 是一个基于深度学习的一体式推荐系统,可以在小型服务器或边缘设备上运行。核心技术为深度学习(Item2vec Embedding + MLP),覆盖特征工程 & 训练 & 预测功能。
https://github.com/learn-to-race/l2r
Learn-to-Race 是一个符合 OpenAI gym 标准的多模态控制环境,agents 在这里学习如何比赛。与许多简单的学习环境不同,l2r 的学习环境是围绕着 Arrival 的高保真赛车模拟器建立的,具有完整的软件在环(SIL),甚至是硬件在环(HIL)的模拟能力。
这个模拟器在将自动驾驶赛车技术带到现实生活中的Roborace系列中发挥了关键作用,这是世界上第一个开发自动驾驶人工智能的团队的极限竞赛。
https://github.com/BradyAJohnston/MolecularNodes
https://bradyajohnston.github.io/MolecularNodes/
Molecular Nodes 是一个用于在 Blender 中处理结构生物学和分子数据的插件。它提供了将结构生物学文件导入Blender的便捷方法,以及在 Blender 的 Geometry Nodes 内处理原子数据的几个节点。
Blender 的 Geometry Nodes 为程序性建模和动画提供了一个强大的接口。目前,它在读取任何类型的结构化数据文件作为输入方面的能力是有限的,非三维网格。Molecular Nodes 提供了一个接口,可以将.pdb和其他类型的文件转换为Geometry Nodes可以使用的网格,从而弥补了这个差距。
https://github.com/princeton-nlp/DinkyTrain
普林斯顿 NLP 的预训练库,是基于 fairseq 与 DeepSpeed 内核的整合,提供了一个用于高效训练掩码语言模型(MLM)的库。
https://github.com/billjie1/Chinese-CLIP
CLIP模型的中文版本项目,使用大规模中文数据进行训练(约2亿图文对),旨在帮助用户实现中文领域的跨模态检索、图像表示等。本项目代码基于『open_clip project』建设,并针对中文领域数据以及在中文数据上实现更好的效果做了优化。
https://github.com/gopl-zh/gopl-zh.github.com
在 Go 语言2009年正式发布约5年之后,由Go语言核心团队成员 Alan A. A. Donovan 和 Brian W. Kernighan 合作编写了Go语言方面的经典教材《The Go Programming Language》。大部分Go语言核心团队的成员都参与了该书校对工作,因此该书的质量是可以完全放心的。中文版由中文Go语言社区的团队写作完成。
该书2014年开始写作,2015年出版,介绍了Go语言几乎全部特性,并且随着语言的深入层层递进,对每个细节都解读得非常细致,每一节内容都精彩不容错过,是广大Gopher的必读书目。书中包含了上百个精心挑选的习题,希望大家能先用自己的方式尝试完成习题,然后再参考官方给出的解决方案。
https://github.com/borisdayma/dalle-mini
Craiyon(原名DALL·E mini),是一款可以根据任意提示文字进行绘画的AI模型!在网站输入提示文字,等待约2分钟后,系统会生成9张绘制的图片。可以点击某张图片放大观看,也可以使用网站提供的『截图』功能生成卡片。
https://github.com/Pilhyeon/Awesome-Weakly-Supervised-Temporal-Action-Localization
https://github.com/anonNo2/crosstalk-generation
这是目前为止最大的中文开源相声数据集(收集来源为网络、图书、其他开源项目), 数据类型包括单口相声、对口相声、群口相声以及小品。
因作者的研究仅针对于对口相声,所以从初始数据中清洗筛选出的2948篇对口相声,验证集为从初始数据中筛选出的368篇对口相声,测试集为从初始数据中筛选出的50篇对口相声中的10轮对话。
可以点击 这里 回复关键字日报,免费获取整理好的论文合辑。
科研进展
- 2022.07.29 『新视角合成』 Neural Density-Distance Fields
- 2022.08.18 『伪标签』ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization
- 2022.08.09 『自然语言处理』USB: A Unified Semi-supervised Learning Benchmark
- 2022.08.15 『计算机视觉』DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images
论文时间:29 Jul 2022
领域任务:Novel View Synthesis, Visual Localization,新视角合成
论文地址:https://arxiv.org/abs/2207.14455
代码实现:https://github.com/ueda0319/neddf
论文作者:Itsuki Ueda, Yoshihiro Fukuhara, Hirokatsu Kataoka, Hiroaki Aizawa, Hidehiko Shishido, Itaru Kitahara
论文简介:However, it is difficult to achieve high localization performance by only density fields-based methods such as Neural Radiance Field (NeRF) since they do not provide density gradient in most empty regions./然而,仅靠基于密度场的方法,如神经辐射场(NeRF),很难实现高的定位性能,因为它们在大多数空白区域没有提供密度梯度。
论文摘要:神经场在三维视觉任务中的成功现在已是不争的事实。在这一趋势下,一些旨在实现视觉定位(如SLAM)的方法被提出来,利用神经场来估计距离或密度场。然而,仅靠基于密度场的方法,如神经辐射场(NeRF),很难实现高的定位性能,因为它们在大多数空白区域没有提供密度梯度。另一方面,基于距离场的方法,如神经隐含表面(NeuS),在物体的表面形状方面有局限性。本文提出了神经密度-距离场(NeDDF),这是一种新型的三维表示方法,对距离场和密度场进行相互制约。我们将距离场表述扩展到没有明确边界表面的形状,如毛皮或烟雾,这使得距离场到密度场的明确转换成为可能。通过显式转换实现的一致的距离场和密度场能够对初始值具有鲁棒性并实现高质量的登记。此外,场之间的一致性允许从稀疏的点云中快速收敛。实验表明,NeDDF可以实现高的定位性能,同时在新的视图合成上提供与NeRF相当的结果。该代码可在https://github.com/ueda0319/neddf获取。
论文时间:18 Aug 2022
领域任务:pseudo label,伪标签
论文地址:https://arxiv.org/abs/2208.08631
代码实现:https://github.com/jiwoncocoder/conmatch
论文作者:Jiwon Kim, Youngjo Min, Daehwan Kim, Gyuseong Lee, Junyoung Seo, Kwangrok Ryoo, Seungryong Kim
论文简介:We present a novel semi-supervised learning framework that intelligently leverages the consistency regularization between the model’s predictions from two strongly-augmented views of an image, weighted by a confidence of pseudo-label, dubbed ConMatch./我们提出了一个新的半监督学习框架,该框架智能地利用了来自图像的两个强增强视图的模型预测之间的一致性正则化,由伪标签的信心加权,我们称之为ConMatch。
论文摘要:我们提出了一个新颖的半监督学习框架,该框架智能地利用了模型对图像的两个强增强视图的预测之间的一致性正则化,并以伪标签的置信度加权,我们称之为ConMatch。虽然最新的半监督学习方法使用图像的弱增强视图和强增强视图来定义方向性的一致性损失,但如何为两个强增强视图之间的一致性正则化定义这种方向仍未被探索。为了说明这一点,我们在非参数和参数方法中,通过弱增强的视图作为锚,为来自强增强的视图的伪标签提出了新的信心措施。特别是在参数方法中,我们首次提出在网络中学习伪标签的置信度,这是以端到端的方式通过骨干模型学习的。此外,我们还提出了一个阶段性的训练,以提高训练的收敛性。当纳入现有的半监督学习器时,ConMatch持续提升了性能。我们进行了实验来证明我们的ConMatch比最新的方法有效,并提供了广泛的消融研究。代码已在https://github.com/JiwonCocoder/ConMatch 上公开。
论文时间:12 Aug 2022
领域任务:Natural Language Processing,自然语言处理
论文地址:https://arxiv.org/abs/2208.07204
代码实现:https://github.com/microsoft/semi-supervised-learning
论文作者:Yidong Wang, Hao Chen, Yue Fan, Wang Sun, Ran Tao, Wenxin Hou, RenJie Wang, Linyi Yang, Zhi Zhou, Lan-Zhe Guo, Heli Qi, Zhen Wu, Yu-Feng Li, Satoshi Nakamura, Wei Ye, Marios Savvides, Bhiksha Raj, Takahiro Shinozaki, Bernt Schiele, Jindong Wang, Xing Xie, Yue Zhang
论文简介:Semi-supervised learning (SSL) improves model generalization by leveraging massive unlabeled data to augment limited labeled samples./半监督学习(SSL)通过利用大量未标记的数据来增强有限的标记样本来提高模型的泛化能力。
论文摘要:半监督学习(SSL)通过利用大量未标记的数据来增强有限的标记样本来提高模型的通用性。然而,目前,流行的SSL评估协议往往被限制在计算机视觉(CV)任务上。此外,以前的工作通常从头开始训练深度神经网络,这很耗时,而且对环境不友好。为了解决上述问题,我们从计算机视觉、自然语言处理(NLP)和音频处理(Audio)中选择了15个不同的、具有挑战性的和全面的任务,构建了一个统一的SSL基准(USB),我们在这些任务上系统地评估了主流的SSL方法,还开源了一个模块化和可扩展的代码库,以便对这些SSL方法进行公平评估。我们进一步为CV任务提供最先进的神经模型的预训练版本,以使进一步调整的成本可以承受。USB使单一的SSL算法可以在多个领域的更多任务上进行评估,但成本更低。具体来说,在单个NVIDIA V100上,只需要37个GPU天来评估USB中15个任务的FixMatch,而在典型协议下的5个CV任务上则需要335个GPU天(除ImageNet外的4个CV数据集需要279个GPU天)。
论文时间:15 Aug 2022
领域任务:计算机视觉
论文地址:https://arxiv.org/abs/2208.07227
代码实现:https://github.com/vlar-group/dm-nerf
论文作者:Bing Wang, Lu Chen, Bo Yang
论文简介:In this paper, we study the problem of 3D scene geometry decomposition and manipulation from 2D views./在本文中,我们研究了从二维视图进行三维场景几何分解和操作的问题。
论文摘要:在本文中,我们研究了从二维视图进行三维场景几何分解和操作的问题。通过利用最近的隐性神经表征技术,特别是吸引人的神经辐射场,我们引入了一个物体场组件,仅从二维监督中学习三维空间中所有个体物体的唯一代码。这个组件的关键是一系列精心设计的损失函数,以使每一个三维点,特别是在非占用空间,即使没有三维标签也能有效优化。此外,我们引入了一种反查询算法,以自由地操纵所学场景表示中的任何指定的三维物体形状。值得注意的是,我们的操纵算法可以明确地解决关键问题,如物体碰撞和视觉遮挡。我们的方法被称为DM-NeRF,是第一个在单一管道中同时重建、分解、操纵和渲染复杂的三维场景的方法。在三个数据集上的广泛实验清楚地表明,我们的方法可以准确地从二维视图中分解出所有的三维物体,允许任何感兴趣的物体在三维空间中自由操作,如翻译、旋转、尺寸调整和变形。
我们是 ShowMeAI,致力于传播AI优质内容,分享行业解决方案,用知识加速每一次技术成长!
◉ 点击 日报合辑,在公众号内订阅话题 #ShowMeAI资讯日报,可接收每日最新推送。
◉ 点击 电子月刊,快速浏览月度合辑。
◉ 点击 这里 ,回复关键字 日报 免费获取AI电子月刊与论文 / 电子书等资料包。