走两步！AI通过步态诊断帕金森；从入门到如土·AI绘画中文指南；超好用的视频补帧软件；YOLO7人脸检测实现；前沿论文 | ShowMeAI资讯日报

👀日报合辑 | 📆电子月刊 | 🔔资料下载 | 🍩@韩信子

📢 AI看走路诊断帕金森，MS Video plus 算法使得步态分析更便宜

https://ieeexplore.ieee.org/document/9896159

神经系统疾病（例如多发性硬化症、帕金森病等）通常会导致一个人的步态发生微妙的变化，即使在疾病早中期也有显现。因此，当怀疑一个人可能患有某种神经系统疾病时，医生通常会评估该人的行走能力。只需查看这个人的步态，就有可能发现出现神经系统潜在疾病的线索。

在最近的一项研究中，伊利诺伊大学研究人员通过探索发现，将摄像机与人工智能技术相结合，通过评估一个人的步态，可以识别由帕金森病或多发性硬化症患病风险的人群。9月20日发表在 IEEE 生物医学和健康信息学杂志上的结果表明，该方法可以达到 79% 的准确率。

研究人员招募了 33 名志愿者，其中 10 名患有 MS，9 名患有帕金森病，14 名没有任何神经系统疾病。所有志愿者都被要求在跑步机上行走，而两个标准 RGB 摄像机从侧面和正面角度记录他们臀部、膝盖、脚踝、大小脚趾和脚跟的动作和身体坐标。

研究人员总共开发并验证了 16 种不同的 AI 算法，来分析这些坐标如何随时间移动，以寻找患病与否的差异。其中几种算法的准确率超过 75%，性能最佳的卷积深度学习模型达到了 79% 的准确率。

工具&框架

🚧 『kernl』仅需一行代码，加速运行 Pytorch Transformer 模型

https://github.com/ELS-RD/kernl

https://www.kernl.ai/

Kernl 让你在 GPU 上运行 Pytorch transformer 模型时，只需一行代码就能快几倍，而且它的设计也使其非常易懂。下图所示为 3090 RTX 上的运行结果，可以观察到最后一列的蓝色加速明显。

🚧 『SponsorBlock』跳过 Youtube 视频贴片广告的浏览器扩展

https://github.com/ajayyy/SponsorBlockServer

https://sponsor.ajay.app/

SponsorBlock 是一个可以跳过 YouTube 视频中广告片段的扩展。它的实现是基于众包的形式，收集任何人提交的 YouTube 视频的广告片段的开始和结束时间，一次收集之后，其他人将共享这个信息并跳过相应的广告。

🚧 『yolov7-face』YOLO7人脸检测实现

https://github.com/derronqi/yolov7-face

这是一个YOLO7的人脸检测实现，返回人脸和关键点信息。

🚧 『Squirrel-RIFE (松鼠补帧)』基于RIFE算法的视频补帧软件

https://github.com/Justin62628/Squirrel-RIFE

Squirrel 是一款以RIFE为核心，提升视频流畅度的补帧软件。Squirrel 显存占用小，速度是 DAIN 的10-25倍，且能超高精度转场识别，可在多数视频中达到95%以上的精确度，不破坏丝滑效果。此外还包含抽帧处理，去除动漫卡顿感。

博文&分享

👍 『Stable Diffusion Book』从入门到如土·AI绘画中文指南大全

https://github.com/sudoskys/StableDiffusionBook

https://draw.dianas.cyou/

这是一份关于使用 AI 进行绘画资源大全，目前主要内容包含 Stable Diffusion WebUi 和 NovelA。Stable Diffusion WebUi（简称 SDWebUi）是一个基于 Gradio 库的 Stable Diffusion 浏览器界面。NovelAI（简称 NAI）用于 AI 辅助创作、讲故事、虚拟陪伴，是 Stable diffusion 的二次元特化版本。

文档包含以下板块：

• 起步于此：介绍了一些术语和新闻内容。有新动态会更新到新闻页面。
• 开始之前：列举了入门的要求，介绍了一些基本的方案。
• 安装配置：介绍了WebUi 的安装和运行，还有运行时候遇到的错误处理指南。
• 绘画调试：解释了关于 GPU 和 NAI Leak 的内容，还介绍了如何配置应用程序，解决图片生成出现的错误，介绍了应用程序本身相关的使用技巧。
• 绘画指南：介绍了如何应用和相关的实践操作，指导 如何写参数 和 如何上手使用 。
• 训练模型：介绍了如何使用和训练风格化模型，以及基本常识和训练方法。
• 参考资料：这是一个用于速查的快速链接页面，备份了所有有用的链接。

数据&资源

🔥 『CSuite』因果关系基准数据集

https://github.com/microsoft/csuite

CSuite 是一个数据集集合，用于对因果机器学习算法进行基准测试。每个数据集由实际的因果图组成、4000行观察训练数据、2000行观测测试数据、介入测试数据等内容组成。数据从已知的手工结构方程模型 (SEM) 生成。不同的数据集旨在测试因果发现和推理算法的不同特征。

研究&论文

科研进展

• 2022.10.14 『数据增强』 TokenMixup: Efficient Attention-guided Token-level Data Augmentation for Transformers
• 2022.10.11 『语言模型』 A Kernel-Based View of Language Model Fine-Tuning
• 2022.10.11 『语音编辑』 GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models

⚡ 论文：TokenMixup: Efficient Attention-guided Token-level Data Augmentation for Transformers

论文时间：14 Oct 2022

领域任务：Data Augmentation, Image Classification, 数据增强，图像分类

论文地址：https://arxiv.org/abs/2210.07562

代码实现：https://github.com/mlvlab/tokenmixup

论文作者：Hyeong Kyu Choi, Joonmyung Choi, Hyunwoo J. Kim

论文简介：To this end, we propose TokenMixup, an efficient attention-guided token-level data augmentation method that aims to maximize the saliency of a mixed set of tokens.

论文摘要：Mixup 是一种常用的图像分类数据增强技术。混合方法的最新进展主要集中在基于显着性的混合上。然而，许多显着性检测器需要大量计算，并且对于参数繁重的变压器模型来说尤其繁重。为此，我们提出了 TokenMixup，这是一种有效的注意力引导的令牌级数据增强方法，旨在最大化混合令牌集的显着性。与基于梯度的方法相比，TokenMixup 提供了 x15 更快的显着性感知数据增强。此外，我们引入了 TokenMixup 的变体，它在单个实例中混合令牌，从而实现多尺度特征增强。实验表明，我们的方法显着提高了基线模型在 CIFAR 和 ImageNet-1K 上的性能，同时比以前的方法更有效。在从头开始的变压器模型中，我们还在 CIFAR-100 上达到了最先进的性能。代码可在 https://github.com/mlvlab/TokenMixup 获得。

⚡ 论文：A Kernel-Based View of Language Model Fine-Tuning

论文时间：11 Oct 2022

领域任务：Language Modelling, 语言模型

论文地址：https://arxiv.org/abs/2210.05643

代码实现：https://github.com/princeton-nlp/lm-kernel-ft

论文作者：Sadhika Malladi, Alexander Wettig, Dingli Yu, Danqi Chen, Sanjeev Arora

论文简介：It has become standard to solve NLP tasks by fine-tuning pre-trained language models (LMs), especially in low-data settings.

论文摘要：通过微调预训练语言模型 (LM) 来解决 NLP 任务已成为标准，尤其是在低数据环境中。对经验成功的理论理解很少，例如，为什么在几十个训练点上微调具有 108 个或更多参数的模型不会导致过度拟合。我们研究了神经切线内核（NTK）——它起源于一个模型，用于研究具有适当随机初始化的无限宽网络的梯度下降动力学——是否描述了预训练 LM 的微调。这项研究的灵感来自 NTK 在计算机视觉任务中的出色表现（Wei et al., 2022）。我们还将 NTK 形式主义扩展到使用 Adam 进行微调。我们提供了广泛的实验，表明一旦下游任务通过提示被表述为语言建模问题，NTK 镜头通常可以在使用 SGD 和 Adam 进行微调期间合理地描述模型更新。这种内核观点还为基于参数有效的子空间微调方法的成功提供了一种解释。最后，我们建议通过张量程序（Yang，2020）对我们的发现进行正式解释。

⚡ 论文：GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models

论文时间：11 Oct 2022

领域任务：Disentanglement, speech editing, 语音编辑

论文地址：https://arxiv.org/abs/2210.05271

代码实现：https://github.com/rf5/simple-asgan

论文作者：Matthew Baas, Herman Kamper

论文简介：As in the StyleGAN family of image synthesis models, ASGAN maps sampled noise to a disentangled latent vector which is then mapped to a sequence of audio features so that signal aliasing is suppressed at every layer.

论文摘要：我们提出了 AudioStyleGAN (ASGAN)，一种用于无条件语音合成的新型生成对抗网络 (GAN)。与 StyleGAN 系列的图像合成模型一样，ASGAN 将采样噪声映射到解耦的潜在向量，然后将其映射到音频特征序列，从而在每一层抑制信号混叠。为了成功训练 ASGAN，我们引入了许多新技术，包括对自适应鉴别器增强的修改，以概率地跳过鉴别器更新。 ASGAN 在 Google Speech Commands 数据集上实现了无条件语音合成的最先进结果。它也比性能最好的扩散模型快得多。通过鼓励分离的设计，ASGAN 能够执行语音转换和语音编辑，而无需经过明确培训。 ASGAN 证明 GAN 与扩散模型仍然具有很强的竞争力。代码、模型、示例：https://github.com/RF5/simple-asgan/

我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！

◉ 点击 日报合辑，订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。

◉ 点击 电子月刊，快速浏览月度合辑。