爱吃猫的鱼
View Grocery

爱吃猫的鱼
[本]通信工程@河海大学 & [硕]CS@清华大学
这个人很懒,他什么也没有写!
Issued On July 7, 2021, 12:43 p.m.
Summary: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如:Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看,在许多应用中,这些优化器无法让模型收敛到最优解。本文的分析指出,导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题,文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题,而且根据实验来看,还可以在一定程度上改善Adam的性能。
2643
0
Issued On July 5, 2021, 10:44 p.m.
Summary: 在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。
2805
0
Issued On July 5, 2021, 10:36 p.m.
Summary: 随着DNN(深度神经网络)的发展,DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗?最近的一项研究表明,DNN和人类在对于图片的理解方面有所不同,研究人员可以通过对图片进行一些肉眼无法察觉的改变(比如改变一些像素点的值),就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大,比如对于安全性要求较高的图像识别领域(自动驾驶、人脸识别等)。本文对于此类问题,进行了研究,结果表明:可以很容易生成一些对于人类无法识别的图片,但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
1062
0
Issued On July 5, 2021, 10:24 p.m.
Summary: Yolo 于2015年出现之后,当时就成为了目标检测方面的新星,不但检测准确度提高了,而且在实时性方面的优势更大。但是Yolo一代还存在一些缺点。对此,Yolo的创建者决定提出一个新的方案来在保持原有准确度的情况下解决上述两个问题,作者将其命名为Yolo2。在此yolo2基础上,作者还提出了另外一个模型 Yolo9000,它可以用来实时检测超过9000种目标。Yolo9000甚至可以标出在检测数据集中没有看到过的目标类别(在分类数据集中学习过),该模型在ImageNet的检测任务中给出了一个漂亮的结果。
327
0
Issued On July 5, 2021, 10:10 p.m.
Summary: 本文介绍目标检测模型YOLO的工作原理。这篇文章发出之后已经有了非常多的改进方法,YOLO也出了后续的版本:YOLOv2, YOLOv3等等,后面我们有时间再介绍。理解了YOLO的最初版本之后,应该会更加容易理解其后续版本。 YOLO(You Only Look Once)是一个目标检测网络。目标检测任务的主要工作就是确定对象在一个图片中的位置并且确认该对象的分类。先前的目标检测方法比如R-CNN及其变体使用了类似数据管道(pipline)的方式。这些方法将任务分解为几个步骤,然后分别解决每一个步骤的问题。这种方法的缺点是运行速度慢,并且由于每个部分都是独立的,这些不同的部分很难一起进行优化。YOLO将所有这些步骤都融合到了一个神经网络模型中,大大加快了运行速度。
340
0
Issued On July 5, 2021, 9:59 p.m.
Summary: 本文发表于NDSS 2020,针对智能合约(比如以太坊)提出了一种新的拒绝服务(DoS)攻击方法(资源耗尽型)。
336
0
Issued On July 5, 2021, 9:45 p.m.
Summary: 此文提出了著名的PPO算法,由谷歌 Open AI 于17年发布,对于深度强化学习领域产生了巨大的影响。在此之前,Natural Policy Gradient 算法解决了策略梯度算法的收敛性问题,但是此算法需要计算二阶导矩阵,在实际使用中性能受限,扩展性差。现有许多研究研究工作都是围绕如何通过近似二阶优化算法来降低算法复杂度。PPO算法采用了一个不太一样的方法,它没有引入一个强约束,而是将约束项作为目标函数中的一个惩罚项。这样就可以使用一阶优化算法来进行模型优化,大大降低了算法复杂度。
467
0
Issued On July 5, 2021, 9:30 p.m.
Summary: 本文展示了如何将ResNet结构改变为可逆的结构,这种变更后的结构在分类、密度估计以及内容生成方面都适用。通常,强制网络结构可逆需要对网络进行维度划分并且需要限制网络结构。本文提出的方法仅需要在训练期间添加一个简单的规范化步骤,这在现有的机器学习框架中很容易实现。可逆的ResNets网络可以和现有的最好的图片分类器以及基于流的生成模型相媲美。这在之前,任何单个网络都是无法做到的。
317
0
Issued On July 5, 2021, 9:19 p.m.
Summary: 这篇论文提出了一个新的模型:Sentence-BERT (SBERT),它在预训练的BERT基础之上,使用*孪生网络(siamese network)*和*三元组网络(triplet network)*,对模型进行了微调。这样模型就可以生成句子的嵌入表示(sentence embedding),这些句子的嵌入表示可以直接用来计算句子间的余弦相似度。这样在前面提到的寻找最相似句子的任务中,就无需对每个句子对进行推理,大大减少了计算时间(65小时 -> 5秒),并且不会降低准确率。
496
0
Issued On July 5, 2021, 8:45 p.m.
Summary: 论文使用来自92家公司的1.13亿封邮件,针对横向钓鱼攻击做了大规模分析。横向钓鱼攻击是指:攻击者利用攻破的企业账户向其他人发送钓鱼邮件(即钓鱼邮件的横向传播),利用被劫持者的信任关系获益。本文构建了一个检测横向钓鱼邮件的分类器,检测数数以百计的横向钓鱼邮件,误报为4/1000,000。基于检测到的攻击邮件,结合一些事件的分析,文章进一步 (1) 量化了横向钓鱼的规模;(2) 识别攻击者确定邮件主题和受害者的策略;(3)展示两种攻击者的攻击手法;(4)并且对攻击成功的概率进行了评估。总结下来,文章刻画了企业级攻击者模型和当今企业受钓鱼攻击的现状。
457
0

Issued On July 7, 2021, 12:43 p.m.
Summary: 现在训练深度学习网络的主要方法就是使用SGD优化器及其变体。一些SGD的变体比如:Adam, AdaDelta, Nadam等优化器利用历史梯度更新指数滑动平均的平方根信息。根据经验来看,在许多应用中,这些优化器无法让模型收敛到最优解。本文的分析指出,导致该问题的一个原因就是这些优化器中使用了历史梯度的指数滑动平均信息。文中通过一个简单的例子展示了Adam优化器是如何收敛到了一个非常差的结果的。为了解决此问题,文章提出了一个新的改进的优化器算法*AMSGrad*。该优化器不仅可以解决前面提到的收敛性问题,而且根据实验来看,还可以在一定程度上改善Adam的性能。
2643
0
Issued On July 5, 2021, 10:44 p.m.
Summary: 在分布式机器学习中,如果模型非常大,网络传输效率就会成为瓶颈,那么训练时如何降低网络通信开销就成了一个重要问题。本文研究了一种高效的有损压缩的方法,可以在很大程度上改善网络开销,并且可以保持甚至超过原有的准确率。
2805
0
Issued On July 5, 2021, 10:36 p.m.
Summary: 随着DNN(深度神经网络)的发展,DNN在图像分类任务上的表现足以达到人类的水平。那么DNN对于一张图片的理解和人类是一样的吗?最近的一项研究表明,DNN和人类在对于图片的理解方面有所不同,研究人员可以通过对图片进行一些肉眼无法察觉的改变(比如改变一些像素点的值),就可以让DNN分类器将图片分类为不相关的类别。这对于一些应用来讲问题非常大,比如对于安全性要求较高的图像识别领域(自动驾驶、人脸识别等)。本文对于此类问题,进行了研究,结果表明:可以很容易生成一些对于人类无法识别的图片,但是最好的DNN分类器却可以将其以非常高的置信度将其分类为一个特定类别。
1062
0
Issued On July 5, 2021, 10:24 p.m.
Summary: Yolo 于2015年出现之后,当时就成为了目标检测方面的新星,不但检测准确度提高了,而且在实时性方面的优势更大。但是Yolo一代还存在一些缺点。对此,Yolo的创建者决定提出一个新的方案来在保持原有准确度的情况下解决上述两个问题,作者将其命名为Yolo2。在此yolo2基础上,作者还提出了另外一个模型 Yolo9000,它可以用来实时检测超过9000种目标。Yolo9000甚至可以标出在检测数据集中没有看到过的目标类别(在分类数据集中学习过),该模型在ImageNet的检测任务中给出了一个漂亮的结果。
327
0
Issued On July 5, 2021, 10:10 p.m.
Summary: 本文介绍目标检测模型YOLO的工作原理。这篇文章发出之后已经有了非常多的改进方法,YOLO也出了后续的版本:YOLOv2, YOLOv3等等,后面我们有时间再介绍。理解了YOLO的最初版本之后,应该会更加容易理解其后续版本。 YOLO(You Only Look Once)是一个目标检测网络。目标检测任务的主要工作就是确定对象在一个图片中的位置并且确认该对象的分类。先前的目标检测方法比如R-CNN及其变体使用了类似数据管道(pipline)的方式。这些方法将任务分解为几个步骤,然后分别解决每一个步骤的问题。这种方法的缺点是运行速度慢,并且由于每个部分都是独立的,这些不同的部分很难一起进行优化。YOLO将所有这些步骤都融合到了一个神经网络模型中,大大加快了运行速度。
340
0
Issued On July 5, 2021, 9:59 p.m.
Summary: 本文发表于NDSS 2020,针对智能合约(比如以太坊)提出了一种新的拒绝服务(DoS)攻击方法(资源耗尽型)。
336
0
Issued On July 5, 2021, 9:45 p.m.
Summary: 此文提出了著名的PPO算法,由谷歌 Open AI 于17年发布,对于深度强化学习领域产生了巨大的影响。在此之前,Natural Policy Gradient 算法解决了策略梯度算法的收敛性问题,但是此算法需要计算二阶导矩阵,在实际使用中性能受限,扩展性差。现有许多研究研究工作都是围绕如何通过近似二阶优化算法来降低算法复杂度。PPO算法采用了一个不太一样的方法,它没有引入一个强约束,而是将约束项作为目标函数中的一个惩罚项。这样就可以使用一阶优化算法来进行模型优化,大大降低了算法复杂度。
467
0
Issued On July 5, 2021, 9:30 p.m.
Summary: 本文展示了如何将ResNet结构改变为可逆的结构,这种变更后的结构在分类、密度估计以及内容生成方面都适用。通常,强制网络结构可逆需要对网络进行维度划分并且需要限制网络结构。本文提出的方法仅需要在训练期间添加一个简单的规范化步骤,这在现有的机器学习框架中很容易实现。可逆的ResNets网络可以和现有的最好的图片分类器以及基于流的生成模型相媲美。这在之前,任何单个网络都是无法做到的。
317
0
Issued On July 5, 2021, 9:19 p.m.
Summary: 这篇论文提出了一个新的模型:Sentence-BERT (SBERT),它在预训练的BERT基础之上,使用*孪生网络(siamese network)*和*三元组网络(triplet network)*,对模型进行了微调。这样模型就可以生成句子的嵌入表示(sentence embedding),这些句子的嵌入表示可以直接用来计算句子间的余弦相似度。这样在前面提到的寻找最相似句子的任务中,就无需对每个句子对进行推理,大大减少了计算时间(65小时 -> 5秒),并且不会降低准确率。
496
0
Issued On July 5, 2021, 8:45 p.m.
Summary: 论文使用来自92家公司的1.13亿封邮件,针对横向钓鱼攻击做了大规模分析。横向钓鱼攻击是指:攻击者利用攻破的企业账户向其他人发送钓鱼邮件(即钓鱼邮件的横向传播),利用被劫持者的信任关系获益。本文构建了一个检测横向钓鱼邮件的分类器,检测数数以百计的横向钓鱼邮件,误报为4/1000,000。基于检测到的攻击邮件,结合一些事件的分析,文章进一步 (1) 量化了横向钓鱼的规模;(2) 识别攻击者确定邮件主题和受害者的策略;(3)展示两种攻击者的攻击手法;(4)并且对攻击成功的概率进行了评估。总结下来,文章刻画了企业级攻击者模型和当今企业受钓鱼攻击的现状。
457
0