藁城| 临洮| 科尔沁左翼后旗| 泰来| 建平| 沙雅| 汪清| 博兴| 乐天堂娱乐 万博manbetx娱乐 阳信| 3344666 平武| 广宁| 万全| w88 岐山| 铜梁| 苍南| 手机寰宇浏览器官网 田东| 岱山| betway 灯塔| 寰宇浏览器官方版下载 dafa888.casino手机版 抚州| 亚洲城贵宾最新网页版 垣曲| 墨江| 射洪| 邵阳县| ca88亚洲城手机版 betway必威体育 河间| 东胜| 内丘| 大奖888 曾母暗沙| 临沂| 界首| 连云区| 连云港| 彝良| BR88 武山| 霍邱| 韦德1946 bwin必赢 长乐| 顺昌| 惠来| 天峨| 滦县| uedbet倒闭 德阳| dafa888 什邡| 紫金| fun88 猇亭| manbetⅹ ca888 哈密| 分宜| 房山| 额敏| ww优德88 沧县| 文水| ca888 1xbet吧 井陉矿| 徐州| 娄底| bwin首页 民丰| 科尔沁左翼后旗| 宜丰| 韦德1946 狗万博 马尔康| 衡东| 岱岳| 墨脱| 手机版大发888下载 fun122 逊克| 自贡| 鸡东| 磴口| 邕宁| 蒙山| 云龙| 江华| 绥宁| 云梦| 澄江| 大发彩票网站 长子| 社旗| 获嘉| 新野| 柳城| 正定| 海淀| 内黄| ca888亚洲城 郫县| dafabet手机版中文 兰州| 大奖888娱乐 泌阳| 博乐| 水富| 寰宇浏览器安全赌博 横县| 内丘| 申扎| betway必威 翁源| 通渭| 乐天堂 萍乡| 九龙| 巴南| 阿荣旗| w88手机娱乐 br88冠亚 黑河| 狗万体育官网 前郭尔罗斯| 牟定| 南雄| 中山| 亚洲城贵宾最新网页版 扎赉特旗| 弓长岭| 泾阳| 新版uedbet 徐闻| 冠亚娱乐 东兴| ued体育官网 洛浦| dafabet黄金娱乐场 上林| 通辽| 遵义市| 新蔡| vinbet 汤原| 库伦旗| 呼玛| 韦德1946 衢江| 尉氏| dafabet网页 巴楚| 费县| 东沙岛| 龙州| 代县| 全南| 手机版大发888下载 dafa8888lb 八公山| 延长| 九州娱乐 古冶| 衡阳县| 百度 平鲁| 墨江| 大奖888 滁州| uedbet为什么关了 仙游| 景宁| 商丘| 温江| 张家港| 嘉黎| fun88娱乐 大关| betway88 manbetx官网 亚洲城贵宾最新网页版 贵定| 木兰| 丁青| 乐清| 和硕| www.3344333.com 清河门| 霍林郭勒| 手机客户端下载安装ag 左云| 灵山| br88 黑山| uedbet为什么谢幕 大发888真人赌场 冠亚娱乐 宿州| 东乡| 瓯海| bbin专用浏览器手机版 br88冠亚 武鸣| 承德县| 土默特右旗| 深泽| 金乡| 冠亚br88 长寿| 万博体育app手机投注 遂宁| dafabet888娱乐场 FUN乐天使 滨州| 江西| 亚洲城游戏 manbetx体育滚球 科尔沁左翼后旗| bwin888 咸宁| 漳州| 乐业| 福鼎| 西吉| 冠亚彩票 耿马| 大奖888 兰坪| 蓬安| 石柱| 三水| 梅里斯| 怀安| 万博manbetx官网 betway88.net 狗万全名 bwin88 w88top opebeta 镇平| 18新利 长丰| 张家川| 天祝| 万全| 十堰| 轮台| betway必威 平江| 襄城| 南安| 杂多| 山阴| 大发客户端下载 沽源| w88手机版 新万博体育登录 文登| ca88亚洲城娱乐 溧水| 洪雅| 大方| 宣恩| 罗源| 志丹| 冠亚娱乐 贵南| weide 优德888 弋阳| 靖安| 合作| 岚县| 苹果系统手机ag客户端 永昌| 万博app信任 乌当| 冠亚娱乐 冠亚彩票 新万博manbetx官网 乐天堂fun 中方| 平南| 大奖888官网 冠亚娱乐 fun88 wanbet 遵义市| 湟源| BR88 香河| betway88 庄河|

【治国理政新实践·黑龙江篇】机器人产业布局“龙江智造” 装配产业升级动力引擎

2018-12-11 13:52 来源:中国经济网陕西

  【治国理政新实践·黑龙江篇】机器人产业布局“龙江智造” 装配产业升级动力引擎

  br88ap  台江有40个小区  分别是:保温瓶宿舍,人民医院宿舍,打铁垱新村6座,德盛花园,东顺鞋厂宿舍,锦江新村,三十八中教师楼小区,汀洲新村,福德新村,福寿新村,榕禾花园,创业公寓,港务局新村,鸿发公寓琯前新村15座,南公新村10座-14座,祥安花园,西洋新村5座、6座,交通路88号医大宿舍,白马花园,吉祥小区,锦华新苑,河下园,祥坂新村,红旗新村,阳光新村,汀州园,乃裳园,彬德园,苍霞新城,区委工业局宿舍,永兴楼,灯炮厂宿舍,洋中花园,元兴小区,彬社小区,长寿园,光明世家,亚峰新区,鳌峰小区。  如何扩大小微企业普惠式减税很受关注。

  此外,在鼓励社会力量办园方面,意见提出,政府加大扶持力度,引导社会力量更多举办普惠性幼儿园。据悉,这一航班使用波音787型飞机,每周三趟班次,具体时间为周二、周四和周日。

    上赛季罗宾逊效力于布鲁克林篮网,该赛季他征战了71场常规赛,这一数字是他职业生涯至今的最高,场均能够获得分钟表现时间的他,可以得到分、个篮板。经常看到唐双宁创作过程的李可染画院工作人员称,唐先生创作后经常会大汗淋漓满身疲惫,就好像刚刚经历了一场长途跋涉一样,这种投入经常会让我们感到惊讶。

  福建省地质调查研究院地矿工程师许仙斌说,国外对于地质遗迹、矿业遗迹都有比较规范的保护性法规和做法,通常是依靠设置国家公园的方式对这类遗迹资源加以保护,也有通过设置专门的矿山公园来保护。凭借在中医药行业取得的新成就,江中集团荣获本届“中国工业榜样企业”的荣誉称号。

目前有工人50多名,有一半是贫困户。

  全国各省区市文化和旅游行政部门负责人、重点旅游企业、中央和地方媒体等约250人参加活动。

  比如,广西组建自治区北部湾经济区规划建设管理办公室;广东组建省推进粤港澳大湾区建设领导小组;海南省委全面深化改革委员会加挂省委自由贸易试验区(自由贸易港)工作委员会牌子。电影券、视频会员季卡、还有神秘礼包等你来!龙卡信用卡境外消费享8%返现!龙卡信用卡现金分期贷您幸福

  狂草书和大写意的艺术实践,为唐双宁奠定了抽象艺术创作的门径,在中国传统艺术实践的同时,对于西方艺术世界的了解,让他开始了对二者融合与借鉴的思考。

  抓模式创新,激发市场活力。  台江有40个小区  分别是:保温瓶宿舍,人民医院宿舍,打铁垱新村6座,德盛花园,东顺鞋厂宿舍,锦江新村,三十八中教师楼小区,汀洲新村,福德新村,福寿新村,榕禾花园,创业公寓,港务局新村,鸿发公寓琯前新村15座,南公新村10座-14座,祥安花园,西洋新村5座、6座,交通路88号医大宿舍,白马花园,吉祥小区,锦华新苑,河下园,祥坂新村,红旗新村,阳光新村,汀州园,乃裳园,彬德园,苍霞新城,区委工业局宿舍,永兴楼,灯炮厂宿舍,洋中花园,元兴小区,彬社小区,长寿园,光明世家,亚峰新区,鳌峰小区。

  |||《中国式关系》1-36全集剧透马国梁、江一楠、刘俐俐各自结局如何?《中国式关系》讲述了一个年近40岁的体制内官员马国梁被老婆下属背叛之后离开官场,重新经历职场打拼的幽默故事。

  bwin888要以庆祝改革开放40周年为动力,深化重点领域改革攻坚,全面扩大对内对外开放,扎实推进改革开放事业发展。

  房源分布在岛内和岛外,房型包括面积约45平方米的一房型、面积约60平方米的二房型和面积约70平方米的三房型。二是创新打造“五社联动”服务机制。

  88大奖 狗万体育网站 寰宇浏览器官方版下载

  【治国理政新实践·黑龙江篇】机器人产业布局“龙江智造” 装配产业升级动力引擎

 
责编:
炼数成金 门户 商业智能 深度学习 查看内容

【治国理政新实践·黑龙江篇】机器人产业布局“龙江智造” 装配产业升级动力引擎

万博体育合并 2018年2月1日,新建区委民声通道接到江西省委民声通道转来的人民网网友留言,南昌市新建区流湖镇大岗村村民反映,义渡大桥被拆后,两岸数千村民只能搭乘小型轮渡过江,存在安全隐患。

2018-1-9 10:04| 发布者: 炼数成金_小数| 查看: 32546| 评论: 0|原作者: Thalles Silva|来自: 雷克世界

摘要: 让我们假设这样一种情景:你的邻居正在举办一场非常酷的聚会,你非常想去参加。但有要参加聚会的话,你需要一张特价票,而这个票早就已经卖完了。而对于这次聚会的组织者来说,为了让聚会能够成功举办,他们雇佣了一 ...

网络 工具 模型 框架 内核

让我们假设这样一种情景:你的邻居正在举办一场非常酷的聚会,你非常想去参加。但有要参加聚会的话,你需要一张特价票,而这个票早就已经卖完了。

而对于这次聚会的组织者来说,为了让聚会能够成功举办,他们雇佣了一个合格的安全机构。主要目标就是不允许任何人破坏这次的聚会。为了做到这一点,他们在会场入口处安置了很多警卫,检查每个人所持门票的真实性。

考虑到你没有任何武术上的天赋,而你又特别想去参加聚会,那么的办法就是用一张非常有说服力的假票来骗他们。

但是这个计划存在一个很大的bug——你从来没有真正看到过这张门票到底是什么样的。所以,在这种情况下,如果你仅是根据自己的创造力设计了一张门票,那么在第一次尝试期间就想要骗过警卫几乎是不可能的。除此之外,除非你有一个很好的关于此次聚会的门票的复印件,否则你较好不要把你的脸展露出来。

为了帮助解决问题,你决定打电话给你的朋友Bob为你做这个工作。

Bob的任务非常简单。他会试图用你的假通行证进入聚会。如果他被拒绝了,他将返回,然后告诉你一些有关真正的门票应该是什么样的建议。

基于这个反馈,你可以制作一张全新版本的门票,然后将其交给Bob,再去检票处尝试一下。这个过程不断重复,直到你能够设计一个完美的门票“复制品”。
 
这是一个必须去的派对。而下面这张照片,其实是我其实从一个假票据生成器器网站上拿到的。
 


对于上面这个小故事,抛开里面的假想成分,这几乎就是生成对抗网络(GAN)的工作方式。

目前,生成对抗网络的大部分应用都是在计算机视觉领域。其中一些应用包括训练半监督分类器,以及从低分辨率图像中生成高分辨率图像。

本篇文章对GAN进行了一些介绍,并对图像生成问题进行了实际实践。你可以在你的笔记本电脑上进行演示。

生成对抗网络(Generative Adversarial Networks)
 

生成对抗网络框架

GAN是由Goodfellow等人于2014年设计的生成模型。在GAN设置中,两个由神经网络进行表示的可微函数被锁定在一个游戏中。这两个参与者(生成器和鉴别器)在这个框架中要扮演不同的角色。

生成器试图生成来自某种概率分布的数据。即你想重新生成一张聚会的门票。

鉴别器就像一个法官。它可以决定输入是来自生成器还是来自真正的训练集。这就像是聚会中的安保设置,比将你的假票和这正的门票进行比较,以找到你的设计中存在的缺陷。
 


 我们将一个4层卷积网络用于生成器和鉴别器,进行批量正则化。对该模型进行训练以生成SVHN和MNIST图像。以上是训练期间SVHN(上)和MNIST(下)生成器样本

总而言之,游戏如下:
•生成器试图较大化鉴别器将其输入错认为正确的的概率。

•鉴别器引导生成器生成更逼真的图像。

在完美的平衡状态中,生成器将捕获通用的训练数据分布。结果,鉴别器总是不确定其输入是否是真实的。


 摘自DCGAN论文。生成器网络在这里实现。注意:完全连接层和池化层的不存在

在DCGAN论文中,作者描述了一些深度学习技术的组合,它们是训练GAN的关键。这些技术包括:(i)所有的卷积网络;(ii)批量正则化(BN)。

第一个强调的重点是带步幅的卷积(strided convolutions),而不是池化层:增加和减少特征的空间维度;第二个是,对特征向量进行正则化以使其在所有层中具有零均值和单位方差。这有助于稳定学习和处理权重不佳的初始化问题。

言归正传,在这里阐述一下实施细节,以及GAN的相关知识。我们提出了深度卷积生成对抗网络(DCGAN)的实现。我们的实现使用的是Tensorflow并遵循DCGAN论文中描述的一些实践方法。

生成器
该网络有4个卷积层,所有的位于BN(输出层除外)和校正线性单元(ReLU)激活之后。

它将随机向量z(从正态分布中抽取)作为输入。将z重塑为4D形状之后,将其馈送到启动一系列上采样层的生成器中。

每个上采样层都代表一个步幅为2的转置卷积(Transpose convolution)运算。转置卷积与常规卷积类似。

一般来说,常规卷积从宽且浅的层延展为更窄、更深的层。转移卷积走另一条路。他们从深而窄的层次走向更宽更浅。

转置卷积运算的步幅定义了输出层的大小。在“相同”的填充和步幅为2时,输出特征的大小将是输入层的两倍。

发生这种情况的原因是,每次我们移动输入层中的一个像素时,我们都会将输出层上的卷积内核移动两个像素。换句话说,输入图像中的每个像素都用于在输出图像中绘制一个正方形。
 

将一个3x3的内核在一个步幅为2的2x2输入上进行转置,就相当于将一个3x3的内核在一个步幅为2的5x5输入上进行卷积运算。对于二者,均不使用填充“有效”

简而言之,生成器开始于这个非常深但很窄的输入向量开始。在每次转置卷积之后,z变得更宽、更浅。所有的转置卷积都使用5x5内核的大小,且深度从512减少到3——代表RGB彩色图像。

def transpose_conv2d(x, output_space):
    return tf.layers.conv2d_transpose(x, output_space, 
      kernel_size=5, strides=2, padding='same',
      kernel_initializer=tf.random_normal_initializer(mean=0.0,
                                                      stddev=0.02))

最后一层通过双曲正切(tanh)函数输出一个32x32x3的张量——值在-1和1之间进行压缩。

这个最终的输出形状是由训练图像的大小来定义的。在这种情况下,如果是用于SVHN的训练,生成器生成32x32x3的图像。但是,如果是用于MNIST的训练,则会生成28x28的灰度图像。

最后,请注意,在将输入向量z馈送到生成器之前,我们需要将其缩放到-1到1的区间。这是遵循使用tanh函数的选择。

def generator(z, output_dim, reuse=False, alpha=0.2, training=True):
    """
    Defines the generator network
    :param z: input random vector z
    :param output_dim: output dimension of the network
    :param reuse: Indicates whether or not the existing model variables should be used or recreated
    :param alpha: Scalar for lrelu activation function
    :param training: Boolean for controlling the batch normalization statistics
    :return: model's output
    """
    with tf.variable_scope('generator', reuse=reuse):
        fc1 = dense(z, 4*4*512)

        # Reshape it to start the convolutional stack
        fc1 = tf.reshape(fc1, (-1, 4, 4, 512))
        fc1 = batch_norm(fc1, training=training)
        fc1 = tf.nn.relu(fc1)

        t_conv1 = transpose_conv2d(fc1, 256)
        t_conv1 = batch_norm(t_conv1, training=training)
        t_conv1 = tf.nn.relu(t_conv1)

        t_conv2 = transpose_conv2d(t_conv1, 128)
        t_conv2 = batch_norm(t_conv2, training=training)
        t_conv2 = tf.nn.relu(t_conv2)

        logits = transpose_conv2d(t_conv2, output_dim)

        out = tf.tanh(logits)
        return out

鉴别器
鉴别器也是一个包含BN(除了其输入层之外)和leaky ReLU激活的4层CNN。许多激活函数都可以在这种基础GAN体系结构中进行良好的运算。但是leaky ReLUs有着非常广泛的应用,因为它们可以帮助梯度在结构中更轻易地流动。

常规的RELU函数通过将负值截断为0来工作。这样做的效果是阻止梯度流通过网络。leaky ReLU允许一个小负值通过,而非要求函数为0。也就是说,函数用来计算特征与小因素之间的较大值。

def lrelu(x, alpha=0.2):
     # non-linear activation function
    return tf.maximum(alpha * x, x)

leaky ReLU表示了一种解决崩溃边缘ReLU问题的尝试。这种情况发生在神经元陷于某一特定情况下,此时ReLU单元对于任何输入都输出0。对于这些情况,梯度完全关闭以通过网络回流。

这对于GAN来说尤为重要,因为生成器必须学习的方法是接受来自鉴别器的梯度。


 

(上)ReLU,(下)leaky ReLU激活函数。 请注意,当x为负值时, leaky ReLU允许有一个小的斜率

这个鉴别器首先接收一个32x32x3的图像张量。与生成器相反的是,鉴别器执行一系列步幅为2的卷积。每一种方法都是通过将特征向量的空间维度缩小一半,从而使学习过滤器的数量加倍。

最后,鉴别器需要输出概率。为此,我们在最后的逻辑(logits)上使用Logistic Sigmoid激活函数。

def discriminator(x, reuse=False, alpha=0.2, training=True):
    """
    Defines the discriminator network
    :param x: input for network
    :param reuse: Indicates whether or not the existing model variables should be used or recreated
    :param alpha: scalar for lrelu activation function
    :param training: Boolean for controlling the batch normalization statistics
    :return: A tuple of (sigmoid probabilities, logits)
    """
    with tf.variable_scope('discriminator', reuse=reuse):
        # Input layer is 32x32x?
        conv1 = conv2d(x, 64)
        conv1 = lrelu(conv1, alpha)

        conv2 = conv2d(conv1, 128)
        conv2 = batch_norm(conv2, training=training)
        conv2 = lrelu(conv2, alpha)

        conv3 = conv2d(conv2, 256)
        conv3 = batch_norm(conv3, training=training)
        conv3 = lrelu(conv3, alpha)

        # Flatten it
        flat = tf.reshape(conv3, (-1, 4*4*256))
        logits = dense(flat, 1)

        out = tf.sigmoid(logits)
        return out, logits

需要注意的是,在这个框架中,鉴别器充当一个常规的二进制分类器。一半的时间从训练集接收图像,另一半时间从生成器接收图像。

回到我们的故事中,为了复制聚会的票,你的信息来源是朋友Bob的反馈。换言之,Bob在每次尝试期间向你提供的反馈的质量对于完成工作至关重要。

同样的,每次鉴别器注意到真实图像和虚假图像之间的差异时,都会向生成器发送一个信号。该信号是从鉴别器向生成器反向流动的梯度。通过接收它,生成器能够调整其参数以接近真实的数据分布。

这就是鉴别器的重要性所在。实际上,生成器将要尽可能好地产生数据,因为鉴别器正在不断地缩小真实和虚假数据的差距。

损失
现在,让我们来描述这一结构中最棘手的部分——损失。首先,我们知道鉴别器收集来自训练集和生成器的图像。

我们希望鉴别器能够区分真实和虚假的图像。我们每次通过鉴别器运行一个小批量(mini-batch)的时候,都会得到逻辑(logits)。这些是来自模型的未缩放值(unscaled values)。

然而,我们可以将鉴别器接收的小批量(mini-batches)分成两种类型。第一种类型只由来自训练集的真实图像组成,第二种类型只包含由生成器生成的假图像。

def model_loss(input_real, input_z, output_dim, alpha=0.2, smooth=0.1):
    """
    Get the loss for the discriminator and generator
    :param input_real: Images from the real dataset
    :param input_z: random vector z
    :param out_channel_dim: The number of channels in the output image
    :param smooth: label smothing scalar
    :return: A tuple of (discriminator loss, generator loss)
    """
    g_model = generator(input_z, output_dim, alpha=alpha)
    d_model_real, d_logits_real = discriminator(input_real, alpha=alpha)

    d_model_fake, d_logits_fake = discriminator(g_model, reuse=True, alpha=alpha)

    # for the real images, we want them to be classified as positives,  
    # so we want their labels to be all ones.
    # notice here we use label smoothing for helping the discriminator to generalize better.
    # Label smoothing works by avoiding the classifier to make extreme predictions when extrapolating.
    d_loss_real = tf.reduce_mean(
        tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_real, labels=tf.ones_like(d_logits_real) * (1 - smooth)))

    # for the fake images produced by the generator, we want the discriminator to clissify them as false images,
    # so we set their labels to be all zeros.
    d_loss_fake = tf.reduce_mean(
        tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.zeros_like(d_model_fake)))

    # since the generator wants the discriminator to output 1s for its images, it uses the discriminator logits for the
    # fake images and assign labels of 1s to them.
    g_loss = tf.reduce_mean(
        tf.nn.sigmoid_cross_entropy_with_logits(logits=d_logits_fake, labels=tf.ones_like(d_model_fake)))

    d_loss = d_loss_real + d_loss_fake

    return d_loss, g_loss

由于两个网络同时进行训练,因此GAN需要两个优化器。它们分别用于最小化鉴别器和发生器的损失函数。

我们希望鉴别器输出真实图像的概率接近于1,输出假图像的概率接近于0。要做到这一点,鉴别器需要两部分损失。因此,鉴别器的总损失是这两部分损失之和。其中一部分损失用于将真实图像的概率较大化,另一部分损失用于将假图像的概率最小化。
 

比较真实(左)和生成的(右)SVHN样本图像。虽然有些图像看起来很模糊,且有些图像很难识别,但值得注意的是,数据分布是由模型捕获的

在训练开始的时候,会出现两个有趣的情况。首先,生成器不清楚如何创建与训练集中图像相似的图像。其次,鉴别器不清楚如何将接收到的图像分为真、假两类。

结果,鉴别器接收两种类型截然不同的批量(batches)。一个由训练集的真实图像组成,另一个包含含有噪声的信号。随着训练的不断进行,生成器输出的图像更加接近于训练集中的图像。这种情况是由生成器学习组成训练集图像的数据分布而造成的。

与此同时,鉴别器开始真正善于将样本分类为真或假。结果,这两种小批量(mini-batch)在结构上开始相互类似。因此,鉴别器无法识别出真实或虚假的图像。

对于损失,我们认为,使用具有Adam算法的vanilla交叉熵(vanilla cross-entropy)作为优化器是一个不错的选择。
 

比较real(左)和Generate(右)MNIST示例图像。由于MNIST图像具有更简单的数据结构,因此与SVHN相比,该模型能够生成更真实的样本

目前,GANs是机器学习中最热门的学科之一。这些模型具有解开无监督学习方法(unsupervised learning methods)的潜力,并且可以将ML拓展到新领域。

自从GANs诞生以来,研究人员开发了许多用于训练GANs的技术。在改进过后的GANs训练技术中,作者描述了图像生成(image generation)和半监督学习(semi-supervised learning)的技术。

原文链接:https://medium.freecodecamp.org/an-intuitive-introduction-to-generative-adversarial-networks-gans-7a2264a81394

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-12-11 16:35 , Processed in 0.319788 second(s), 23 queries .