新竹县| 兰坪| 云霄| 铁山港| 扶绥| 宜城| 唐海| 长垣| manbetx体育 br88ap 留坝| 冠亚1.85 长寿| 旌德| 佳县| 博管理 中江| 绥棱| 石景山| tempbet天博博彩 抚宁| 包头| w88win 安西| 万博manbetx体育 冠亚br88 渭南| 万博manbetx娱乐 阿巴嘎旗| 长安| 宁陵| 十堰| bwin 手机博彩用什么浏览器 连南| 富裕| 普陀| fun88乐天堂 措美| 道真| 嘉兴| 林周| 莲花| 聊城| opebet怎么样 佳县| 宜宾县| br88 fun88 景德镇| 纳溪| 台儿庄| 罗平| 化隆| 万博manbetx 开原| manbetx网页 巴青| 淳安| wofacaidafa888 宁陕| 万博体育app br88冠亚 乌拉特前旗| 安县| 安宁| 巴林左旗| 万博体育官网 高密| 招远| manbetx 优德88 金乡| 土默特左旗| 建始| 冠亚娱乐 鸡西| 洪洞| 安康| bwin88 3344555开奖结果 错那| 墨江| 龙州| 赣榆| 大奖888 uedbet赫塔菲 竹溪| 慈溪| 金乡| 乐平| 沙县| 栖霞| 建平| 河曲| 永春| 德清| 宁南| br88冠亚 万宁| 盈江| 延长| 磁县| 铜山| 霍林郭勒| 莆田| 科尔沁右翼中旗| dafabet888娱乐场 太仆寺旗| br88冠亚 红星| manbetx万博官网 集贤| 老河口| 滨州| bwin88官网 临县| 吉林| 武夷山| bifa888 嵩明| 巴彦| w88 合阳| 东胜| 云龙| 团风| 冠亚娱乐 betway 吉木萨尔| 亚洲城官网是什么 雷州| 阳新| 安康| 察哈尔右翼中旗| ca888.com 晋中| 鄂托克旗| 柳江| BR88 巴林右旗| bwin首页 乐亭| 万博app有假的吗 武川| dafa888娱乐 武陵源| 溧水| 南涧| 科尔沁右翼前旗| 亚洲城ca88手机版注册 美溪| 陈仓| 孟连| 3344222 永春| 济南| manbetx登陆 江华| 广灵| 宁武| 康马| 称多| 莎车| 狗万滚球App下载 万博体育西甲 察哈尔右翼前旗| 武清| w88 遵义市| 浦口| 冠亚娱乐 同心| 台山| 万博manbet官网 临潭| 大发888在线网址 珠海| 鄢陵| 师宗| 宜秀| 滨海| 达尔罕茂明安联合旗| wanbetx万博体育 开平| 大发888真人赌场 大奖彩票 dafabet娱乐经典版 长阳| 绍兴市| 天门| 海门| 尉犁| 大奖888官网 广东| 环县| 大发888赌场 开封县| 新洲| manbetx娱乐 梧州| W88优德 betway88 w88top优德官网中文版 盐源| 息烽| 镇雄| 冠亚娱乐 亚洲城88 平邑| 木兰| 泉港| 绍兴县| 榆中| manbetx体育 丽水| 优德w88 务川| br88 manbet 称多| 九台| fun78 万博manbetx客户端 全州| ca88亚洲城娱乐 宣恩| 蔡甸| 安陆| 武陵源| 岳普湖| ca88 文县| 冠亚彩票 富拉尔基| 大安| 洪湖| 旌德| 广水| 阿拉善左旗| manbetx dafabet娱乐经典版 3344555开奖结果 betway 优德w88 manbetx 六盘水| 冠亚娱乐 玛纳斯| 开江| 南沙岛| 洱源| 阜城| 大港| betway必威 紫云| 永靖| 奇台| 大同区| 盐津| 冠亚娱乐br88 儋州| 必威体育 betway 昌图| br8847 皋兰| 鹤峰| 肇东| 台南市| 岐山| 云县| dafa888.casino 化州| 万博体育app ca88 江夏| 闻喜| 修水| 安陆| 万博manbetx主页 东丰| 冠亚娱乐 隆尧| manbetx代理 dafa888bet 万博app2.0 dafa888bet 阿拉善右旗| 洋山港| betway88 fun88 dafa888.casino betway必威 长丰| 孟州| 冠亚br88 尤溪| 大发彩票网站 连云区|

加大对农产品品牌的保护力度

2018-12-11 13:51 来源:中青网

  加大对农产品品牌的保护力度

  bifa88”海外媒体如此评价该剧。  紧跟着,地方层面也动作频出:北京、广州、深圳等地都拿出方案驰援民营上市公司;浙江杭州打出了“4+0”政策组合拳(“4”指四大百亿元计划,“0”指加快推进涉企行政事业性收费零收费);浙江温州提出“像尊重科学家一样尊重企业家”,并明确“对一些民企历史上不规范行为,按罪刑法定、疑罪从无处理”、对小微企业贷款的不良率容忍度可比平均贷款不良率容忍度高出2个百分点等,都颇具代表性。

2018-11-1210:01改革开放40年来,中国电影取得了辉煌成就,2017年创造高达559亿元票房,一举跃升为仅次于北美地区的全球第二大电影市场。该书主编、方静生前的挚友黄开蒙介绍了书名的渊源,希望读者能够了解方静的初心,从她的故事中思考和探究幸福人生的真谛,自觉提升人格高度和生命质量,实现心有所归。

  但也应当看到,文化产品和服务存在“有数量,缺质量”的问题。  在纪念中国改革开放40周年暨网络文学20周年之际,享有“网络文学百晓生”之誉的夏烈,以网络文学研究者、批评者、策划者的角度,以“大神们——我和网络作家这十年”为题,写下了这个时期他和“网文大神”们的故事,为这个阶段的网络文学发展保留了珍贵的资料。

  2018-11-1509:0111月14日,在石家庄市行唐县铁匠庄村,李住军在工作室查看剑面纹理。其次,二者的表达载体不一样,容量也是不一样的。

残酷不是通过歇斯底里的嚎叫和激烈的复仇来展示,而恰恰通过对水面涟漪的抓取,来探幽海底的波涛汹涌。

  2018-11-1408:47这是11月12日在瑞士苏黎世湖畔拍摄的深秋景色。

  近日,江苏省多地晚稻迎来收获季,当地农民抢抓晴好天气,确保水稻颗粒归仓,田间地头一片繁忙景象。2018-11-1509:01初冬时节,安徽省黄山市黟县塔川村落层林尽染,美不胜收。

  2018-11-1510:07电视剧《新流星花园》播完,因口碑较差,未能实现预期的火爆。

  像诺贝尔文学奖获得者库切,他的每一部小说都是在探索新的东西,要么是形式的探索,要么是题材的探索,要么是思想的探索。这也正是由国家顶尖学者专家组成专门的工作班子来进行此项工作的因由。

  2018-11-1609:24以金庸作品为代表的武侠小说,开启了年轻心灵对英雄的崇拜。

  3344111如今,这样的创作“铁律”正在被娓娓道来的“生活诗意”瓦解——从琐碎的日常与微妙的人际交往中寻找看点的节目,正在获得越来越多的关注。

  雅各布斯对《唐璜》的音乐、歌唱以及戏剧都表达得精妙异常,虽然没有舞台制作,但那一年年末盘点,我还是把它列为当年北京舞台上的歌剧。但中国电影的多样化以及创作的高峰并没有随着市场的繁荣而出现,电影产业也面临前所未有的挑战,急需转变发展路径。

  bwin888 万博体育app 亚洲城ca88

  加大对农产品品牌的保护力度

 
责编:
炼数成金 门户 商业智能 芯片 查看内容

加大对农产品品牌的保护力度

ca88亚洲城手机版网址 《补玉山居》有一种文化归属与细节描述的双重失焦,是因为作者对所写地方的风土人情不熟悉,更缺少爱。

2018-1-22 11:23| 发布者: 炼数成金_小数| 查看: 52809| 评论: 0|原作者: 吴臻志|来自: 机器之心

摘要: 语音识别(语音转文字),包括语音命令,语音听写和语音转录。语音命令往往比较短,例如“发短信给xxx”,“打开电视机”等等。语音听写则是对近场清晰语音的人对机听写,需要有一定的实时性。可以识别完整的一句话 ...

网络 算法 神经网络 深度学习 芯片

目前,语音文本类深度学习应用主要分为几个大的方面:
1. 语音识别(语音转文字),包括语音命令,语音听写和语音转录。语音命令往往比较短,例如“发短信给xxx”,“打开电视机”等等。语音听写则是对近场清晰语音的人对机听写,需要有一定的实时性。可以识别完整的一句话或一段内容。语音转录做的是人人对话(例如会议)时的速录员的工作,可以是非实时的录音,可以采用更复杂的处理技术。目前语音识别大类,尤其是后两者主要还是依靠调用云端API实现。在终端化上还处于尝试期。另外,对学习者的口语进行评分,也属于语音识别的范畴。

2. 语音生成(文字转语音(TTS))
文字转语音比较明确,主要用于读出给定的文本,也可以进行风格化,即模仿某个人的声音。目前采用终端和云端都可以实现这个功能,甚至手机本身就可以处理。其难点是需要妥善处理分词、多音字和语气。

3. 人机对话(Chatbot)
这是文本处理的最典型的应用,主要用于聊天/客服机器人。有时候也会结合前两者用于人机语音对话,例如智能音箱。目前人机对话整体还处于一问一答阶段,基于上下文的对话机制仍处研究阶段,但对于特定场景,例如客服机器人,可以进行一定程度的多轮对话。人机对话往往和搜索引擎结合起来使用,当无法作出准确回答时,往往会提供搜索结果。

4. 自然语言处理(NLP)
当前的自然语言处理技术可以对一段文字进行词法分析(中文分词、词性标注、命名实体识别等),从而提供出用词统计信息,提取关键词,分析词与词的相似度等。句法分析可以得到句子的结构和词的依赖关系。找到句子的成分,分析语干,将非结构化的语言转换成一个结构化的语义框架,从而可以通过分析、数据库查找等技术进一步实现语义理解和知识挖掘。采用上述技术可以构建出知识图谱,将大量背景知识与当前的输入连接起来,可用于搜索的联想和商品推荐等应用。另外,也可以实现评论观点抽取、情感分析、阅读理解等。
另一个大类是翻译,往往指任意语言对的篇章级别翻译。

5. 视频和语言结合的应用
主要的应用是视频理解,即将一段视频转换为描述文字或结构化信息。
上述应用都属于自然信息的处理,另外一类是创作,例如音乐生成,写诗、创作文章等最近几年也取得了突破性进展。

这些领域在深度学习到来之前都有各自的发展,但都在深度学习中获得了发展提高。例如语音识别从原先GMM-HMM的基础框架向DNN-HMM框架转型,再到DNN-CTC转型。又例如在NLP中,规则和统计模型构建的词性-句法-语义多步方法被引入了CNN,LSTM的直接的跨步骤特征提取方法所革新。下面介绍一下使得这些领域取得革命性突破的深度学习框架

1. 时序分析系列神经网络
由于语音和文本具有很强的时序特性。而由于卷积网的平移不变性使得对时序序列分析能力有一定程度的欠缺,因此需要带有时间能力的神经网络补充它的不足。循环神经网络(RNN)及其衍化形式长短时记忆网络(LSTM)和门控循环单元(GRU)是典型代表,广泛应用于大量语音文本分析领域。由于这些网络只阐明了当前状态和历史的关系,而有时,当前状态会同时依赖于历史和未来,因此双向时序网络,例如BRNN,BLSTM得到了较多的应用,这种类型的网络可以认为是正向时间的时序网络和一个反向时间的时序网络合在了一起。值得注意的是,这些网络结构可以铺多层,即一层的输出是另一层的输入,组成更强大的时序网络。值得注意的是,由于RNN具有梯度弥散问题,因此实际应用时,几乎还是使用的其衍化形式,例如LSTM和GRU。GRU和LSTM相比性能上难分伯仲,可根据具体应用选择,而在资源开销上,GRU较LSTM更具优势,RNN占用资源最少,但实用性较低。
 
2. 深度学习技术
本用于视频领域的卷积神经网络(CNN)在语音/文本处理上获得了广泛应用。例如对音频识别起到了一定程度的改善作用。此时输入变为二维的语谱图(时间-频率图)。对于句子理解,有时会直接把一句话按照每单词作为一行(单词的高维向量表示),组成“图像”,通过CNN进行降维和特征提取。分析结果可以用于分类和对话。多层感知机网络(MLP)在这些网络中发挥着强大的胶水连接作用,以及Word embedding的作用等。对于阅读理解和多轮对话等应用,关注(Attention)机制可以从上下文或者历史知识中提取出对当前任务有用的因素,简单的关注可以认为是一种动态权重下的加权求和操作。
 
3. 非神经网络的分析技术
值得注意的是,文本/语音处理区别于视频处理的一大特色是,这些神经网络技术目前大部分情况还没法构成端到端的应用,因此这些先进的神经网络往往需要和传统的非神经网络技术混搭使用。例如,对于语音识别技术,往往可以分为语音模型、文本模型、搜索三部分。语音模型中的前期处理已经逐渐被CNN、LSTM等神经网络技术所替代,而后部为了解决语音的速率问题,还需要采用基于状态切换的HMM模型,或者基于搜索的音素合并算法CTC(BeamSearch)。这些算法可以有效弥补当前神经网络没有变长的时序(t)表达能力的问题。另外,对于文本模型而言,N-gram仍然具有很高的应用性,虽然也有基于RNN替代方法,但未必会产生完全替代。

综合以上情况,对于语音文本类应用而言,需求度分析可以整理如下表。


在神经网络实现细节变化方面,我们需要进一步考察。在文本和语音领域,激活函数往往不是ReLU,而是一些非线性函数。因此对数据精度的要求比较高,目前成熟的仍然是浮点。近几年有关于8b的LSTM结构研究,甚至部分量化为更低精度的研究,但并不能保证通用性。因此建议采用浮点数据类型。另外,残差连接对于语音识别仍具有意义。


在预处理方面,语音和文字都有各自较为成熟的预处理方案。对于语音,主要需要构建语谱图。有些时候也可以直接用音频作为输入。而对于文本,主要需要先将词分开并表示为向量。主要算法如表所示。

语音在经过神经网络进行处理后,后期处理的主要技术包括HMM或CTC,以及N-gram。

根据四元拆分方法,一个数字IP核分为控制,计算,存储,互联四个大的部分,下表对每一部分的需求进行简述。

在接口方面,主要考虑是嵌入式平台还是云平台,其中嵌入式平台往往直接通过麦克风获取语音,而对于远场而言,阵列麦克风模块是较好的选择。对于云而言,数据主要通过PCI-E或者网口传输。由于这些神经网络结构需要更大的内存开销,因此DDR/HBM需求较高。

对系统的整体理解有助于我们设计它的支撑平台,因此我们以上文的砖块为基础,重点介绍目前处于领先地位的若干神经网络体系结构。例中以知名公司推出的语音/文本处理神经网络算法为主要关注点。大多具有公开论文作为参考。可以得出的结论是,商业级别的LSTM(GRU)的单层尺寸一般为1000-2000左右,会放置3~7层。卷积网及其各类变种都有应用。CTC是目前较为流行的语音识别后端处理模式。Attention机制会有长远发展,值得关注。详细情况如表所示。

注:BLSTM, BGRU在有些文献中也写作biLSTM,biGRU。

今音频/文本处理正在深度学习的轨道上快速发展。例如谷歌的LAS算法在本文写作几天前公布,大大简化了语音识别框架,百度Deep Voice 3在大半个月前公布,训练速度提升了10倍。各大公司相继推出了基于深度学习算法的语音识别网络[8]。在NLP方面[7],深度学习也正在进行着前所未有的变革。值得注意的是这些变革是刚性的,因为它确实刷新了各项性能指标,把相关领域研究推向了新的高度。另外,很多任务会加入很多个性化算法元素,而不是单纯的神经网络结构。飞速的算法进展以及个性化传统算法的引入给芯片设计的灵活度带来了考验。
 
综上,本文分析了当前语音文本深度学习算法的主要应用场景,阐述了支持这些应用场景的芯片应支持何种深度学习算法,最后分析了若干知名技术方案中这些网络的使用情况。结论为(1)大量深度学习算法和神经网络结构是这些领域的最优性能的必需算法,因此这些应用具有很强的神经网络加速需求。(2)仿存量远大于CNN,可以理解为存储访问带宽主导的设计。其特点可能会导致片上内存的增大和近内存计算架构得到长足发展。(3)语音/文本类网络结构复杂,传统处理算法和神经网络变种需要高效支持。我们期待未来会有更多的芯片公司关注语音/文本类深度学习应用的加速,开发出令人激动的新品,让这些应用能够走进每个人的日常生活。

由于此文涉及面较广,有可能不够准确,在此仅供抛砖引玉之用,各位如见到有错误和不足之处请务必留言指出。

Reference
[1]. Google LAS (https://arxiv.org/pdf/1712.01769.pdf)
[2]. Deep Speech 2 (https://arxiv.org/abs/1512.02595, http://blog.csdn.net.cacaoa.cn/xmdxcsj/article/details/54848838)
[3]. DFCNN (http://blog.csdn.net.cacaoa.cn/real_myth/article/details/52274005)
[4]. SLING (https://arxiv.org/abs/1710.07032)
[5]. WaveNet (https://deepmind.com/blog/wavenet-generative-model-raw-audio/, https://arxiv.org/pdf/1609.03499.pdf)
[6]. Deep Voice 3 (https://arxiv.org/abs/1710.07654, Deep Voice 2 https://arxiv.org/abs/1705.08947, http://news.zol.com.cn.cacaoa.cn/631/6315926.html)  Deep Voice 1 https://arxiv.org/abs/1702.07825
[7]. NLP进展 (http://www.sohu.com.cacaoa.cn/a/210427622_465975)
[8]. 语音识别网络对比 (http://www.360doc.com.cacaoa.cn/content/17/0729/00/41022878_675010230.shtml)

- END -

作者简介:
吴臻志博士,清华大学类脑计算研究中心助理研究员。专长神经网络芯片设计,众核芯片设计,神经网络高效实现等。

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-12-11 15:06 , Processed in 0.175121 second(s), 24 queries .