抖店动销，抖店体验分提升。抖店任何业务可添加微信：ad07668
问题一：在NLP任务中，词向量维度（embeddingsize）是否一定要等于LSTM隐藏层节点数（hiddensize）？词向量（WordEmbedding）可以说是自然语言处理任务的基石，运用深度学习的自然语言处理任务更是离不开词向量的构造工作。在文本分类，问答系统，机器翻译等任务中，LSTM的展开步数（num_st
问题一：在NLP任务中，词向量维度（embedding size）是否一定要等于LSTM隐藏层节点数（hidden size）？
词向量（Word Embedding）可以说是自然语言处理任务的基石，运用深度学习的自然语言处理任务更是离不开词向量的构造工作。在文本分类，问答系统，机器翻译等任务中，LSTM的展开步数（num_step）为输入语句的长度，而每一个LSTM单元的输入则是语句中对应单词或词组的词向量。
对于embedding size是否一定要等于LSTM的hidden size 这样一个问题，我们可以通过了解单个LSTM单元的原理来进行回答。
我们输入LSTM的 input vector，也就是每个单词的word embedding这里称为vector A，LSTM的三个gate的控制是通过vector A来控制的，具体方法是通过乘以权重矩阵（weight），再加上偏置值（bias）形成新的一个vector，这个vector我们可以理解成gate的控制信号。而控制三个gate就需要三组不同的weight 和bias。LSTM传入神经网络输入层输入的vector（称为vector B）跟产生的三个控制信号的方法一样，也是通过vector A乘以一组weight 和bias产生。
这里放几张图片再来解释说明一下
Xt就是我们的word embedding vector，也就是上面说的vector A，通过四组不同的weight 和bias的作用生成，Zf，Zi，Z，Zo四组新的vector，其中Zf，Zi，Zo，分别作为forget gate，input gate和output gate的控制信号，而Z就是神经网络输入层的输入，也就是我们上面所处的vector B。embdedding szie指的是Xt的维度，而hidden size指的是Zf，Zi，Z，Zo的维度。而这也就是为什么LSTM的参数值为普通神经网络的四倍了。
解释了这么多，其实也就回答我们这个问题，word embedding vector乘以了权重矩阵weight，从而将维度变化为了hidden size的维度，所以我们在设置embedding size和hidden size 时，二者的值不一定必须相等。
问题二：在多层LSTM中，词向量维度（embedding size）是否一定要等于LSTM隐藏层节点数（hidden size）？
这个问题是我自己在项目中遇到的一个问题，具体模型就是 基于Tensorflow的LSTM-CNN文本分类模型 中的这个模型，在将LSTM层数设置为2层时，代码报错。
根据问题一的解释，多层LSTM的embedding size实际上也不必等于hidden size的，可以通过设置不同shape的weight和bias来实现（第一层与后续层数设置为不同）。
但在Tensorflow实现多层LSTM时，使用的函数tf.contrib.rnn.MultiRNNcell（）会自动将累加的LSTM的参数设为相同的shape，或者说，是模块化的直接累加LSTM层数。这样得来的多层LSTM网络，其参数weight和bias的shape都是相同的，所以当设置不同的embedding size和hidden size时会报错，更改为相同值时error消失。
在NLP任务中通常需要使用预先训练好的词向量来加快训练速度，而LSTM的hidden size也是在训练调参时需要进行调整的重要参数，所以我还在寻找如何解决Tensorflow中多层lstm的hidden size和embedding size不相等的问题，也希望有经验的朋友能多多赐教。
抖店动销，抖店体验分提升。抖店任何业务可添加微信：ad07668
如若转载，请注明出处：https://www.zg8899.cn/30545.html
相关推荐
-
抖音小店关了后悔了（抖音小店关闭后多久可以重新开）
本文目录一览：1、抖音店铺退店了怎么办？2、抖音小店放弃入驻会有什么后果3、抖音店铺不小心改为永久关闭怎么办抖音店铺退店了怎么办？抖音店铺被退店，只要订单在售后期限内，正当的理由可申请退款，方法如下：工具／原料：vivoY52S、FuntouchOS10.2、抖音20.4.01、首先手机打开抖音，然后点击右下角“我”。2、在我
-
中国航天院所排名（航天院所排名第一梯队）
6月22日，国家化学中毒救治基地（湖北）湖北航天分基地授牌仪式在湖北航天医院举行。活动采取线上线下结合的模式进行。湖北省中西医结合医院副院长、国家化学中毒救治基地（湖北）主任凌瑞杰，武汉大学人民医院急重症医学教研室主任魏捷，湖北省中西医结合医院急诊科主任肖敏、李爽医生，护士长张榆、何雯等专家现场出席仪式。武汉大学中南医院副院长兼急救中心主任赵剡线上出席仪式。孝感市卫健委
-
抖音小店解绑主账号（抖音小店解绑主账号后对子帐号有影响吗）
本文目录一览：1、抖音账号解除绑定小店2、抖音小店绑定主账户可以换吗3、我的抖店店铺绑定了店管家怎么解绑4、抖音号和抖音小店可以解绑吗抖音账号解除绑定小店演示机型抖音小店解绑主账号：华为MateBookX系统版本抖音小店解绑主账号：win10APP版本：抖音v17.0.0抖音账号解除绑定小店共有2步抖音小店解绑主账号，以下是华为MateBookX中抖音账号解除绑定小店的
-
“我们都是受益者”！福布斯全球富豪排行榜2022女性？
姆关泽—恩咕阿嘎街区是刚果（布）首都布拉柴维尔市内一处人口密集的居民区，街区内的道路纵横交错。现在，街区的所有道路上整整齐齐铺设了透水花砖，路边辟有人行道，沿着人行道还铺设了排水设施，道路面貌焕然一新，极大地便利了街区内约2万居民的日常出行。布拉柴维尔靠近赤道，属于热带雨林气候，雨季长达八九个月，降水量大。当地道路多是经过简单平整的土路，很多路段坑洼不平，也缺少排水系统。下雨后，道路非常泥
-
怎么做影视剪辑视频教程（剪辑视频的教程）
大家好，今天跟大家分享一下我做视频的经历，如果你刚好想做影视剪辑，或者说已经在做了，但是陷入到了一种困境的时候，请耐心看完我说的内容，说不定会给你带来不一样的启发。接下来的都是干货，拿起你的小本本记下来，仔细领会哦~1.选择你擅长的领域，不要盲目跟随。当你已经铁定要做学习尝试自己剪辑视频的时候，那你一定要主要了，选择一个你喜欢的邻域是一件多么值得骄傲的事情，因为很多人并不知道自己喜欢什么，
-
梦见面包房（梦见面包是什么意思）
我之前住的村子里有一个老太太，和我们家没什么来往，只是认识。后来我搬到城里来住，好几年了，这个老太太我压根就没想起过，几乎完全遗忘了。就在不久前，有一天我正做着事，脑海里突然出现了这个老太太，我当时也没多想。谁知当天下午和老妈通电话，老妈告知老王太太
-
抖音小店和抖音团购只能开一个吗（抖音小店和抖音团购只能开一个吗安全吗）
本文目录一览：1、抖音一个企业的执照，能认证几个抖音账户？小店也可以开几个2、抖音团购只能一个账号发吗3、抖音小店和团购轮着播可以吗4、抖音团购可以几个账号发5、一个营业执照是不是只能开一家抖音小店？抖音一个企业的执照
-
荐读！撰写领导讲话稿需要精准把握的四种关系，助力再上新台阶，写演讲稿的技巧和方法
领导讲话稿是公文写作的高阶试炼，只有正确把握好文稿与推进工作、领导意图、谋篇布局、定稿标准之间的关系，才能写出独而特、好而优的讲话稿。全文约2300余字，阅读需4分钟撰写领导讲话稿把握的“四种关系”起草撰写领导讲话稿是各级办公室最重要的工作职能之一，也是作为文秘所需的最基础的业务素质。在起草文稿前后，笔者认为，要首先把握好以下“四种关系”：01.量体裁衣：把握好工作和文稿的关系古人讲：“欲
-
抖音小店官方客服（抖音小店官方客服工作内容）
本文目录一览：1、抖音小店客服在哪里2、抖音小店客服电话24小时人工服务热线3、抖音小店订单里的客服是直播间里的客服吗4、抖音怎么找商家店铺抖音小店客服在哪里;?????无论是线上商店还是平台抖音小店官方客服，都会有客服这个职位。是为抖音小店官方客服了帮助用户更好的在店铺购物，或是提升用户在平台的使用体验。那么，抖音小店的客服在哪里???????抖音小店客服在哪里??????抖音小店客服工作台就
-
抖音小店供应商是什么（抖音小店供货商）
本文目录一览：1、抖音供应链还是小店赚钱2、抖音上卖的各种小商品，货源都是从哪里来的？3、抖音小店是什么？抖音供应链还是小店赚钱供应链。因为供应链是有人刷到视频就会有钱赚，但是小店就需要有人购买小店内的商品，才能赚到钱。抖音官方对供应