—————————————–知识图谱—————–| | ||———————————————————————————————————————————-|———————————————————————————————————————————-|—————————————嵌入技术得到的每个节点的表达(向量)包含关系信息和实体本身 训练过程：一定要听解析 trans系列模型transE：同一个头节点和关系对应的尾结点会趋近相似transH：先将h和t投影到r对应的超平面上，再做|h+r-t| transR: 将r直接转到另一个向量空间语义匹配模型     Read more

GNN–>GCN–>GAT从GNN开始： (a,b,c是系数跟节点ABC无关~) α的取值就是个创新点，比如注意力，自定 聚合的用处：循环———b站谢谢你🤞感觉就是要有一个大的概念认识再去看原理公式啥的才清晰接下来是GCN：在 【聚合】 的时候进行变化聚合实质就是对邻居加权求和：关键是这个权怎么规定(计算)直接先上公式： 实质是在平均法的基础上考虑”度“的因素 类似右边这种情况：对A来说B是唯一邻居因此聚合时会加上B 的所有信息，但B的邻居不只A一个，照理讲它对A的重要程度不应该这么大，在GCN中利用拉普拉斯矩阵就解决了这种问题 ok，move on—》GAT：在GCN中可以看到，聚合时应该考虑节点之间的影响度这个因素，对应的处理方式就是考虑节点的度(比较简单的措施，并且结构改变后模型用不了)而GAT的思想就是希望模型自动去学习这个影响度！W是一个可以训练的参数(矩阵)：比如A原来是个10维向量，通过W转成小维数(be like transform~)||:就是拼接–>（1，1）||（2，2）=（1，1，2，2）a:也是可以训练的一个参数有了大概理解后再看论文中的公式：     Read more

我们有什么：无标签的数据集要得到什么：be like通过输入一个噪声，模拟得到一个人脸图像，这个图像可以非常逼真以至于以假乱真 generator:可以看成是一个神经网络模型，输入是一组随机数Z，输出是一个图像,即图中的假样本集discriminator：输入就是一副图像，输出就是一个概率值，用于判断真假使用（概率值大于0.5那就是真，小于0.5那就是假）对抗网络的is：因为discriminator想要尽可能判别出样本来自真还是假而generator需要使制造的假样本尽可能真 so be like rivalry 单独交替迭代训练: 这俩其实是独立的两模型 因此其实是单独训练的对判别网络的训练：假设已经通过生成网络生成了一组假样本，此时把真样本标签全设1假样本全设0，送进去就好(简单的有监督二分类8了)对生成网络的训练：仔细想想，如果单单一个生成网络貌似没有误差来源，因此我们需要连接上刚刚判别网络的结果à现在把假样本标签设为1(是不是有迷惑的感jio了)然后把样本送进[生成网络||判别网络]前向传递到判别网络后会计算出误差(比如刚开始样本还比较假误差就应该比较大)，然后反向传递误差，这里注意：判别网络的参数都保持不变！只更新生成网络的参数 现在生成网络更新参数后，得到的假样本会更”真“一点，然后再次迭代上面过程，直到判别器出的结果是0.5(无法判断)     Read more

——————————–对比GCN——————————–————————————–注意力机制的数学原理——————————————————注意力be like：用X=[x1, x2, …, xN]表示N个输入信息，为了节省计算资源，不需要让神经网络处理这N个输入信息，而只需要从X中选择一些与任务相关的信息输进行计算注意力值计算步骤： 在所有输入信息上计算注意力分布  X:输入信息向量 z=i：选择了第i个输入信息 q:查找并选择X中的某些信息 αi:在给定查询q时，输入信息向量X中第i个信息与查询q的相关程度 αi构成的概率向量：注意力分布 s(xi,q)：注意力打分函数 其中W、U和v是可学习的网络参数 d是输入信息的维度  根据注意力分布来计算输入信息的加权平均 公式 计算过程 —————————————-Encoder-Decoder框架————————————————————–GAT核心公式——————————–| | ||———————————————————————————————————————————————-|———————————————————————————————————————————————————————–| ——————————–基于相似性的注意力算法—————————–既然我们有节点v的特征表示x，假设和节点自身相像的邻居节点更加重要，那么可以通过直接计算x之间相似性的方法得到节点的相对重要性。————————————————(参考 TheKumparampil et al. 2018 )—————————————————GAT中的运用——————————————Graph Attention layer：输入àN个节点的每个节点的F个feature输出àN个节点的每个节点的F’个feature（包含了graph的结构信息）     Read more

GCN 图卷积神经网络用来提取拓扑图的空间特征 ——————————————————–对比CNN—————————— 处理数据结构不同CNN：矩阵(像素点) –欧拉结构GCN：图结构(拓扑结构)–非欧拉结构 特征提取CNN：卷积GCN：谱方法 ———————————————————-图卷积理论基础————————————————- 图的拉普拉斯矩阵L 常用 (D:对角阵矩阵(顶点的度)A：邻接矩阵) 意义：图的性质可以表示在拉普拉斯矩阵之中，即我们将图的分析，可以变为对拉普拉斯矩阵的谱分析 傅立叶变换与拉普拉斯矩阵的关系：拉普拉斯矩阵的特征向量是傅立叶变换的基 理解：在GCN中对图进行卷积操作是先将图和卷积核傅里叶变换后相乘再变换回来，但有了上述的关系后，可以将傅里叶变换的求解转换为求拉普拉斯矩阵的特征向量 拉普拉斯矩阵的谱分解（特征分解） 特征分解复习：将矩阵分解为由其特征值和特征向量表示的矩阵之积 从传统的FT、卷积 à graph上的FT、卷积 graph上的FT 定义 矩阵形式 3. graph上的卷积 ⊙：维度相同两矩阵对应元素相乘 卷积核 h 的傅里叶 变换可写成 对角矩阵：     Read more

也叫网路嵌入network embedding: 将网络中的结构(节点 边 子图)映射到一个低维空间的稠密向量表示【高维稀疏的邻接矩阵à低维稠密的向量空间】理由：我们身边存在各种网络结构型数据：社交网络、引文网络、生物信息网..如果要对这些数据进行机器学习任务，通常我们知道需要向量形式的输入，因此对于这类网络结构数据就需要进行网络表示学习来得到优质的网络节点表示(embedding)总的方法可以分为基于网络结构和基于网络属性的含义：利用network学习数据表示的过程目的：将网络中的节点表示成低维、实值、稠密的向量形式模型主要结构：Encoder + Decoder以下是embedding的例子—————图谱嵌入表示学习—————————–知识图谱：语义网络(实体+关系) be like三元组结构Knowledge Graph Embedding：将知识图谱映射到一个低维向量空间中，用低 维、稠密的向量表示实体和关系模型：双层注意力编码器 + ConvP解码器     Read more