ITPub博客

首页 > 人工智能 > 深度学习 > 深度学习 DEEP LEARNING 学习笔记(二)

深度学习 DEEP LEARNING 学习笔记(二)

原创 深度学习 作者:olivia喵喵喵 时间:2020-07-24 16:24:12 0 删除 编辑

  • 深度学习本书的作者是伊恩·古德费洛,约书亚·本吉奥,亚伦·库维尔
  • 如果觉得我的笔记有不合适的地方,欢迎留言。


学习笔记(二)
关键字:1.线性相关和生成子空间 2.范数 3.特殊类型的矩阵和向量

1.线性相关和子空间
(1)线性组合:
Ax= b线性方程组有三种情况,无解,唯一解,无穷解
矩阵 A的列向量看作从原点出发的不同方向, x中的每个元素表示沿着方向走多远。xi表示我们需要沿着第i个向量的方向走多远:

一般而言,将这种操作称为线性组合。一组向量的线性组合,是指每个向量乘以对应标量系数之后的和,一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。
(2)线性无关,线性相关
如果一组向量中的任意一个向量都不能表示成其他向量的线性组合,那么这组向量称为线性无关。反之为线性相关。

2.范数
(1)定义:
我们用称为范数的函数来衡量向量的大小。形式上,范数定义如下:

向量 x的范数衡量从原点到点x的距离。范数是满足下列性质的任意函数:

(2)类别

  • 范数,也称为欧几里得范数,从原点出发到向量 x确定的点的欧几里得范数。欧几里得范数对每个元素的导数和整个向量相关。
  • 平方 范数,也用来衡量向量的大小,比欧几里德范数计算方便。平方范数对 x中每个元素的导数之取决于对应的元素。
  • 范数,区分恰好是零的元素和非零但值很小的元素是很重要的。当问题中零和非零元素之间的差异非常重要时,通常使用范数。该范数可以简化如下
  •  范数,用来统计向量中非零元素的个数来衡量向量的大小。
  •  范数,也称为最大范数。这个范数表示向量中具有最幅值的元素的绝对值。
  • Frobenius范数,用来衡量矩阵的大小。

3.特殊类型的矩阵和向量
(1)对角矩阵:只在主对角线上有非零元素,其他位置上都是零。

  • 方阵:有逆矩阵
  • 非方阵:无逆矩阵

(2)对称矩阵:

(3)正交矩阵:
行向量和列向量是分别标准正交的方阵


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69978907/viewspace-2706796/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
邮箱:wangyanyan_98@163.com,314119717@qq.com

注册时间:2020-07-11

  • 博文量
    3
  • 访问量
    1147