奇妙伞-深度学习论文中的函数符号表示

深度学习专属函数符号：

sigmoid函数的符号表示方法1：

sigmoid函数的符号表示方法2:

常用的数学计算符号：

笛卡尔积
笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积（Cartesian product），又称直积，表示为X×Y，第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员。
假设集合A={a, b}，集合B={0, 1, 2}，则两个集合的笛卡尔积为{(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)}。
类似的例子有，如果A表示某学校学生的集合，B表示该学校所有课程的集合，则A与B的笛卡尔积表示所有可能的选课情况
向量、张量运算
向量点乘
向量的点乘，也叫数量积。结果是一个向量在另一个向量方向上投影的长度，是一个标量。
对于向量和， $A=\left[a_{1}, a_{2}, \ldots a_{n}\right] \quad$ ， $B=\left[b_{1}, b_{2}, \ldots b_{n}\right] \quad$ ${A} \cdot {B}=\sum a_{i} b_{i}$ 或者： ${A} \cdot {B}=|{A} | {B}| \cos \theta$
向量叉乘
向量的叉乘，也叫向量积。结果是一个和已有两个向量都垂直的向量。以三维向量为例 $A\times B =\left|\begin{array}{lll} i & j & k \ a_{1} & a_{2} & a_{3} \ b_{1} & b_{2} & b_{3} \end{array}\right|=\left(a_{2} b_{3}-b_{2} a_{3} \right) i-\left(a_{1} b_{3}-b_{1}a_{3} \right) j+\left(a_{1} b_{2}-b_{1}a_{2}\right) k$
其中: $i=(1,0,0) \quad \mathrm{j}=(0,1,0) \quad \mathrm{k}=(0,0,1)$
张量的点乘
张量（矩阵）的点乘，又叫哈达马积（Hadamard product），矩阵对应位置的元素相乘 $m \times n$ 矩阵 $A=\left[a_{i j}\right]$ 与 $m \times n$ 矩阵 $B=\left[b_{i j}\right]$ 的Hadamard积记作。其元素定义为两个矩阵对应元素的乘积 $(A * B){i j}=a{i j} b_{i j}$ ，例如
$\left(\begin{array}{lll} 1 & 3 & 2 \ 1 & 0 & 0 \ 1 & 2 & 2 \end{array}\right) *\left(\begin{array}{lll} 0 & 0 & 2 \ 7 & 5 & 0 \ 2 & 1 & 1 \end{array}\right)=\left(\begin{array}{lll} 1 \cdot 0 & 3 \cdot 0 & 2 \cdot 2 \ 1 \cdot 7 & 0 \cdot 5 & 0 \cdot 0 \ 1 \cdot 2 & 2 \cdot 1 & 2 \cdot 1 \end{array}\right)=\left(\begin{array}{lll} 0 & 0 & 4 \ 7 & 0 & 0 \ 2 & 2 & 2 \end{array}\right)$
张量的克罗内克乘积
克罗内克积是两个任意大小的矩阵间的运算，也叫直积或张量积。计算过程如下例所示: $\left(\begin{array}{ll} 1 & 2 \ 3 & 1 \end{array}\right) \otimes\left(\begin{array}{ll} 0 & 3 \ 2 & 1 \end{array}\right)=\left(\begin{array}{cccc} 1 \cdot 0 & 1 \cdot 3 & 2 \cdot 0 & 2 \cdot 3 \ 1 \cdot 2 & 1 \cdot 1 & 2 \cdot 2 & 2 \cdot 1 \ 3 \cdot 0 & 3 \cdot 3 & 1 \cdot 0 & 1 \cdot 3 \ 3 \cdot 2 & 3 \cdot 1 & 1 \cdot 2 & 1 \cdot 1 \end{array}\right)=\left(\begin{array}{llll} 0 & 3 & 0 & 6 \ 2 & 1 & 4 & 2 \ 0 & 9 & 0 & 3 \ 6 & 3 & 2 & 1 \end{array}\right)$
拼接
张量（矩阵）的拼接可以按照不同的维度拼接
按照第一维度拼接：
$\left(\begin{array}{ll} 1 & 2 \ 3 & 1\end{array}\right)\oplus\left(\begin{array}{ll} 0 & 3 \ 2 & 1\end{array}\right)=\left(\begin{array}{llll} 1 & 2 & 0 & 3 \ 3 & 1 & 2 & 1 \ \end{array}\right)$
按照第二维度拼接：
$\left(\begin{array}{ll} 1 & 2 \ 3 & 1 \end{array}\right)\oplus\left(\begin{array}{ll} 0 & 3 \ 2 & 1 \end{array}\right)=\left(\begin{array}{llll} 1 & 2 \ 3 & 1 \ 0 & 3 \ 2 & 1 \ \end{array}\right)$