import torch as t
from torch import nn


class Linear(nn.Module):
    def __init__(self, in_features, out_features):
        super(Linear, self).__init__()  # 等价于 nn.Module.__init__(self)
        self.w = nn.Parameter(t.randn(in_features, out_features))
        self.b = nn.Parameter(t.randn(out_features))

    def forward(self, x):
        x = x.mm(self.w)
        return x + self.b.expand_as(x)


layer = Linear(4, 3)
input = t.randn(2, 4)
output = layer(input)
print(output)

for name, parameter in layer.named_parameters():
    print(name, parameter)

import torch as t

a = t.ones(3, 4, requires_grad=True)
b = t.ones(3, 4, requires_grad=True)
c = a * b

print(a.data)  # 还是同一个 tensor

print(a.data.requires_grad)  # 但是已经独立于计算图之外了

d = a.data.sigmoid_()  # sigmoid_ 是一个 inplace 操作，会修改 a 自身的值
print(a)
print(d.requires_grad)

print(a.requires_grad)

# 近似于 tensor = a.data，但是如果 tensor 被修改，backward 可能会报错
tensor = a.detach()
print(tensor.requires_grad)

# 统计 tensor 的一些指标，不希望被记录
mean = tensor.mean()
std = tensor.std()
maximum = tensor.max()
print(mean, std, maximum)

tensor[0] = 1
print(a)
# 下面会报错： RuntimeError: one of the variables needed for gradient
#              computation has been modified by an inplace operation.
# 因为 c = a * b，b 的梯度取决于 a，现在修改了 tensor，其实也就是修改了 a，梯度不再准确
# c.sum().backward()

import torch as t

# 在创建 tensor 的时候指定 requires_grad
a = t.randn(3, 4, requires_grad=True)
# 或者
a = t.randn(3, 4).requires_grad_()
# 或者
a = t.randn(3, 4)
a.requires_grad=True

b = t.zeros(3, 4).requires_grad_()

c = a.add(b)   # 也可以写成 c = a + b

d = c.sum()
d.backward()   # 反向传播
print(d.requires_grad)   # d 还是一个 requires_grad=True 的 tensor，对它的操作需要慎重

# 此处虽然没有指定 c 需要求导，但 c 依赖于 a，而 a 需要求导，
# 因此 c 的 requires_grad 属性会自动设置为 True
print(a.requires_grad, b.requires_grad, c.requires_grad)   # (True, True, True)

# 判断是否为叶子节点
print(a.is_leaf, b.is_leaf, c.is_leaf)   # (True, True, False)

# c.grad 是 None，因为 c 不是叶子节点，它的梯度是用来计算 a 的梯度，
# 所以虽然 c.requires_grad = True，但其梯度计算完之后就被释放了
print(c.grad is None)    # True

import torch as t

a = t.randn(3, 4)
print(a)

print(a[0])    # 第 0 行，下标从 0 开始

print(a[:, 0])     # 第 0 列

print(a[0, 2])   # 第 0 行第 2 个元素，等价于 a[0][2]

print(a[0][-1])   # 第 0 行最后一个元素

print(a[:2])    # 前两行

print(a[:2, 0:2])   # 前两行，第 0,1 列

print(a[0:1, :2])  # 第 0 行，前两列
print(a[0, :2])   # 注意两者的区别，形状不同

a = t.arange(0, 6)
print(a.view(2, 3))

# 当某一维为 -1 时，会自动计算它的大小
b = a.view(-1, 3)
print(b.shape)