PG3 & IRL
参考资料Reinforcement Learning: An Introductionhttp://incompleteideas.net/book/the-book-2nd.htmlDave Silver强化学习课程http://www0.cs.ucl.ac.uk/staff/D.Silver/w
...
GAN理论
简介对抗神经网络其实是两个网络的组合，可以理解为一个网络生成模拟数据，另一个网络判断生成的数据是真实的还是模拟的。生成模拟数据的网络要不断优化自己让判别的网络判断不出来，判别的网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗生成神经网络。
GAN由generator（生成式模型）和
...
数据集
一般数据集1、Kaggle：一个包含各种外部贡献数据集的数据科学网站。你可以在其主列表中找到各种合适的数据集，从拉面评级到篮球数据，甚至是西雅图宠物许可证，应有尽有。
https://www.kaggle.com/
2、UCI 机器学习库：网络上最古老的数据集源之一，是寻找有趣的数据集的第一站。虽然
...
21单元语法
～そうだ＜征兆、推测＞1、征兆接续：V-R（第一连用型）+ そうだ
样态助动词，表示征兆，是说话人对即将发生的动作，变化的征兆进行的描述，一般是说话人通过自身的感官判断或觉察到的。(主観)常与｢今にも｣连用。变形之后按二类形容词活用。
✿汉语：就要~了、快要~了
1.今にも雨が降りそうです。 2.
...
PG和TD3
TD3TD3 = Twin Delayed DDPG：三点改进：
改进１Twin:有两个Q值预测网络，使用输出Q值较小的那个用作计算TD error的目标值；
Double DQN:
Double q learning(Q值来自于神经网络):
Clipped Double Q-learning
...
RNN理论
循环神经网络（RNN）是一类神经网络，包括一层内的加权连接，与传统前馈神经网络相比，加权连接仅反馈到后续层。因为RNN包含循环，所以RNN就可以在处理输入信息的时候同时储存信息。这种记忆使得RNN非常适合处理必须考虑事先输入的任务（比如时序数据）。所以循环神经网络在自然语言处理领域非常适合。
传统
...
梯度下降
梯度下降方法用负梯度作搜索方向，即令$\bigtriangleup x=-\bigtriangledown f(x)$, 是一种自然的选择。相应的方法就称梯度方法或者梯度下降方法。
梯度下降算法的概念梯度下降算法是一个被广泛使用的优化算法, 它可以用于寻找最小化成本函数的参数值. 也就是说: 当函数
...
DDQN & DDPG
ε-贪婪（greedy）策略目的：探索与利用ε∈(0,1)，随着时间的推移逐渐减小直至0产生一个(0,1)的随机数m如果ε>m 采取随机策略，例如一共4个动作，那么选每一个动作的概率都是 0.25如果ε<m 采取贪婪策略，计算当前网络所有输出值Q(St,a)，选择使得
...
DQN
DQN的背景传统强化学习的局限性，无法很好的解决状态空间或者动作空间很大的实际问题举例：小车使用相机进行导航，动作为向左，向前，向右，3种
100 x 100的灰度图片，状态数：
256^{10000}如果使用q-learning，q(s,a)的个数为3\times256^{10000}以现在的存
...
TCP传输图片
import socketimport pickleimport numpy as npfrom PIL import Imageimport ioimport sysimport threadingdef main(img):# start_svc = datetime.datetime.n
...