使用Python和PyTorch的EITC/AI/DLPP深度学习

人工神经网络（ANN）受到生物系统中信息处理和分布式通信节点的启发。 深度学习中的形容词“深度”是指在网络中使用多层。 早期的工作表明，线性感知器不能成为通用分类器，然后具有非多项式激活函数且具有一个无界宽度的隐藏层的网络可以这样。 深度学习是一种现代变体，它涉及无限大小的无限制层数，这允许实际应用和优化实现，同时在温和条件下保留理论通用性。 在深度学习中，出于效率，可训练性和易理解性的考虑，还允许各层是异类的，并且与生物学告知的连接主义者模型大相径庭，因此是“结构化”部分。

Python是动态类型的（在运行时执行静态编程语言在编译过程中执行的许多常见编程行为）和垃圾回收（使用自动内存管理）。 它支持多种编程范例，包括结构化（特别是过程式），面向对象和功能性编程。 它是由Guido van Rossum于1980年代后期创建的，并于1991年首次发布，它是ABC编程语言的后继者。 2.0年发布的Python 2000引入了新功能，例如列表推导和带有引用计数的垃圾收集系统，并在2.7年随版本2020停产。Python3.0在2008年发布，是该语言的主要修订版，并非完全向后兼容，并且许多Python 2代码不会在Python 3上未经修改地运行。由于Python 2的使用寿命终止（并且pip在2021年不再提供支持），仅支持Python 3.6.x和更高版本，但仍旧支持支持例如Windows 7（以及不限于64位Windows的旧安装程序）。

Python解释器受主流操作系统的支持，并且可以用于更多版本（过去也受支持）。 全球程序员社区开发和维护CPython，这是一个免费的开源参考实现。 一个非营利组织，Python软件基金会，负责管理和指导Python和CPython开发的资源。

截至2021年2020月，Python在TIOBE最受欢迎的编程语言索引中排名第三，仅次于C和Java，此前曾获得第二名并获得2007年最受欢迎的语言奖。它在2010、2018年被评为年度编程语言和XNUMX年。

一项经验研究发现，脚本语言（例如Python）比常规语言（例如C和Java）在涉及字符串操作和字典搜索的编程问题上的生产率更高，并确定内存消耗通常“比Java更好，而不是Java”。比C或C ++差得多”。 使用Python的大型组织包括Wikipedia，Google，Yahoo！，CERN，NASA，Facebook，Amazon，Instagram。

除其人工智能应用程序外，Python作为具有模块化体系结构，简单语法和富文本处理工具的脚本语言，通常用于自然语言处理。

PyTorch提供了两个高级功能：

• 通过图形处理单元（GPU）进行强大的Tensor计算（如NumPy）
• 基于基于磁带的自动（计算）差分系统构建的深度神经网络

Facebook同时运行PyTorch和卷积体系结构以实现快速功能嵌入（Caffe2），但由这两个框架定义的模型相互不兼容。 Facebook和微软于2017年2月创建了Open Neural Network Exchange（ONNX）项目，用于在框架之间转换模型。 Caffe2018于XNUMX年XNUMX月末合并到PyTorch中。

PyTorch定义了一个称为Tensor（torch.Tensor）的类，用于存储数字的均质多维矩形阵列并对其进行操作。 PyTorch张量类似于NumPy阵列，但也可以在具有CUDA功能的Nvidia GPU上运行。 PyTorch支持张量的各种子类型。

Pytorch的重要模块很少。 这些包括：

• Autograd模块：PyTorch使用一种称为自动分化的方法。 记录器记录已执行的操作，然后向后重播以计算梯度。 当构建神经网络以通过计算前向传递时参数的微分来节省一个时间时，此方法特别强大。
• Optim模块：torch.optim是一个模块，可实现用于构建神经网络的各种优化算法。 大多数常用方法已受支持，因此无需从头开始构建它们。
• nn模块：PyTorch autograd使定义计算图和获取梯度变得容易，但是原始autograd对于定义复杂的神经网络而言可能太低了。 这是nn模块可以提供帮助的地方。