修改2,3,4,5,8章节结构和头文件描述

Author: Star We

lesson2/costs.png

@@ -11,12 +11,17 @@
 
 使用paddlepaddle来做线性回归，拟合房屋价格与房屋面积的线性关系，具体步骤如下：
 1.载入数据和预处理：load_data()
-2.定义两个reader()分别用于读取训练数据和测试数据
+2.定义train()和test()用于读取训练数据和测试数据，分别返回一个reader
 3.初始化
-4.配置网络结构
-5.定义成本函数cost
-6.定义优化器optimizer
-7.定义trainer并开始训练，获得训练结果参数a，b
+4.配置网络结构和设置参数：
+ - 定义成本函数cost
+ - 创建parameters
+ - 定义优化器optimizer
+5.定义event_handler
+6.定义trainer
+7.开始训练
+8.打印参数和结果print_parameters()
+9.展示学习曲线plot_costs()
 """
 import numpy as np
 import paddle.v2 as paddle
@@ -40,23 +45,24 @@ def load_data(filename, feature_num=2, ratio=0.8):
  ratio -- 训练集占总数据集比例
  Return:
  """
- #如果测试数据集和训练数据集都不为空，就不再载入数据load_data
+ # 如果测试数据集和训练数据集都不为空，就不再载入数据load_data
  global CODEMASTER_TRAIN_DATA, CODEMASTER_TEST_DATA, X_RAW
  if CODEMASTER_TRAIN_DATA is not None and CODEMASTER_TEST_DATA is not None:
  return
- #data = np.loadtxt()表示将数据载入后以矩阵或向量的形式存储在data中
- #delimiter=',' 表示以','为分隔符
+ # data = np.loadtxt()表示将数据载入后以矩阵或向量的形式存储在data中
+ # delimiter=',' 表示以','为分隔符
  data = np.loadtxt(filename, delimiter=',')
  X_RAW = data.T[0].copy()
- #axis=0 表示按列计算
- #data.shape[0]表示data中一共多少列
+ # axis=0 表示按列计算
+ # data.shape[0]表示data中一共多少列
  maximums, minimums, avgs = data.max(axis=0), data.min(axis=0), data.sum(
  axis=0) / data.shape[0]
 
- #归一化，data[:, i] 表示第i列的元素
+ # 归一化，data[:, i] 表示第i列的元素
  for i in xrange(feature_num - 1):
  data[:, i] = (data[:, i] - avgs[i]) / (maximums[i] - minimums[i])
- #offset用于划分训练数据集和测试数据集，例如0.8表示训练集占80%
+
+ # offset用于划分训练数据集和测试数据集，例如0.8表示训练集占80%
  offset = int(data.shape[0] * ratio)
  CODEMASTER_TRAIN_DATA = data[:offset].copy()
  CODEMASTER_TEST_DATA = data[offset:].copy()
@@ -114,24 +120,6 @@ def test():
  return read_data(CODEMASTER_TEST_DATA)
 
 
-# 展示模型训练曲线
-def plot_costs(costs):
- """
- 利用costs展示模型的训练曲线
-
- Args:
- costs -- 记录了训练过程的cost变化的list，每一百次迭代记录一次
- Return:
- """
- costs = np.squeeze(costs)
- plt.plot(costs)
- plt.ylabel('cost')
- plt.xlabel('iterations (per hundreds)')
- plt.title("House Price Distributions of Beijing Beiyuan Area")
- plt.show()
- plt.savefig('costs.png')
-
-
 #配置网络结构
 def netconfig():
  """
@@ -159,7 +147,7 @@ def netconfig():
  y = paddle.layer.data(name='y', type=paddle.data_type.dense_vector(1))
 
  # 定义成本函数为均方差损失函数square_error_cost
- cost = paddle.layer.square_error_cost(input=y_predict, label=y)
+ cost = paddle.layer.mse_cost(input=y_predict, label=y)
 
  # 利用cost创建parameters
  parameters = paddle.parameters.create(cost)
@@ -175,6 +163,24 @@ def netconfig():
  return data
 
 
+# 展示模型训练曲线
+def plot_costs(costs):
+ """
+ 利用costs展示模型的训练曲线
+
+ Args:
+ costs -- 记录了训练过程的cost变化的list，每一百次迭代记录一次
+ Return:
+ """
+ costs = np.squeeze(costs)
+ plt.plot(costs)
+ plt.ylabel('cost')
+ plt.xlabel('iterations (per hundreds)')
+ plt.title("House Price Distributions of Beijing Beiyuan Area")
+ plt.show()
+ plt.savefig('costs.png')
+
+
 # 输出参数结果
 def print_parameters(parameters):
  """
@@ -210,9 +216,7 @@ def main():
  # 初始化，设置是否使用gpu，trainer数量
  paddle.init(use_gpu=False, trainer_count=1)
 
-
-
- # 配置网络结构
+ # 配置网络结构和设置参数
  x, y_predict, y, cost, parameters, optimizer, feeding = netconfig()
 
  # 记录成本cost
@@ -263,7 +267,7 @@ def event_handler(event):
  # 打印参数结果
  print_parameters(parameters)
 
- #展示学习曲线
+ # 展示学习曲线
  plot_costs(costs)
 
 if __name__ == '__main__':

lesson2/train_with_paddle.py

@@ -11,12 +11,17 @@
 
 使用paddle框架实现逻辑回归识别猫案例，关键步骤如下：
 1.载入数据和预处理：load_data()
-2.初始化
-3.配置网络结构
-4.定义成本函数cost
-5.定义优化器optimizer
-6.定义两个reader()分别用于读取训练数据和测试数据
-7.预测并测试准确率train_accuracy和test_accuracy
+2.定义train()和test()用于读取训练数据和测试数据，分别返回一个reader
+3.初始化
+4.配置网络结构和设置参数：
+ - 定义成本函数cost
+ - 创建parameters
+ - 定义优化器optimizer
+5.定义event_handler
+6.定义trainer
+7.开始训练
+8.预测infer()并输出准确率train_accuracy和test_accuracy
+9.展示学习曲线plot_costs()
 """
 
 import matplotlib
@@ -67,6 +72,7 @@ def load_data():
  TRAINING_SET = np.hstack((train_set_x, train_set_y.T))
  TEST_SET = np.hstack((test_set_x, test_set_y.T))
 
+
 # 读取训练数据或测试数据，服务于train()和test()
 def read_data(data_set):
  """
@@ -117,7 +123,55 @@ def test():
  return read_data(TEST_SET)
 
 
-# 获取data，服务于get_train_data()和get_test_data()
+# 配置网络结构和设置参数
+def netconfig():
+ """
+ 配置网络结构和设置参数
+ Args:
+ Return:
+ image -- 输入层，DATADIM维稠密向量
+ y_predict -- 输出层，Sigmoid作为激活函数
+ y_label -- 标签数据，1维稠密向量
+ cost -- 损失函数
+ parameters -- 模型参数
+ optimizer -- 优化器
+ feeding -- 数据映射，python字典
+ """
+ # 输入层，paddle.layer.data表示数据层,name=’image’：名称为image,
+ # type=paddle.data_type.dense_vector(DATADIM)：数据类型为DATADIM维稠密向量
+ image = paddle.layer.data(
+ name='image', type=paddle.data_type.dense_vector(DATADIM))
+
+ # 输出层，paddle.layer.fc表示全连接层，input=image: 该层输入数据为image
+ # size=1：神经元个数，act=paddle.activation.Sigmoid()：激活函数为Sigmoid()
+ y_predict = paddle.layer.fc(
+ input=image, size=1, act=paddle.activation.Sigmoid())
+
+ # 标签数据，paddle.layer.data表示数据层，name=’label’：名称为label
+ # type=paddle.data_type.dense_vector(1)：数据类型为1维稠密向量
+ y_label = paddle.layer.data(
+ name='label', type=paddle.data_type.dense_vector(1))
+
+ # 定义成本函数为交叉熵损失函数multi_binary_label_cross_entropy_cost
+ cost = paddle.layer.multi_binary_label_cross_entropy_cost(input=y_predict, label=y_label)
+
+ # 利用cost创建parameters
+ parameters = paddle.parameters.create(cost)
+
+ # 创建optimizer，并初始化momentum和learning_rate
+ optimizer = paddle.optimizer.Momentum(momentum=0, learning_rate=0.00002)
+
+ # 数据层和数组索引映射，用于trainer训练时喂数据
+ feeding = {
+ 'image': 0,
+ 'label': 1}
+
+ data = [image, y_predict, y_label, cost, parameters, optimizer, feeding]
+
+ return data
+
+
+# 获取data
 def get_data(data_creator):
  """
  使用参数data_creator来获取测试数据
@@ -143,31 +197,7 @@ def get_data(data_creator):
  return result
 
 
-# 获取train_data
-def get_train_data():
- """
- 使用train()来获取训练数据
-
- Args:
- Return:
- get_data(train()) -- 包含训练数据(image)和标签(label)的python字典
- """
- return get_data(train())
-
-
-# 获取test_data
-def get_test_data():
- """
- 使用test()来获取测试数据
-
- Args:
- Return:
- get_data(test()) -- 包含测试数据(image)和标签(label)的python字典
- """
- return get_data(test())
-
-
-# 计算准确度，服务于train_accuracy()和test_accuracy()
+# 计算准确度
 def calc_accuracy(probs, data):
  """
  根据数据集来计算准确度accuracy
@@ -190,37 +220,6 @@ def calc_accuracy(probs, data):
  return accuracy
 
 
-# 训练集准确度
-def train_accuracy(probs_train, train_data):
- """
- 根据训练数据集来计算训练准确度train_accuracy
-
- Args:
- probs_train -- 训练数据集的预测结果，调用paddle.infer()来获取
- train_data -- 训练数据集
-
- Return:
- calc_accuracy -- 训练准确度
- """
- return calc_accuracy(probs_train, train_data)
-
-
-# 测试集准确度
-def test_accuracy(probs_test, test_data):
- """
- 根据测试数据集来计算测试准确度test_accuracy
-
- Args:
- probs_test -- 测试数据集的预测结果，调用paddle.infer()来获取
- test_data -- 测试数据集
-
- Return:
- calc_accuracy -- 测试准确度
- """
-
- return calc_accuracy(probs_test, test_data)
-
-
 # 预测
 def infer(y_predict, parameters):
  """
@@ -233,8 +232,8 @@ def infer(y_predict, parameters):
  Return:
  """
  # 获取测试数据和训练数据，用来验证模型准确度
- train_data = get_train_data()
- test_data = get_test_data()
+ train_data = get_data(train())
+ test_data = get_data(test())
 
  # 根据train_data和test_data预测结果，output_layer表示输出层，parameters表示模型参数，input表示输入的测试数据
  probs_train = paddle.infer(
@@ -245,8 +244,8 @@ def infer(y_predict, parameters):
  )
 
  # 计算train_accuracy和test_accuracy
- print("train_accuracy: {} %".format(train_accuracy(probs_train, train_data)))
- print("test_accuracy: {} %".format(test_accuracy(probs_test, test_data)))
+ print("train_accuracy: {} %".format(calc_accuracy(probs_train, train_data)))
+ print("test_accuracy: {} %".format(calc_accuracy(probs_test, test_data)))
 
 
 # 展示模型训练曲线
@@ -263,58 +262,10 @@ def plot_costs(costs):
  plt.ylabel('cost')
  plt.xlabel('iterations (per hundreds)')
  plt.title("Learning rate = 0.00002")
- plt.show()
+ # plt.show()
  plt.savefig('costs.png')
 
 
-# 配置网络结构
-def netconfig():
- """
- 配置网络结构
- Args:
- Return:
- image -- 输入层，DATADIM维稠密向量
- y_predict -- 输出层，Sigmoid作为激活函数
- y_label -- 标签数据，1维稠密向量
- cost -- 损失函数
- parameters -- 模型参数
- optimizer -- 优化器
- feeding -- 数据映射，python字典
- """
- # 输入层，paddle.layer.data表示数据层,name=’image’：名称为image,
- # type=paddle.data_type.dense_vector(DATADIM)：数据类型为DATADIM维稠密向量
- image = paddle.layer.data(
- name='image', type=paddle.data_type.dense_vector(DATADIM))
-
- # 输出层，paddle.layer.fc表示全连接层，input=image: 该层输入数据为image
- # size=1：神经元个数，act=paddle.activation.Sigmoid()：激活函数为Sigmoid()
- y_predict = paddle.layer.fc(
- input=image, size=1, act=paddle.activation.Sigmoid())
-
- # 标签数据，paddle.layer.data表示数据层，name=’label’：名称为label
- # type=paddle.data_type.dense_vector(1)：数据类型为1维稠密向量
- y_label = paddle.layer.data(
- name='label', type=paddle.data_type.dense_vector(1))
-
- # 定义成本函数为交叉熵损失函数multi_binary_label_cross_entropy_cost
- cost = paddle.layer.multi_binary_label_cross_entropy_cost(input=y_predict, label=y_label)
-
- # 利用cost创建parameters
- parameters = paddle.parameters.create(cost)
-
- # 创建optimizer，并初始化momentum和learning_rate
- optimizer = paddle.optimizer.Momentum(momentum=0, learning_rate=0.00002)
-
- # 数据层和数组索引映射，用于trainer训练时喂数据
- feeding = {
- 'image': 0,
- 'label': 1}
-
- data = [image, y_predict, y_label, cost, parameters, optimizer, feeding]
-
- return data
-
-
 def main():
  """
  定义神经网络结构，训练、预测、检验准确率并打印学习曲线
@@ -323,13 +274,13 @@ def main():
  """
  global DATADIM
 
- # 初始化，设置是否使用gpu，trainer数量
- paddle.init(use_gpu=False, trainer_count=1)
-
  # 载入数据
  load_data()
 
- # 配置网络结构
+ # 初始化，设置是否使用gpu，trainer数量
+ paddle.init(use_gpu=False, trainer_count=1)
+
+ # 配置网络结构和设置参数
  image, y_predict, y_label, cost, parameters, optimizer, feeding = netconfig()
 
  # 记录成本cost