From 70202c239d014d4662820eb6567596659d4f742e Mon Sep 17 00:00:00 2001
From: GQH123 <572694553@qq.com>
Date: Sun, 2 May 2021 02:37:50 +0800
Subject: [PATCH] assignment-2
---
assignment-2/submission/19307130062/README.md | 523 ++++++++++++++++++
assignment-2/submission/19307130062/img/1.png | Bin 0 -> 431260 bytes
.../submission/19307130062/img/2.2.png | Bin 0 -> 388985 bytes
.../submission/19307130062/img/2.3.png | Bin 0 -> 369629 bytes
.../submission/19307130062/img/2.4.png | Bin 0 -> 363402 bytes
.../submission/19307130062/img/2.5.png | Bin 0 -> 314032 bytes
.../submission/19307130062/img/2.8.png | Bin 0 -> 371144 bytes
assignment-2/submission/19307130062/img/2.png | Bin 0 -> 392056 bytes
assignment-2/submission/19307130062/img/3.png | Bin 0 -> 400172 bytes
.../submission/19307130062/img/4.1.png | Bin 0 -> 422503 bytes
assignment-2/submission/19307130062/img/4.png | Bin 0 -> 397389 bytes
.../submission/19307130062/img/5.1.png | Bin 0 -> 722042 bytes
.../submission/19307130062/img/5.2.png | Bin 0 -> 2812181 bytes
.../submission/19307130062/img/5.3.png | Bin 0 -> 3100050 bytes
.../submission/19307130062/img/5.4.png | Bin 0 -> 3118217 bytes
assignment-2/submission/19307130062/img/5.png | Bin 0 -> 374315 bytes
assignment-2/submission/19307130062/img/6.png | Bin 0 -> 377805 bytes
assignment-2/submission/19307130062/img/7.png | Bin 0 -> 311564 bytes
assignment-2/submission/19307130062/img/8.png | Bin 0 -> 403732 bytes
.../submission/19307130062/numpy_fnn.py | 340 ++++++++++++
.../submission/19307130062/numpy_mnist.py | 143 +++++
21 files changed, 1006 insertions(+)
create mode 100644 assignment-2/submission/19307130062/README.md
create mode 100644 assignment-2/submission/19307130062/img/1.png
create mode 100644 assignment-2/submission/19307130062/img/2.2.png
create mode 100644 assignment-2/submission/19307130062/img/2.3.png
create mode 100644 assignment-2/submission/19307130062/img/2.4.png
create mode 100644 assignment-2/submission/19307130062/img/2.5.png
create mode 100644 assignment-2/submission/19307130062/img/2.8.png
create mode 100644 assignment-2/submission/19307130062/img/2.png
create mode 100644 assignment-2/submission/19307130062/img/3.png
create mode 100644 assignment-2/submission/19307130062/img/4.1.png
create mode 100644 assignment-2/submission/19307130062/img/4.png
create mode 100644 assignment-2/submission/19307130062/img/5.1.png
create mode 100644 assignment-2/submission/19307130062/img/5.2.png
create mode 100644 assignment-2/submission/19307130062/img/5.3.png
create mode 100644 assignment-2/submission/19307130062/img/5.4.png
create mode 100644 assignment-2/submission/19307130062/img/5.png
create mode 100644 assignment-2/submission/19307130062/img/6.png
create mode 100644 assignment-2/submission/19307130062/img/7.png
create mode 100644 assignment-2/submission/19307130062/img/8.png
create mode 100644 assignment-2/submission/19307130062/numpy_fnn.py
create mode 100644 assignment-2/submission/19307130062/numpy_mnist.py
diff --git a/assignment-2/submission/19307130062/README.md b/assignment-2/submission/19307130062/README.md
new file mode 100644
index 0000000..02a93eb
--- /dev/null
+++ b/assignment-2/submission/19307130062/README.md
@@ -0,0 +1,523 @@
+# Assignment 2. 前馈神经网络
+
+- **姓名：高庆麾**
+- **学号：19307130062**
+
+
+
+## 第一部分：梯度计算公式推导
+
+### Matmul
+
+考虑 $Y = XW$，其中 $Y \in \R^{n\times d_2},\ X \in \R^{n \times d_1},\ W \in \R^{d_1 \times d_2}$
+
+设损失函数为 $\mathcal L(\boldsymbol y,\ \boldsymbol {\hat y})$ ，且 $\Delta_Y$ （即 $Y$ 相对于损失函数的梯度）已知，希望得到 $\Delta_X,\ \Delta_W$
+
+推导如下：
+
+#### $\Delta_X$ 的推导
+
+我们考虑 $Y$ 的每一位对 $X$ 贡献的偏导，即 $\frac{\partial Y_{ij}}{\partial X}$
+
+由于 $Y_{ij} = \sum_{k = 1}^{d_1}X_{ik}W_{kj}$ ，$X$ 各位独立，且
+$$
+\frac{\partial Y_{ij}}{\partial X} =
+\begin{bmatrix}
+\frac{\partial Y_{ij}}{\partial X_{11}} & \frac{\partial Y_{ij}}{\partial X_{12}} & \cdots & \frac{\partial Y_{ij}}{\partial X_{1d_1}} \\
+\frac{\partial Y_{ij}}{\partial X_{21}} & \frac{\partial Y_{ij}}{\partial X_{22}} & \cdots & \frac{\partial Y_{ij}}{\partial X_{2d_1}} \\
+\vdots & \vdots & \ddots & \vdots \\
+\frac{\partial Y_{ij}}{\partial X_{n1}} & \frac{\partial Y_{ij}}{\partial X_{n2}} & \cdots & \frac{\partial Y_{ij}}{\partial X_{nd_1}} \\
+\end{bmatrix}
+$$
+故 $\left[\frac{\partial Y_{ij}}{\partial X}\right]_{ik} = W_{kj},\ k \in [1,\ d_1] \cap\Z$ ，其余项为 $0$
+
+由于 $\Delta_Y$ 已知，即 $\frac{\partial{\mathcal L}}{\partial Y_{ij}}$ 已知，则有
+$$
+\frac{\partial{\mathcal L}}{\partial X_{ij}} = \sum_{s = 1}^n\sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{st}}\frac{\partial{Y_{st}}}{\partial X_{ij}} = \sum_{s = 1}^n\sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{st}}\left[\frac{\partial{Y_{st}}}{\partial X}\right]_{ij} = \sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{it}}\left[\frac{\partial{Y_{it}}}{\partial X}\right]_{ij} = \sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{it}}W_{jt} = \sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{it}}W^T_{tj}
+$$
+即
+$$
+\frac{\partial{\mathcal L}}{\partial X} = \frac{\partial{\mathcal L}}{\partial Y}W^T
+$$
+可知
+$$
+\Delta_X = \Delta_YW^T
+$$
+
+#### $\Delta_W$ 的推导
+
+其次，对于 $\Delta_W$ ，我们用类似的方法进行计算，有 $\left[\frac{\partial Y_{ij}}{\partial W}\right]_{kj} = X_{ik},\ k \in [1,\ d_1] \cap\Z$ ，其余项为 $0$ ，则有
+$$
+\frac{\partial{\mathcal L}}{\partial W_{ij}} = \sum_{s = 1}^{n}\sum_{t = 1}^{d_2} \frac{\partial{\mathcal L}}{\partial Y_{st}}\left[\frac{\partial{Y_{st}}}{\partial W}\right]_{ij} = \sum_{s = 1}^{n} \frac{\partial{\mathcal L}}{\partial Y_{sj}}\left[\frac{\partial{Y_{sj}}}{\partial W}\right]_{ij} = \sum_{s = 1}^{n} \frac{\partial{\mathcal L}}{\partial Y_{sj}}X_{si} = \sum_{s = 1}^{n} X_{is}^T\frac{\partial{\mathcal L}}{\partial Y_{sj}}
+$$
+即
+$$
+\frac{\partial{\mathcal L}}{\partial W} = X^T\frac{\partial{\mathcal L}}{\partial Y}
+$$
+可知
+$$
+\Delta_W = X^T\Delta_Y
+$$
+$\square$
+
+
+
+### ReLU
+
+考虑 $Y = \mathrm{ReLU}(X)$ ，其中 $Y,\ X \in \R^{n\times m}$
+
+设损失函数为 $\mathcal L(\boldsymbol y,\ \boldsymbol {\hat y})$ ，且 $\Delta_Y$ （即 $Y$ 相对于损失函数的梯度）已知，希望得到 $\Delta_X$
+
+推导如下：
+
+#### $\Delta_X$ 的推导
+
+方法类似于上文，只要注意这里的 $\mathrm{ReLU}$ 是一个逐元素函数
+
+考虑 $Y$ 的每一位对 $X$ 贡献的导数，即 $\frac{\mathrm{d}Y_{ij}}{\mathrm{d} X}$
+
+由于 $Y_{ij} = \mathrm{ReLU}(X_{ij})$ ，故 $\left[\frac{\mathrm{d}Y_{ij}}{\mathrm{d}X}\right]_{ij} = \mathrm{ReLU}'(X_{ij})$ ，其余项为 $0$
+
+显然
+$$
+\mathrm{ReLU}'(x) = \begin{cases}
+0, & n < 0 \\
+1, & n > 0 \\
+\mathrm{Undefined}, & n = 0
+\end{cases}
+$$
+当然，在 $x = 0$ 处，由于截断误差的存在，可以认为导数为 $0$ 或 $1$
+
+则有
+$$
+\frac{\partial{\mathcal L}}{\partial X_{ij}} = \sum_{s = 1}^n\sum_{t = 1}^{m} \frac{\partial{\mathcal L}}{\partial Y_{st}}\frac{\mathrm{d}{Y_{st}}}{\mathrm{d} X_{ij}} = \frac{\partial{\mathcal L}}{\partial Y_{ij}}\left[\frac{\partial{Y_{ij}}}{\partial X}\right]_{ij} =\frac{\partial{\mathcal L}}{\partial Y_{ij}}\mathrm{ReLU}'(X_{ij})
+$$
+即（此处 $\odot$ 表示矩阵的哈达玛积，即对应位乘积）
+$$
+\frac{\partial{\mathcal L}}{\partial X} = \frac{\partial{\mathcal L}}{\partial Y}\odot\mathrm{ReLU}'(X)
+$$
+可知
+$$
+\Delta_X = \Delta_Y\odot\mathrm{ReLU}'(X)
+$$
+$\square$
+
+
+
+### Log
+
+考虑 $Y = \mathrm{Log}(X)$ ，其中 $Y,\ X \in \R^{n\times m}$
+
+设损失函数为 $\mathcal L(\boldsymbol y,\ \boldsymbol {\hat y})$ ，且 $\Delta_Y$ （即 $Y$ 相对于损失函数的梯度）已知，希望得到 $\Delta_X$
+
+推导如下：
+
+#### $\Delta_X$ 的推导
+
+方法类似于上文，只要注意这里的 $\mathrm{Log}$ 是一个逐元素函数
+
+考虑 $Y$ 的每一位对 $X$ 贡献的导数，即 $\frac{\mathrm{d}Y_{ij}}{\mathrm{d} X}$
+
+由于 $Y_{ij} = \mathrm{Log}(X_{ij})$ ，故 $\left[\frac{\mathrm{d}Y_{ij}}{\mathrm{d}X}\right]_{ij} = \mathrm{Log}'(X_{ij}) = \frac{1}{X_{ij}}$ ，其余项为 $0$
+
+则有
+$$
+\frac{\partial{\mathcal L}}{\partial X_{ij}} = \sum_{s = 1}^n\sum_{t = 1}^{m} \frac{\partial{\mathcal L}}{\partial Y_{st}}\frac{\mathrm{d}{Y_{st}}}{\mathrm{d} X_{ij}} = \frac{\partial{\mathcal L}}{\partial Y_{ij}}\left[\frac{\partial{Y_{ij}}}{\partial X}\right]_{ij} =\frac{\partial{\mathcal L}}{\partial Y_{ij}}\frac{1}{X_{ij}}
+$$
+即（其中 $\frac{1}{X}$ 表示 $X$ 的每一位取倒数后的结果）
+$$
+\frac{\partial{\mathcal L}}{\partial X} = \frac{\partial{\mathcal L}}{\partial Y}\odot\frac{1}{X}
+$$
+可知
+$$
+\Delta_X = \Delta_Y\odot\frac{1}{X}
+$$
+$\square$
+
+
+
+### Softmax
+
+考虑 $\boldsymbol y = \mathrm{Softmax}(\boldsymbol x)$ ，其中 $\boldsymbol y,\ \boldsymbol x \in \R^{1 \times c}$
+
+设损失函数为 $\mathcal L(\boldsymbol y,\ \boldsymbol {\hat y})$ ，且 $\Delta_{\boldsymbol y}$ （即 $Y$ 相对于损失函数的梯度）已知，希望得到 $\boldsymbol y$ 的表达（前向计算）及 $\Delta_{\boldsymbol x}$
+
+推导如下：
+
+#### $\boldsymbol y$ 的推导（前向计算）
+
+根据 $\mathrm{Softmax}$ 的定义，可以得到
+$$
+\boldsymbol y_i = \frac{e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}}
+$$
+
+#### $\Delta_{\boldsymbol x}$ 的推导
+
+由于
+$$
+\boldsymbol y_i = \frac{e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}}
+$$
+且
+$$
+\frac{\partial \boldsymbol y}{\partial\boldsymbol x} =
+\begin{bmatrix}
+\frac{\partial \boldsymbol y_1}{\partial \boldsymbol x_1} & \frac{\partial \boldsymbol y_1}{\partial \boldsymbol x_2} & \cdots & \frac{\partial \boldsymbol y_1}{\partial \boldsymbol x_c} \\
+\frac{\partial \boldsymbol y_2}{\partial \boldsymbol x_1} & \frac{\partial \boldsymbol y_2}{\partial \boldsymbol x_2} & \cdots & \frac{\partial \boldsymbol y_2}{\partial \boldsymbol x_c} \\
+\vdots & \vdots & \ddots & \vdots \\
+\frac{\partial \boldsymbol y_c}{\partial \boldsymbol x_1} & \frac{\partial \boldsymbol y_c}{\partial \boldsymbol x_2} & \cdots & \frac{\partial \boldsymbol y_c}{\partial \boldsymbol x_c} \\
+\end{bmatrix}
+$$
+故当 $i = j$ 时，有
+$$
+\left[\frac{\partial \boldsymbol y}{\partial\boldsymbol x}\right]_{ii} = \frac{\partial \boldsymbol y_i}{\partial \boldsymbol x_i} = \frac{\partial\left( \frac{e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}}\right)}{\partial \boldsymbol x_i} = \frac{e^{\boldsymbol x_i}(\sum_{j = 1}^ce^{\boldsymbol x_j}) - e^{\boldsymbol x_i}e^{\boldsymbol x_i}}{\left(\sum_{j = 1}^ce^{\boldsymbol x_j}\right)^2} = \frac{e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}}\frac{\left(\sum_{j = 1}^ce^{\boldsymbol x_j}\right) - e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}} = \boldsymbol y_i(1 - \boldsymbol y_i)
+$$
+当 $i \neq j$ 时，有
+$$
+\left[\frac{\partial \boldsymbol y}{\partial\boldsymbol x}\right]_{ij} = \frac{\partial \boldsymbol y_i}{\partial \boldsymbol x_j} = \frac{\partial\left( \frac{e^{\boldsymbol x_i}}{\sum_{j = 1}^ce^{\boldsymbol x_j}}\right)}{\partial \boldsymbol x_j} = \frac{-e^{\boldsymbol x_i}e^{\boldsymbol x_j}}{\left(\sum_{j = 1}^ce^{\boldsymbol x_j}\right)^2} = -\boldsymbol y_i\boldsymbol y_j
+$$
+则有
+$$
+\frac{\partial{\mathcal L}}{\partial\boldsymbol x_{j}} = \sum_{i = 1}^c\frac{\partial{\mathcal L}}{\partial\boldsymbol y_{i}}\frac{\partial\boldsymbol y_i}{\partial \boldsymbol x_j} = \sum_{i = 1}^c\frac{\partial{\mathcal L}}{\partial\boldsymbol y_{i}}\left[\frac{\partial\boldsymbol y}{\partial \boldsymbol x}\right]_{ij}
+$$
+即
+$$
+\frac{\partial{\mathcal L}}{\partial\boldsymbol x} = \frac{\partial{\mathcal L}}{\partial \boldsymbol y}\left[\frac{\partial\boldsymbol y}{\partial \boldsymbol x}\right]
+$$
+可知（其中 $\left[\frac{\partial\boldsymbol y}{\partial \boldsymbol x}\right]$ 已经在上文中求出）
+$$
+\Delta_{\boldsymbol x} = \Delta_{\boldsymbol y}\left[\frac{\partial\boldsymbol y}{\partial \boldsymbol x}\right]
+$$
+由于原代码中给出的是一组行向量构成的矩阵，因此，我们可以对每一行分别进行如上操作，且行与行之间互不干扰，由此完成 $\mathrm{Softmax}$ 的反向传播
+
+$\square$
+
+*注意此处对应代码的写法，对于 numpy 里的 array A，A[i] 只会被认为具有一个维度（被看做是一列数而非一个行向量），因此如果希望使用其对应的行向量，需要将 A[i] 转换为 matrix 类型，此时就会带上表示行的一维
+
+
+
+### FNN
+
+由于整个 FNN 由上面推导过的许多基本层次构成，因此在 FNN 中进行前向计算，只需要类似函数嵌套的方法将模型结构的各个层次结合在一起即可
+
+设 FNN 对应的函数为 $F$ ，则
+
+#### $F$ 的推导（前向计算）
+
+$F(X) = \mathrm{Log}(\mathrm{Softmax}(\mathrm{ReLU}(\mathrm{ReLU}(X\cdot W_1)\cdot W_2)\cdot W_3))$
+
+其中 $X \in \R^{n \times 784},\ W_1 \in \R^{784\times 256},\ W_2 \in \R^{256\times 64},\ W_3 \in \R^{64\times 10},\ F(X) \in \R^{n \times 10}$ ，$n$ 为数据条数
+
+#### FNN 后向传播的推导
+
+根据代码，我们可以得到模型定义的损失函数为 $\mathcal L(\boldsymbol y,\ \boldsymbol {\hat y}) = -\boldsymbol {\hat y}\boldsymbol y^T$ （$\boldsymbol {\hat y}$ 表示预测向量），而在整个数据集上的定义为
+
+$\mathcal L(Y,\ \hat Y) = -\frac{1}{n}\sum_{i = 1}^n{\hat Y_{i:}}Y_{i:}^T = -\frac{1}{n}\sum_{i = 1}^n\sum_{j = 1}^d{\hat Y_{ij}}Y_{ij}$
+
+由此我们需要计算 $\Delta_{\hat Y}$ （即 $\hat Y$ 相对于该损失函数的梯度，$\hat Y = F(X)$ ）
+
+推导如下：
+
+#### $\Delta_{\hat Y}$ 的推导
+
+根据上文对 $\mathcal L$ 的定义，我们很容易得到
+$$
+\frac{\partial\mathcal L}{\partial\hat Y_{ij}} = -\frac{1}{n}Y_{ij}
+$$
+由此即可得到最初进入反向传播过程的梯度矩阵 $\Delta_{\hat Y}$ ，其它层上的梯度可以通过逐层反向传播得到
+
+
+
+### 总结
+
+**这里希望就笔者对梯度和导数的理解，以及根据自己的理解和方法简明地推导反向传播公式的感悟，做一点总结。**
+
+对于后向传播的梯度计算，有许许多多的方法，比如迹运算技术[^1]和向量化技术[^2]即为比较通用的高维求导方法。但简单尝试后可以发现，这些方法运用起来实在过于复杂。实际上，为了正确而又简单地计算梯度，我们只需要明确所谓梯度（或者说导数）究竟有怎样的实际含义。
+
+*下面对梯度和导数的概念可能有一些混用，在本文中这两者表达的含义基本相同。
+
+对于一个非常一般的关系 $A = f(B)$ ，此处 $A,\ B$ 可视为任意维度和大小的张量。如果对线性代数比较熟悉，可以知道，其实这只是对许多多元函数关系的一种简化表达。如果我们拆开来看，若 $a$ 是 $A$ 中某一项，那么 $a$ 实际上就是一个**关于 $B$ 中所有项的多元函数**。
+
+其次，为什么要在神经网络中计算梯度？无非就是希望通过梯度下降来迭代地优化神经网络的效果（而梯度下降的方向也是损失函数值下降最快的方向，且一般而言这个损失函数的结果都是一个标量，否则难以比较大小）。既然如此，我们就需要计算出网络中每个参数的梯度，并通过将每个参数都向梯度下降的方向做一些移动，使得整个网络的损失函数在特定数据集上的表现有所优化。
+
+所以，我们可以认为，每个参数的移动都对损失函数的最终结果有一定的贡献。而链式法则告诉我们，这种贡献的正确计算方法，是考虑该参数到达损失函数的**每一条作用路径**[^3]。反向传播算法 (Back Propagation, BP) 即是利用了这种思想。如果对动态规划 (Dynamic Programming, DP) 算法比较熟悉（比如对运筹学比较熟悉或有程序设计竞赛方面的背景），可以知道 BP 实际是一个**非常显然而简单**的有向无环图 (Directed Acyclic Graph, DAG) 上 做 DP 的算法（当然这也很大程度上归功于链式法则的证明），因为神经网络中的计算图本身一定是一个 DAG，即从各个结点出发，沿着计算边行进，最终必定会到达损失函数。
+
+这样，我们在计算 $B$ 到 $\mathcal L$ 的梯度时，不再需要枚举所有作用路径，计算并累加所有的贡献，而只是需要计算从 $B$ 到以它为自变量（的一部分）的关系的象 $A$ 中所有可能的作用路径，再和先前计算好的从 $A$ 到 $\mathcal L$ 的梯度做一个“路径拼接”，实际也就是矩阵（或张量）的乘法，即可得到 $B$ 所有的贡献。关于 $A,\ B$ 的顺序，由于计算图是一个 DAG ，因此可以通过拓扑排序 (Topological Sort) 确定二者（乃至全部参数）之间合法的先后关系。
+
+回到上文的一般关系 $A = f(B)$ 中，从 $B$ 到 $A$ 的所有合法路径是怎样的？这就回到了一开始从 $A$ 中抽出的一项 $a$ （它也代表一个关于 $B$ 中所有项的多元函数） ，所谓所有的合法路径，实际也就是要考虑所有这样的 $A$ 中的项（或多元函数）对于 $B$ 中每一项的梯度，然后 $B$ 中每一项的贡献，也就是以 $\mathcal L$ 到 $A$ 中每一项的梯度作为权，乘这一 $A$ 中的项对 $B$ 中该项刚刚计算出的梯度（或称偏导）的和，这也就是先前提到的**“路径拼接”**（也是一种加权和，如此理解的意义也是非常显然的）。
+
+这样，对于日常遇到的简单情形，我们其实并不需要套用一些非常通用而繁琐的方法，只需要如上文一般，对 $A$ 中每一项求出其对 $B$ 中每一项的偏导，由此将问题转化为一个多元函数（结果是标量）对其中每个自变量的偏导问题，这显然是非常简单的（甚至不需要大学的知识）。而关于“简单情形”的定义，其实也就是指这种多元函数的形式比较一致，这样我们只需要对其中几个多元函数求出偏导，就能得到对全部情况的理解。最后模仿“路径拼接”或链式法则，将表达简化为矩阵乘法的形式，就可以非常容易地得到梯度。本文对相关常见的神经网络层反向传播的推导，全部基于这种认识和由此而来的方法，在笔者个人看来，是足够简明和容易理解的。
+
+
+
+
+
+[^1]: 来源于该式 $\mathrm{d}f = \mathrm{tr}\left(\frac{\partial f}{\partial X}^T \mathrm{d}X\right)$，用于标量对矩阵的求导。从需要求导的标量出发，套上迹运算，再结合一些迹内运算的恒等式推导得到类似形式，则迹运算内 $\mathrm{d}X$ 左侧部分的转置即为所求导数
+[^2]:来源于该式 $\mathrm{vec}(\mathrm{d}F) = \frac{\partial F}{\partial X}^T \mathrm{vec}(\mathrm{d}X)$，用于矩阵对矩阵的求导。类似地，从需要求导的矩阵出发，套上向量化运算，再结合一些向量化内运算的恒等式推导得到类似形式，则 $\mathrm{vec}(\mathrm{d}X)$ 左侧部分的转置即为所求导数
+[^3]: 对于这一点，可以举例考虑函数 $f = (x,\ y,\ z),\ x = g(u),\ y = h(u),\ z = t(u)$ 。如果可导相关的条件上没有任何障碍，那么想要求出 $\frac{\partial f}{\partial u}$ ，我们就必须计算 $\frac{\partial f}{\partial x}\frac{\partial x}{\partial u} + \frac{\partial f}{\partial y}\frac{\partial y}{\partial u} + \frac{\partial f}{\partial z}\frac{\partial z}{\partial u}$ ，也就是考虑 $u$ 到 $f$ 的每一条作用路径。
+
+
+
+
+
+## 第二部分：模型的训练和测试（先前版本）
+
+在从损失函数进行梯度回传时，发现并没有为损失函数提供 `backward` 接口，因此就去看了一下损失函数的具体形式，然后进行了一下推导，发现只需要在原来取平均的基础上加一个负号就可以，然后就通过了所有的测试。但不知道为什么初始准确率不是很高，只有 $80\%$ 多。多训练几个 epoch 后才提升得比较好。
+
+### 调整学习率
+
+#### 保守尝试
+
+根据上文的推导结果，在 `numpy_fnn.py` 中填写好有关代码，然后运行 `numpy_mnist.py` 进行训练，并尝试不同的学习率，得到结果如下：
+
+（实际顺序是先测试了原配置 $\alpha = 0.1$，后来发现损失函数后期波动较大，以为是学习率过大导致的不稳定，就尝试了更小的学习率 $\alpha = 0.05$ ，结果发现效果明显不如从前，就开始逐渐增大学习率进行试验，观察效果。最后决定将数据和损失函数图象放在一起，这样对比更加明显，且节约篇幅）
+
+| Epoch | Accuracy ($\alpha = 0.05$) | Accuracy ($\alpha = 0.1$) | Accuracy $(\alpha = 0.15$) | Accuracy $(\alpha = 0.3$) |
+| :---: | :------------------------: | :-----------------------: | :------------------------: | :-----------------------: |
+| $0$ | $80.18\%$ | $87.50\%$ | $89.20\%$ | $91.06\%$ |
+| $1$ | $87.25\%$ | $90.46\%$ | $91.22\%$ | $93.54\%$ |
+| $2$ | $89.23\%$ | $91.65\%$ | $92.46\%$ | $94.64\%$ |
+| $3$ | $90.40\%$ | $92.21\%$ | $93.19\%$ | $95.42\%$ |
+| $4$ | $91.03\%$ | $92.98\%$ | $93.67\%$ | $96.02\%$ |
+| $5$ | $91.61\%$ | $93.23\%$ | $94.45\%$ | $96.38\%$ |
+
+
+
+（上四图从左到右分别是 $\alpha = 0.05,\ 0.1,\ 0.15,\ 0.3$ 的情况，可以看到损失函数下降的速度明显不同）
+
+设置这几个 $\alpha$ 也是为了比较在 $\mathrm{epoch}\times \alpha$ 相同时的模型训练效果，结果如下：
+
+| condition | accuracy |
+| :----------------------------------: | :-------: |
+| $\alpha = 0.05,\ \mathrm{epoch} = 6$ | $91.61\%$ |
+| $\alpha = 0.1,\ \mathrm{epoch} = 3$ | $91.65\%$ |
+| $\alpha = 0.15,\ \mathrm{epoch} = 2$ | $91.22\%$ |
+| $\alpha = 0.3,\ \mathrm{epoch} = 1$ | $91.06\%$ |
+
+可以发现，在保持模型训练效果大体不变的情况下，可以**适当增加**学习率，减少训练的 $\mathrm{epoch}$ 次数，从而提高训练效率
+
+那么，既然提到了适当，那何时是不太适当的呢？这将在下一节中进行探索。
+
+#### 过大的 $\alpha$
+
+显然一切都不能太极端，我们也不能一昧地提升学习率而不计后果。过大的学习率容易造成模型训练的不稳定，以及数值计算上的严重问题，于是希望在这一节探索怎样的 $\alpha$ 是过大的
+
+| Epoch | Accuracy ($\alpha = 1.0$) | Accuracy ($\alpha = 5.0$) | Accuracy ($\alpha = 8.0$) |
+| :---: | :-----------------------: | :-----------------------: | :-----------------------: |
+| $0$ | $94.64\%$ | $96.36\%$ | $9.80\%$ |
+| $1$ | $96.28\%$ | $96.99\%$ | $9.80\%$ |
+| $2$ | $97.08\%$ | $97.14\%$ | $9.80\%$ |
+| $3$ | $97.39\%$ | $97.73\%$ | $9.80\%$ |
+| $4$ | $97.57\%$ | $97.52\%$ | $9.80\%$ |
+| $5$ | $97.82\%$ | $97.84\%$ | $9.80\%$ |
+
+
+
+（上三图分别对应 $\alpha = 1.0,\ 5.0,\ 8.0$ 情况）
+
+可以看到 $\alpha = 1.0$ 的效果还非常好，$\alpha = 5.0$ 时损失函数已经出现相对明显大幅度的波动，而 $\alpha = 8.0$ 时在训练过程中出现了数值问题，模型优化失效
+
+#### 总结
+
+- 可以发现，在 $\alpha$ 一定的范围内（合理范围内），epoch $\times\ \alpha$ 相同时，训练模型的精度也大体相近。总体看来在这个模型中，$0.1$ 的学习率确实还不太合适，迭代速度太慢
+- 增大 $\alpha$ 时，损失函数下降的速度也有非常明显的提升，可以看到损失函数近于直线下降的部分，随着 $\alpha$ 增大其倾斜程度也有非常明显的增大
+- 合理增大 $\alpha$ 对模型精度的提升非常明显，如 $\alpha = 1.0$ 在第 $6$ 个 epoch 时的精度甚至达到了近 $98\%$（但和 torch 下的模型训练效率相比，差距仍然很明显）
+
+
+
+
+
+## 第二部分：模型的训练和测试（修改后版本）
+
+然后听说对 `numpy_fnn.py` 作了不少修改，然后就 pull 了一下，发现给损失函数加上了 `backward`，并在模型 `backward` 时传入了，这样就不需要再手动处理什么，直接从 `ReLU` 开始反向传播就好。然而，这次在 MNIST 上的测试准确率变得很好，初始就是 $90\%$ 以上，训练几个 epoch 以后也显著地变得更好。所以这一部分就是把之前的结果重新做一遍，然后更新一下实验数据。
+
+### 调整学习率
+
+#### 保守尝试
+
+根据上文的推导结果，在 `numpy_fnn.py` 中填写好有关代码，然后运行 `numpy_mnist.py` 进行训练，并尝试不同的学习率，得到结果如下：
+
+| Epoch | Accuracy ($\alpha = 0.05$) | Accuracy ($\alpha = 0.1$) | Accuracy $(\alpha = 0.15$) | Accuracy $(\alpha = 0.3$) |
+| :---: | :------------------------: | :-----------------------: | :------------------------: | :-----------------------: |
+| $0$ | $92.51\%$ | $94.56\%$ | $95.47\%$ | $96.09\%$ |
+| $1$ | $94.96\%$ | $96.12\%$ | $95.89\%$ | $95.97\%$ |
+| $2$ | $96.15\%$ | $96.96\%$ | $97.27\%$ | $96.94\%$ |
+| $3$ | $96.28\%$ | $97.28\%$ | $97.52\%$ | $97.78\%$ |
+| $4$ | $96.93\%$ | $97.23\%$ | $97.54\%$ | $98.05\%$ |
+| $5$ | $97.14\%$ | $97.55\%$ | $98.08\%$ | $97.91\%$ |
+
+
+
+（上四图从左到右分别是 $\alpha = 0.05,\ 0.1,\ 0.15,\ 0.3$ 的情况，可以看到损失函数下降的速度明显不同）
+
+设置这几个 $\alpha$ 也是为了比较在 $\mathrm{epoch}\times \alpha$ 相同时的模型训练效果，结果如下：
+
+| condition | accuracy |
+| :----------------------------------: | :-------: |
+| $\alpha = 0.05,\ \mathrm{epoch} = 6$ | $97.1\%$ |
+| $\alpha = 0.1,\ \mathrm{epoch} = 3$ | $96.96\%$ |
+| $\alpha = 0.15,\ \mathrm{epoch} = 2$ | $95.89\%$ |
+| $\alpha = 0.3,\ \mathrm{epoch} = 1$ | $96.09\%$ |
+
+#### 过大的 $\alpha$
+
+上一节中，我们就看到，在采用较大学习率时，模型学习效果会出现明显的波动，且最终学习效果会有所下降。那么当采用更大学习率时，会出现什么结果呢？
+
+| Epoch | Accuracy ($\alpha = 1.0$) |
+| :---: | :-----------------------: |
+| $0$ | $9.80\%$ |
+| $1$ | $9.80\%$ |
+| $2$ | $9.80\%$ |
+| $3$ | $9.80\%$ |
+| $4$ | $9.80\%$ |
+| $5$ | $9.80\%$ |
+
+
+
+（上三图分别对应 $\alpha = 1.0,\ 5.0,\ 8.0$ 情况）
+
+和先前不同， $\alpha = 1.0$ 时模型就出现了数值问题，导致优化失效
+
+
+
+## 第三部分：自定义 mini_batch
+
+用 numpy 手写 mini_batch 函数，其实原理很简单，算法大概分为如下步骤（写在代码中）：
+
+```python
+def mini_batch(dataset, batch_size = 128, numpy = False):
+ if batch_size <= 0 or not isinstance(batch_size, int):
+ return None
+ # 1. 判断传入的 batch_size 是否合法，需要为正整数，不合法返回空
+
+ data, label = batch(dataset)[0]
+ # 2. 用 batch 方法将 torchvision 下的 MNIST 数据集转换为 numpy 的 array
+
+ datanum = len(data)
+ idx = np.arange(datanum)
+ np.random.shuffle(idx)
+ data, label = data[idx], label[idx]
+ # 3. 对 data 和 label 进行 random shuffle，具体来说，可以先对一个指示下标的数组做 random shuffle，然后用这个下标数组配合 slice 机制对 data 和 label 进行对应的 random shuffle，从而防止 data 和 label 错误匹配
+
+ batchnum = (datanum - 1) // batch_size + 1 # datanum 对 batch_size 下取整
+ batches = []
+ # 4. 计算 batch 数量，初始化 batches 列表
+
+ for i in range(batchnum):
+ batches.append((data[i * batch_size: min(datanum, (i + 1) * batch_size)], label[i * batch_size: min(datanum, (i + 1) * batch_size)]))
+ # 5. 通过 slice 机制选出第 i 个 batch 对应的 data 和 label 子集，放入 batches 列表中
+
+ return batches
+```
+
+
+
+## 第四部分：额外探究
+
+### 其他基于梯度的优化方法对比实验
+
+在代码中 ( numpy_fnn.py 和 numpy_mnist.py ) 实现了十种优化方法，有
+
+- Momentum, 动量法
+- Nesterov Accelerated Gradient, NAG, Nesterov 加速梯度 或称 Nesterov 动量法
+- Adaptive Moment Estimation Algorithm, Adam 算法
+- Inverse Time Decay, 逆时衰减
+- Exponential Decay, 指数衰减
+- Natural Exponential Decay, 自然指数衰减
+- Cosine Decay, 余弦衰减
+- Adaptive Gradient Algorithm, AdaGrad 算法
+- RMSprop 算法
+- AdaDelta 算法
+
+包括无优化的版本，共有十一种不同的对比实验
+
+#### $\mathrm{epoch} = 3,\ \alpha = 0.1$
+
+这里设定 $\mathrm{epoch} = 3,\ \alpha = 0.1$ ，当然，对于调整学习率的算法，$\alpha$ 是不固定的，提供的只是一个初始值
+
+| Epoch | None | Momentum | Nesterov | Adam |
+| :---: | :-------: | :-------: | :-------: | :-------: |
+| $0$ | $92.15\%$ | $96.72\%$ | $96.42\%$ | $95.43\%$ |
+| $1$ | $96.21\%$ | $97.00\%$ | $96.88\%$ | $96.87\%$ |
+| $2$ | $96.81\%$ | $97.54\%$ | $97.09\%$ | $97.55\%$ |
+
+| Epoch | Inverse Time Decay | Exponential Decay | Natural Exponential Decay | Cosine Decay |
+| :---: | :----------------: | :---------------: | :-----------------------: | :----------: |
+| $0$ | $86.71\%$ | $81.10\%$ | $81.05\%$ | $94.17\%$ |
+| $1$ | $87.93\%$ | $81.10\%$ | $81.05\%$ | $95.91\%$ |
+| $2$ | $88.49\%$ | $81.10\%$ | $81.05\%$ | $96.08\%$ |
+
+| Epoch | AdaGrad | RMSprop | AdaDelta |
+| :---: | :-------: | :-------: | :-------: |
+| $0$ | $95.04\%$ | $95.47\%$ | $76.42\%$ |
+| $1$ | $96.28\%$ | $96.45\%$ | $86.86\%$ |
+| $2$ | $97.24\%$ | $97.43\%$ | $89.22\%$ |
+
+
+
+*其实这时候忘了把 RMSprop 加进去了，但是对比也是很丰富的...
+
+
+
+#### $\mathrm{epoch} = 3,\ \alpha = 0.05$
+
+为了更好地突出各个算法的不同，将学习率 $\alpha$ 降低为 $0.05$
+
+| Epoch | None | Momentum | Nesterov | Adam |
+| :---: | :-------: | :-------: | :-------: | :-------: |
+| $0$ | $92.47\%$ | $96.20\%$ | $96.65\%$ | $93.67\%$ |
+| $1$ | $94.43\%$ | $97.38\%$ | $97.13\%$ | $96.11\%$ |
+| $2$ | $95.67\%$ | $97.70\%$ | $97.70\%$ | $96.69\%$ |
+
+| Epoch | Inverse Time Decay | Exponential Decay | Natural Exponential Decay | Cosine Decay |
+| :---: | :----------------: | :---------------: | :-----------------------: | :----------: |
+| $0$ | $77.18\%$ | $67.31\%$ | $64.09\%$ | $92.47\%$ |
+| $1$ | $80.42\%$ | $67.31\%$ | $64.09\%$ | $94.07\%$ |
+| $2$ | $81.90\%$ | $67.31\%$ | $64.09\%$ | $94.35\%$ |
+
+| Epoch | AdaGrad | RMSprop | AdaDelta |
+| :---: | :-------: | :-------: | :-------: |
+| $0$ | $93.29\%$ | $93.74\%$ | $75.09\%$ |
+| $1$ | $95.47\%$ | $95.17\%$ | $87.09\%$ |
+| $2$ | $96.49\%$ | $96.71\%$ | $89.76\%$ |
+
+
+
+*这时候仍然忘了把 RMSprop 加进去了...
+
+
+
+#### $\mathrm{epoch} = 3,\ \alpha = 0.01$
+
+为了更好地突出各个算法的不同，将学习率 $\alpha$ 进一步降低为 $0.01$，同时加上 RMSprop 算法
+
+| Epoch | None | Momentum | Nesterov | Adam |
+| :---: | :-------: | :-------: | :-------: | :-------: |
+| $0$ | $87.89\%$ | $94.37\%$ | $94.51\%$ | $89.81\%$ |
+| $1$ | $90.47\%$ | $96.32\%$ | $95.82\%$ | $91.76\%$ |
+| $2$ | $91.98\%$ | $97.12\%$ | $96.85\%$ | $92.96\%$ |
+
+| Epoch | Inverse Time Decay | Exponential Decay | Natural Exponential Decay | Cosine Decay |
+| :---: | :----------------: | :---------------: | :-----------------------: | :----------: |
+| $0$ | $36.83\%$ | $21.94\%$ | $29.31\%$ | $87.22\%$ |
+| $1$ | $45.39\%$ | $21.94\%$ | $29.31\%$ | $89.67\%$ |
+| $2$ | $50.02\%$ | $21.94\%$ | $29.31\%$ | $89.85\%$ |
+
+| Epoch | AdaGrad | RMSprop | AdaDelta |
+| :---: | :-------: | :-----: | :-------: |
+| $0$ | $89.44\%$ | $89.56\%$ | $77.58\%$ |
+| $1$ | $91.83\%$ | $91.85\%$ | $86.84\%$ |
+| $2$ | $92.76\%$ | $92.90\%$ | $89.26\%$ |
+
+
+
+#### 总结
+
+- 可以发现 Momentum 和 Nesterov 效果一直不错，且表现接近，这可能是因为本作业的模型比较简单，而 Momentum 和 Nesterov 总体来看做的事情比较相似，所以没有体现出 Nesterov 对梯度更新的修正。Adam 在 $\alpha$ 较大时表现也很好
+- 对于以某种方式衰减 $\alpha$ 的优化，初始 $\alpha$ 必须足够大才能体现出较好的效果，毕竟 $\alpha$ 太小的话，衰减到最后已经不足以对参数产生实质性的更新从而导致停滞（如 Exponential Decay 和 Natural Exponential Decay）
+- AdaGrad 和 RMSprop 表现比较接近，这可能也是因为本作业的模型比较简单，所以没有体现出 RMSprop 中指数衰减移动平均的优势，且这两者也会受到学习率减小的影响
+
+
+
+### 权重初始化
+
+留坑待补...
\ No newline at end of file
diff --git a/assignment-2/submission/19307130062/img/1.png b/assignment-2/submission/19307130062/img/1.png
new file mode 100644
index 0000000000000000000000000000000000000000..76e24ca85c7ce4d93a478588b5bb4c56712f55f8
GIT binary patch
literal 431260
zcmeFadpOm3_daf(d77S?W-25pr;daesSr_5jwMn`N>pM~VjOZl%`{EUL=rhPR5Uph
z6(X9+A?HCQIn_o|4sCKi{qD6j&kWP^xvt-T-_Q4JU)M}K+ur;AUa$39>t6S|*DIgh
z+UnnYwe%|v4vud$HB|O+aPZ+N*Ta8(fj<^R@GQU|^7g6+?Dtxm**hM!HRafK)c!k5
zYkNzJW5N!mwsscQRx*+@lItae&F$^Kv)e2sb?QIAAZcyOkdpG{oQDtj@;eO!I}VPB
z68i76mh)FvaD2wWp{cS>&nc?2aoaZ>%NIU;*fQp7r1<;Xh5zlPe|^36zr7^-!z%tnyu2AOq`>Gqh7AT#Xo|I0z1cQ#gO
z>(wn)tJ=qtzvTOQ@l{KlCu`TQ@Rp8SWPVHZMC{G(n&^t+su-r4z{mW1i
zG3y{R3^E%*rW<6|L8jYdHiFEs$E<_QFvx5KnQo9-2bpe<*$6Vj941>%@km&}Qb&%=yn2jJa>@n*gGYm2tL8cqz|6&I@!sy1V^21a{
zc4J^@XlQC~b91whUjcJ5?8v-pN3kwPg^qZAEC)^~$OAi_Tlj9*jHD|4-Wf|6Z?}y|d|#
z{=Xp-%&yt&nsNM3d1)$DOgEC(q;=$V8+Z3D&))Sn=a!qv+^g@pblt)-qdtp4dGWh*
z$kn$GNE9Bsy+lDl!Nk$gv9r57&~>nTd^pcgvOVTY4vxHk{ylSeDVXDPPoLhn|K`)o
zoE-kz+FFyy>sbtf2Jg9tPk!t0z$mCPR(Z0;jKN?iI=w%_&(H7w;K7z{P;m@}e?qX)
z?F|GGE@fPJ;_lL$Pfr*c8&__@mveX-H<+dK@$&MvFqy|B7W>`K$PoDgmp=K!-?R6_
zvg;O0g_J$`@tr0Qj4HRxr4ML+vSHVx_xFms(X0QCD!x6_<)F~?z*V-QqT+Q7
z8+1(8Y}nN@K04SkHs+@2K4Om~9#n8ldQgIcBh&5^Ht@LR=jUhR;<9j4Mw6DckXhYrY5rOcJI
zvn#e63jZK_`qe|-Id|qK>Mgo;@AQ*Br<6}651n>fRR3bL#nWde=FC|na+=AZ`n}jc
z(iZLJoa<`MB|JR-N=I2>eiP$6E+@qlaeb*rqaKZw{EszV{?)_CjpyLl+N4+RNMAqg
z;T8SVmq+|q>BV&lmd0XXzItMJ9}Un=?Y0RE5AXT?-+|vO+mwI*^t(9i=*kr#d7v`6d1>T5gWb8-~L8T(R=
zw!D3oybS1F_rQTmVKQ{B&xhTOmX11~@5~bu7x(*k!N(f!pEg+gdENcfCnbz?6_;+Z
zyu>oVebtHnedQmg1uT;-d~x@rj8ekEyC&9s#`}Nnb)OV>t(yU
zZOWA^!f$I+g^~|t1me^EE5xLvDu?=|VFdqA7~y!;#dU{{)m-0YQJJvkhWWE3gC{rj
zrS{y=TO7*1%35&=3IFT6E~`Co>0iH@F+S3-yMO=1YkIh4`A^+)-064EOgH4U$GEC>
zy||lx0R;^QM~Ega^UAg}{yVmol$M&{LkzSKTX9Bk2l-M|q8|&)o9<=MowPIWJQ~sbasP@VGFdWGU;
zZp^1X@HzJGLA$eO&l+g6GgMu;)n^*_Q!jtUvDGyG?_pMW9(=YY@+Qo3F_bQ1>%g_q
z&HMkSH&j13e^e~2#FmSG{c*0nanT-J*29#4fA+Uxd+Xv0VPUIdutBCgI&o38`#SMx
zwguPIyJkFsMM{+EM~PZFG4MX)U4Q?`Ki+YC>+EZP*y68$&f4X#*7)=J|8Bbk^R7F1
z#~VPS(Hdy8((yRQ%Vk3&^O0y%cFgXBKUewBXaBp`d+I)B@8Qq&{OhyhS5D*-K%V*N
zEPGvknb$gZ*eqvqVpQ6?Dd&=`wULBTj@%~8=kE&+IXgQ)NivW*@$?s-yC*AV0>-(zI~IGjE^k`*x-5d*?sb`ubKmO%z*3Wr
z>T87BpXWH+UAS;TMN?A~KwRbM(W8qNFIEFCi??dLPx$Wnsf@-r&CoTs2`&PI#?$uz
zY??p)WgmX^_2~984O~&qV3Vu#$!AHIWEk4?{I+>j+=2V{77~Z$c);e(M#uF;Z2k*w2l}Fw#5_DBTxii`2dgILe&7weMAw3IFyg&E(
z1at$eh?NRi75x3~a!%b8q{`TXS(jH?&mo`}J
zAzy;cZ#VYEdJ3i(J=nZrg%aL2d4EmVj)ErF9)ThuPdEE_&(;MhPYh8hbx-M^iHm5J
zf|Mtm`~?&?6$S|j33-mO9Ln8|k`{B)VqRKrT9P;Jg1czB^=Q7|UTyi+6>tLc7k4b4
zrDKm|-_wJSIp=Q2UQq}~g|TL&bc8I3JG8wt9k2-xlB=V{^fCMDtFMkVyAPJ@uHZ-<
zI(WyNQ^@^8m4k6}s&QT>ww4{Q=;!!7=@U;9m#jaop*YxJr+e^VWR3g2U-W!Z4rdoS
zw@33na2=$=BC5Oe8g8Z_+OdgmrFx)$TWNUvI&~Wx8(4j{%ZE3d3DFJ*&t|P1Lj7R!
zIC!~D&x66jI~Fy)7voVLY_@;1P$b%ZkK15&bAYwyX#M#e*Lp89824xg+Es4hRt_qQ
zl9zdL@6_dZy{yx4f&5abyeRY6FHWWgoJ`4Dqwb@Wj?!a^td(KT``_kC;~Ot+Jh@+c
z&^_Yq)0;&W3DJvrjoobcT{~|pxOr|CW7ZB%jE@!tFW-J|bmYOn3-Q;Lv9Z}(`7#Gy
zoNT%OE@kJ2y?j>6+4Pa}w#O9_Gg#F-r3z4`+ufH6+o2jRd6@abJV|f63VD%V_9w$8
z3f!sRyUPz6f6gJiB2KuOiiw#Iv74vr?-hK$Kye}d43Mc*ltDok*4GjX0u(NE+k#BcR?}(ioV?=%T+m}_acV=IOLf^p&PR`qiJx&94jFym{l0MjX
zs_hlgEjpefd*OF0q@2l_@`ehe;&A!WM;?0RT=Z0N+ixplT5@5ivB!h=oREhT#S)w0
zw(z1SH}>{Lo@D4@OTDRzS7&CeYWsqxSR~es3y!{PL+Flcan{Yb^2LY{kxMpN9*8>q
z%s@BKV_a^yHMHg8A*~-_8m4`-~Cu4f#6r$lkA~DYIf1PV`Xm!r{d|Frbt_oBdc>^-T
z^x1mLy0q0XZoS2FePuH7M<4xU)1B2`Na1dotX0{IK+8*8Tpgki*=-&#KetM9*Z02H
z@7&pde6^_jvTTreYR>wLl7}NRB>LJbgJQ>8MXGY$N0-Q$X*Jox1YuLe!}H?g!^>>?
zpK=N)sC8yB^7$AlQ64V&#Ukqb4hK|fu5*6=g^E^0NYB;jR^teJ^vk}RY!{}D+>mA0
zC(u4`-eL*w^oq^m+REb}4%|Aj4JNvAPS8aZdzLq7%fNx$c*~4+hwiPC6w#;!!ODCS
z9~5Xj#^k*X-w;TXS+--xj$VPI33erG6I8%;ag|FPyd!Gl^y)1C>XPW?+kaXWqnRMw
zcC##2Svhip1s5aAMop2G&#iFhy~yFc*R|L&#p|=r-6nL`1|Sg5-~8rE=G$LxQuH1U
z>^qxf*Ivjf5)#6q_<^EmQvfpF{UtlIctt;dQ^nc!LeS*g&UFSJM0SX4?X$ar$3mNnkv
zsSMgKtVfQg`ef>Z#W0DvzmT$0vu+{>Hvdxhkq?@R;o1>uO1q-uq;1acp>)Woj4>#^
z1*Yb}?PIFXD(cUFu|SYNTEQ`Jfzpt0v+j}X3l}dIUJEx`3W_hFE}hY?P@%tcv%R@}
zcY{0vG%f&D`s%4#-eHey!$OJ~G%7JN|801GB)d<&sID
z4|aYVuKz|xlZ*J~({C3|j5G$y&rC)FA`hT3d{^GJIzVjWGYZY-D
z4+hOv!}tFB*m})zu+g!|H2m=!!ynOh*bDewbVaI~Qj*VgAjbXq3FlQdq
zU#7wv+Z)E?(c5gwJJ{^$`OL2Mw@@7=zMJ}~+8b)pOiSfnUox@fP7FEpz~yw5!wU-*
zt_b%yc3HN`X{EN@s~-=f9oNi_zj_Vf!eyZI#y`OmJ(t|q$3C$Bamr;Y-{+aqeRduL
z>E7v;fufQXW9U@;_2E@=0x-{}cy;*k@dlUvw*?-fUAzFbeuO&rT-%X!C_{38s*!+Q
zdqn_N`1tAO0NJJ`AlSTbrra01+3pbyk1dk&VEKX7MrJSv=-gobyRZXx5}UIIM&7n<
z+ehF`Xc3WY>CSM;fYsQS78VxI?2i8e)_P>1YnixyO4-{if)s0ZMIvJDGJzq35P;P{
zs{uh5f~AW?YS?7m#4o--X^1I(Fx_m|ewpAc?NN5xY{!UGe#9-J?N9Lms3`Q&@rY%>
zE6fPQOEqv<+afy?fyy^nHOOI$F9HToN4neci+-vg7&K!=<#ph!7fTuO$GY`uT9y^=
z`u9Wu`N@;LIsvSfBK7jfjp;6%u9}Puv1}09i1SZ#>25cEm)oCgt%_8K&9YP%x{l
ze=sjLy6>+`h38_IDNhA?jpzZWtbQCYE#Hm!xiKWjF9IdqcX930)WFM
zD0kTWbTc(~^L)kk4~M!P^DeUt>P;SceRdnTz`r69WFQ+*Q_iNOh$!oaC0MmN9w9<$
zVyNYkf}>T=Xm_@>MfFvJwp6zm3_sXa>&?0H7%(zlY&w2Yarxj4D6Cl3fO@0lr)5@;b$=;a
zha!&hg^J7#J+YDgcj56W#psr(o|`YgeE(=c5OVCd_>jEko|EGy$Vkt-Wk77UJX)aa
zk9#UW%H)!I@L^95&;%dD6|tnHL_F1>GIvY5Fn2nmGO)Wbn{jQ77L1Km0Ce~%oZG+o
zeL4JLBEXJPJ-eRpoEUZ*V-=ZTTUaot42-fVyn&wZF-UKIEmz&4dklUk8Q@=$Y{y?bf!<(v=RuB50QP^s5
zY6&11b0_^mc(^){)-jllFw&jMIyP|00amoA1b%L^>9`hN2q3qN`UIjovE%NTSFIo*
z4=`QL+hdFZGv`C~P8QQost|aS8?{-fxenK%dzLD%Q-Zma?)K$v4FvG{tHZvjW8W606_@bd-v{k6tI
zSTgk+>-!Lc3qj^{mGh&Rs6sU3Up->hRi63Q!1D%4Azk
zPHB@uf2uSZ0Qqk_biKG!DX8f5-G}Z*h4~7dxBS=t`##bz4^?_W$mp^jte
zm#;3Pj_LAC-PZx2c7_?jh@rGvFo)MLxN1--Rvat_xfa%niA}3B`fi-!6IC~b&S;56
zhfZZy%?sh`{z9>hGP0+9HTv4m&WwJ^oGaDx;Su2jZb&uEFnuGRWmcKXVf3)Oh6v!S
zzSv2{ChVH$j?L~hN{o>Y9V~zv>62L#HI#AB@)~I<)*@)5irzs8LKn0U|EkdwlyhKR
zX}EOEfz0oYHk__KZ1eK_xvwpovAHfgT?bdds?D3&DCqL$XR5X5?{R-XB}Gb3Z;2DK
z6q%IupvPSbL`T{qyH4M~puyt8z;B&c^
zf*H5N=h}6*c7EM>7Ot`I8$dl7voi1P^W|41xIW@Y*@584eC4tCcPcX{
zM&6kq#TjVzd&W31eV*Stbto9v4BJ%pH%(l}fHDQplWEqC-oG
z;sb`?lw601TKMCa+)UZL;qv)wFP*@~BT%oc&~+z2{atNp5baNS4K%3q9KPBLr#vDe
z?crus5iKtx+dd;g=&95Kk`o1)T!-r_K-OKlD{@1z?Jtx25%QL7ak1yO$>+2vw|;SF
ztz>p*TIWwAldIQdXk6RFzUCO$?ubyujvd$b*u1@wP?+z-9S>AypfCvU&@>FTMbS)|
zAnoGvLvSS?&*4&I=2%~4rQ?O@rtjwpE}1Lj_FY^AL67(#rO0@d4wRoe{g+6uU>V+@
zv!p&AZ({iwkF6l$l&W#Z$97I!OuiB6>=+CogfpB^|lsI*~#pqozCC2wsw-!
zxAIoibZ8oeN{uH%o>`vx;u|JlZ6LBdL;k70I1~iBDD?dnud9yqgb|LFTv%K84G(8(
z-h@lsJHYWLgo@K*;^TIV4C&q6zs@R$Rmgws=k=Ni|7-!}Q0Wq=r3iYGK$nUP`Y4Y(
z>{LK}GJ%^+2%9n#)`#u5cI^GjU&+R6Vg!(A=5zh(xeTO+zfQ{%OHKokCsT^Itw1|?{ZwaG!RJTi=JZCjpuo)T``#fT4N+{_!k;(0TX&2V
zTS=IYb+_lMv%F>-x2wuB
zDxy?sV}bigZ9%t)
z-&r@T{cFW>q;(qv$%Kur;F;9Hn59LTkKP4HOabAR$@CTHs-%?6s!-_3|77y?L#=W}@X^K%-kWgESaa!t_7YZ~wM#z#!MnSrH59
zV+PsBhj+D7>ONwzjSlteph3AuE1ThJ25$zNq~pS0d?RmiyoUt_cvXxm_?vjp#qt^#
z3{iWu+^e_RIhNI%kvF~$1$$IH6c&GU)E)lOQq=BIbV-`Ch`+CHvOCwcdvF@f7i=uP
zUq!+=re_hyt(LEsZIXDFY8>m7g3`kV#B{r`?)u3-FY^YzQN;#JOUq8v7+G@nRQ)F0x<3`Ki5#m|h-rQH7!ofNz&IZ>qM5$hJAb$C
zhqq6~tukNzbP4dup_0(yS6d%P&>jY5#$6c=AX^02jSB#8Y@{zdoD(mw8N3gedMswg$xwS*tjD74SU;)!xlsA6&=o_B6hjEl9
z&nb^BPp+dq1CBI3WTl1A4irRbX&LKTOV0ZcVNEh4^VeqvY|7
za>Afex9-}W8^rGRi4d%P!-suAY0=}2%LYDG}
zK11RATH|J$?1|oRZy#>Q2BkkdbLvko!^>#8Xhm*V%QA#GF5a=H39B7Lyw{f^QNd1D
zX!TI&W31i|x*+b|&Ye5cKVCP`DJ5&J%5V7AubOLdui2kZhS0B%8FiPoxDJ%*#+4+4
z>e1EHyVF=J1-h%reXx;#%`trkFd(a9hKDOXjgHPs2~_CLq{d2IL_&;>SkuQk8gGS>bpjf&0hlBg=5U#;hX?Qn=FrmC`50rxXp
z4qxuPD4}WSp=)T!|M?eRKh}-w%mjbVeRvWWR0S=Cz-kyV%!iHC5?j~o@&%qP>UQhS
z^3HW%*`2xaSm*P~9U9XO&LMV_*T`u(s|=DMPV@&VwndgjA#_j?lW#`_+WrBN2L_X<
zu}#2<7}Om$Smo~Da3^-s9_UN0C{TdAJn3-uCSq<;Jh)Jc2khzUn0JI)A9bn(Zho7n
zQd^0RfV$@Muq~hvZ-XaNk)d7$$edPDU56;dGoKwz;0_jpSu8$E;X7?N2j%Ush9TB)
z-RQ&5Ih98ZRBBT=(IEWrmPgvnDgUQ$hKo@Z{PhtWh=^STR3G8gO=SjcmbpIb!HYBJ
zDi3XAW`WVjhg+;~YDPOlr8Yb~ya)`OOw*wV+!QSn|LULD?@ZvQu1DR1G=Uf_(SaN%
zo4AO@>kj6lWp?@URt2B&fqJQ`{yL|?bCVxX{;ZCXpB(G63tp9tZL{PYzpX}G1XN*d
zqL5VWj$n({ymm+$&k>$H@#rUSWaBqABFsb0zMxCJO-p;DsiyhMhb>m7_#bkjIJchKy*OMY~@SbJFn-P$F;-9_B1Lr5=>+8!^
zPT7&oMTu7F?@VyI3c?+Y8rxvA_VXXIT2a%K>vB2lgFH$axK%|4fz0>Od<6-0pR{)%
zBzM@4gK)LG0J17ki>-dzx_bZq{nB4;oj|JKJoAO>9cv-5B*WS>mf(H=8m&vgPG%X6
z4t^$q@@wW=q?yFJ5BQ+UTobb__N?baBY-R_BjX|p{CJB1_?N(EN}W7Sf4^-~lrIC%
z_68}~Cj3pxyx?5oX*|rmQ~=l
zGEhO1`RZI>H17GYkC!)h0jIOHkQCz(N#r#`w@_P<8DTHzCuKME>YPXnAE*GTe8H)w
zh5Wo?XFJOP9bM|CnN>tZoKex+Pvy6w%<;#;opXnmu2l2a7;|pCwlh3m_21cX0DQQ1
zWW3w>c>Zfg^*5lOnJ+^$&HRv7wd(bEQ7buy4=JHG7;<65wkuq&a`E#dLOSOzpO4Eg7xyj!pbzc15jPxIEZ!tZQhmwUgI*k?Wzty
z0%}Vbl*M`#oY4$57}j23pnHAOoTUm7A>Xg*SQE_R585-!4u`L_YCh
zfRBqhv#Rr#>)O$gPS^J)Xv=GaECZ<7X+Mq((*nMa+|+|7vl{%0RglEG_hVsIl16*qH4Y1YYfq8BkKAT*uW=ruWJ~
z@AE6w)j)m}I*Ub8t&KKLO=KeiD=`4rB77is4@(@lC0yE(sP&iHZ>{=fqVO{+e+Vps=Hh_vhyZ-XCTK`N3u@iA5{Ir4DV9g6@DFvkP%@Pi}Xd$s8e22Ve4v9
zF7VyM&kVFf++j~Y`0=Wk%b@xSvrnRyBH_^+e*lC+qTx}*`1ncQ7d7%2ZX?ZMVV#&S
zLdJ&pVR%|0_QW#WR#1;yy8^qEKrcM)LSRWNvZ;<@-|yQOs3N1zuO7>`_f`8d3mvZo
zD@1$GpSoJq{GvW}ocrj2&Fct8VX8;}%}mgaEr^YN2zmtyJvrRez2gzzpAX2}chC}%
z_Igg2S$i67To8lYfD8)>!?P(}f{CnM
zMdFc=fU5=xZdtFC0Pd6+Osb#asO6W>sh&SM(KAW4ro%74Ey{gC1)G3^gVu(0Tq!&3
z#H+-vg;-&(pp!7m@Os;}EYNsy)SzKLUK!+%EmlPAl4FxILn}s6{+?xBNRLy!srsV4
zTPI2K!Bt7L-{>~mB#=EmDf*PR^uI%yl2F6wai_;@>wbhwGkSoa}iP3yP(oa_>7RdE0j-!Yo)(!*k)
z1FXsJWiOm3I}m1khyN*1i=m}p=)+AiK@g#sw{61Cljd-
zb~kdDTQ=U`2(I&Ds3PvfPb9`^MU@s*?bvs1t916@P6OsiW(o(&F}-Q^b6bw@LwL?z
zc`Nk&#+K4k5JWUXK<%YCRfLD_HZVYwnX{l^SUaRFy;3cQrIx#Q#v;3!fe-d!i0%DM
zW3xexvsSJ){!aPHA3224-_QkZ`C?+*4p~3gsEukA-1ipdhZ>zAFe=|ZLy7RH&n--O
zyhF$4*Ezhcrh^1oN#}sSSr5i*k+=nY(O+_)|!}#fIzL0TYPHEfL$N813
z58t=1J8HVkxSbFLwo4%rOn8sz?w_ga)XXV%)%Uc
zyv9~+zx|7k=7V=dzlB-76R5>|s5R6(NXd7Jk|Hx?XK!@(%|;K`{NZ+S%py&D^omFS
zBN#W>Cah_7HFRTi(Q#Lzb?6Rc8@}6q*6C|mbO_poKSY
zNY#JoMlnWq2ugglD1=_(6N+}pHZE!&?{@6F*hXn0LWWTYQkkE)4HHnW&ZWIs)Dxs%
zJ2Q7dAOus2DWF|2t5e}9k*hK}G2Vi1)~*dQXs8c85}H^@;{?Uuq7{ZVqs|7qX9f&a
zd`^0rvOo~J-d`{IR@i#<=P5z|`!+U!f2eKs{-rm18JFawn>8ou4?C)ky`0M#y}3<+
zJsRwmJhPrzsLcQmkQkLIAh
zs^5|hK@RDr()YOSH8K)}^kbJI@yq^>2`BLpHcig$st7szD^I~i5WownkrgH(DIiPa1kpvir0nToXji_G
zWJv<|M&A)PLQP#K;O^c?6RL|y1V`#jl4$XxZl2o1zTQ-6l7zsfN|m<&)o`!CxyfMd
zh(aje($ZWTGHqCB{jQ0u11HWz@GCEwxQdE{2^TLf>2o18AD%a6stDwJ+lj@bE(v-c
z;%qzb(?86kJW>_Jyi=p?M|B?LdCSns(C-9r(}f%(5u1kDyWnvK^nq^bxXHxeDX)>d
zq88x&>d{IxpU7*5Se$d_fK=m#Cvc+V{O63F@9;J1++<)Id5zwFbPpDTKsv?N{-QCR
ziOV5PCJIppr;C-zP+XFHDYNTdeecCrc0_Vl$hYSMv@RkHncaO~oaBhu(-+DVc6ctGoG~xIvbes
zZA<=JvrCrU*hFwO(E5^RuTm~8?Z|6|o0y+qRWBfg`0BA(4QjR(5cT(KmMANHrK#HVv<`hiwVa
zqBAZMNqvK_g_IQIAK)c_l#3f!hNy?vzqp(NMQ0H~oM)D>9TN?EZMr_r;o1
zu_byM1r-Ts0)c^o*CL8E-)Qd6o1ExWevaUHEsle3*I~Kyi1YXPNN#ei!QRksii(#y
zvS-ZL+kpMQBMijiN?dTOg075aLF)(o`;)NVRGff`f5*HU
zs_lz%rZbp7{IG+8A{Z2fa=
zFDukO~hj@jypZ~!1ch@1XAu1r|BsyTkD}FJb|I%Q4DLPJVrgXigZppR~wtU6D>&3?V4qZz*IZ2a?KGqUt4>#J3ENC2BTL%-+lOy^@vP*JWwRz&O0Y-B_$z>^=8Kcb|2rp|0y9Xs(ittr{}t&OKt)-Z}F7O6(`%f
zL`m9C8e1!f{VyrGyAZqsL1pA8b?DX3J~1@V42mzkyVR%l0LbP=-I?M;!vW4Ba~d9x`PCp%`jz=Ae6Y
z`^c|9EP)(?Hoka!Gl~dlG>Vdt5sYyb3Odgc|q3&ja{B@G0V
zkJ<2Tma(nREb-Lb`7s$8UDETwlm$#zNPn=Jf7}dv_8{
zecnWWsvY;5&q?5wyHXD|kDex*N3y%H%8uvNXfR2@S!JDd>D=LSkbU$v{pI#ntmw{>
ziOW&^`weQMzgQi48AiDndc66!v-3zSPFU@n6M4CCYt76xY)hd#R}S3tR@Gp7wZHaUEab!@yKU?3q<{VcLbH;J`@3
z`7;}Mb^^gELP0}XuxlHYtr{{VM1FB%%VSZ!g6rcEj4dHz$fs1C^oO*5&r-+rp+MfL
z7`l#@ju{ajxLItj=K4N#vkRd&=@p3Ia|0o9ih2crGl~HzCMAKD^|?k
z^5OS<8FJ2nGq_Ye;XiyWV&2xV@paR#o+J2F$09HG_Q#F|ZyAI37!eh>6O%y6GpQz{
zW;m;pIuvJAcq&Ox@dh#@W)>(cu{DWXsd?yRhUP>4=|*Y{lZ#e#L*sMDs&TW;bxSfb
zZdM%)dD{zX+%bt$;rQbY26f#O2{20k&X^@K)
zEUX4yb%8J}P%TZ&5L?P!Nz5hOPI`P|Fi+>CmA;F=*nMCYbyR%Z*4kyU&+_(y7uT_-kzVlf!}U&r&~uRR&hE1^tlX
z>9@1zhBx>d+>T?%HO{>8Q~79PLvorwF{*Cg!6j{Po)1Dsdq&4jZ&MM!ofdSfYhqk6
zOO!6OW+w?`?!2b5SVH8+PzAtrz6?q2v7&9ly9(@x07d!ET?x>nF0ZkDGm*R`Ze?a+
z9?PRE700Sg$s!pTr;tIF5GJ>C)2ZjTmRI$o!mH2?`H+luSqzFMx1vP*kj1Z5R0tk}
z=ZWyuo3MTO*<4aWa8
zO)x{G1>C793pJhS+O@^o;>ytLara@6h@Z&lZIQlRGz)+hJs>1#VxkGqfsdiyJ*x~|
zRNLSm?WcN^l!5_ZjECPXP<+3Yxgv@N4sbjGH>3Fa)j7g*=J52~i(ath!){ARWtyeM
zqR}*56N9d>+We5K*2BGR(no*$(XD7mHX+u-g*0c*YbbYio}*~MA=V^Lh3D3a(>;PV
zAF776&%2uxsqwpgm;a$-cxqJs&->F`)3J!3X5V
zZkvpa)1BE8h^4uJA~SSoaFT|40;{hwP?=Isj_!uKa!hv99%CoA!61Z$CqITZ(J)_(
z$9Vs;Pe!4=OlGB7*<U_SmWJ2;OlaNfOHgOI%@?xwhU%vhL#)E~>H6DBD<(Ba0^01$Y`4P2x^qjy&Co6m*3pHw+
zu&xWu$Pt!jW)VBCDH46*j7r#c)b7j()aU%GZd_7SQaA@PhbA`TBG@oK)p*jlXY!Y0
z!KpQnbAF}!b?Ar6*EGF{{y$>078*T<$ScEvx;Lml;*%n^cC8Pl#-!CPLY&c)6Sq7{
z0~?V}W++Q+>P*8;m2qgz)|jaQl*0#Nl{g{Qgbq9{3v~!)5xwu9Rvzs^p_I5!d~|p{
zYcNl}EHVu0kZF&trZo6<=QUvgv`!7QLk-b)AA75xx8vkJomeHR
zQAze42;UW|#7tM+9WPuGDs~<(1fQ!04<
z3|JO^W>s;cea$WwlpwDa)UI9BuB(ND8r`;H2=18x;DVcw5w<%cglPcjCnt->k5@zm}QRzGCUdk-WhSOFmozCr?*B7{0wRYb|75~{_5t_QABr`m*N2o>|#8+GN9ZE+<>vE500DiUb{!trWu
zhtQiIl{GpsQBG!%4pwaATK^R6O}@m_+zXFu^-~D&*cK#?v7#K924GrVd)=
z7~{(wN;H`Xt?PxJC1FNrymD14LgRj$GThZV4-B8Wlk_l^FISra9u(8sCkN6>CH+t#
zij?}`4tl2q8w)Xf3(+1YilVV@N6zNaCPt6KOD}Jez~LnR)?$&Bi0ngcQY*j8ZRI%&
z0q&Ab5^?*J1q3I>zY!ADH6nG;w8vJ{Tj(^iRd~-jiLA2*lYNogJX(aiIP7O3Kw5h!ie6Q)12p`P)FNE!0>ruCf?xzGj@s}&akelrt8EKsao4uC4s
z>V5|rZp}tij4<27y}c0+)$m;=m^@}{|8BKRP59>Cnw;PSr<(t0fqGd)pTY9S;;C-?
z=l3@Ds4ZITF+NtuP}hp!!dRBVs&3hl_m8}Tl>b%&UP&7Qw_@u;YHSjHX(sZwvWSW$8rpF4XAEAGx(P6dj>j%P(@y^eIMeTFQt%y&ukHdag(N
z7c7&7XAI4~X>abhN~75h+q*cRb@YW|s$Bume)soNClRHch;?5vFli@yb>qRwcPz$=U^2EI$pQ(_se
z30jcl2mv9q2~;;i=K?JnH!ml(>Cm)}a$=;AIEF;|`F6MfYm%bLYkYXRW9LrN;~vR%q>@GgSPaSo
zg4zbE^~O3G%6{mryX%I)I17JfeN8HKLQOmnkAr!LW+Lk)9lhj
zxJimVHd33Xt(XBql4exaHz@<0$hBSAOEnUSAB)iMTCXH?nZ{t*>jYrL>O`dwGrskB
zIm-JBnL`Y)NHiQo)5u&sq;X$11y0^4arpj*1ceN8
zB=)ow4VT6|z(mIi93Qo=lqLrdi0OoaLK@S(gdwD77236^q*@4XqBdL|(`cPH&cyYX
zZWBve8@(rx_#YCDm|utFhkB>^*|y1WKMQxkR4{*msJor|%4O|>-%e7(AzcbpA007=
zpF%9UnCPLJ$Z?vJCb`N*?(u94UI`&$oue^XyZa*gFEXr!sLN6lV|@3-K9XNzx1dUe>Bz-TI=wM10(Sn(sX{9vzjb?2S
zbpw*nI5}rV%sq`7SApRMhSyXy20=gcYJumaGsijUyaj4l
ztQ&hU;`eQH3!nt6+1!GxSZXC|8%N*-C(W6g5i>COp{ri@=2`i=YPb_^f$GS^X~&Cs
zD|>+U4a)Cgld-Q11Qi|GVV#qUYTlqRPn;x@F$0~LFNyb@oS@Nmi8UjgC-tcHg~=T&
zFuWrtQ*ql?`yCne7!Qt94-({yrZG@+paOP_l6LUwdJjmsy-8b*x5h&_!a5@~CJcrm
z^N}6=HY|vZLWSD{71u+uI@W1)PlAaqW%`VhsuOdFvW751^+g}5cN=6F_DDNUKhUwn
zBx6_lM`T6(SU#?YhQuvm?@|)SQgPw7c8&ULQL~#w)pB?rWn`N&>7sn1n8}IhMG*zi
zcYHKMMDr5Tmd|h9spNyKfUuljac%?1sFq)DrudRH2xK^u0kt9t+~vi!4B&R`_7_r+
zvSe0k$boE!QwQ7cKrSo^;fX}TN?tlM1lB1Xj-mFtoBDkZ%nV%Ll8qQfBh}3M<_QOX
ze);t+?J2{3?KIs(Drg&w%vtN-)*u8#)PkC;qbXD=N7Ux<0Au;kXak9MSv`|c@^x1a()7&_v0{@CSP<7NJkKA->DX3j5n!jQ+i&Mr1ufP`M
zqfl0d1c%*uM-d@M89Ou@Lv|Hwl~eCi+cf(Elj)6lB&X4?vCddUd59fLDy{w!j_~w~
z?F(w(({KXq8T7HLl^9^kFl{_32PKa&&ET}4o(aUSZ33JaylY2F1VpHHq{?(^J+FR@
z#VoL33>o4MNRD$b!z!9(P;r#^DQWP-CcLSF)c|
z&5p2yWAsi9M$rDmjxJE19IkYtNDo-(14QC)dmXB2aKcT#rWz^OJ#3?>}2K=Nt^}eZ(EqVBUJ`H~YCymxtoPu8>b}l7yih6$1
zV8o~yd}kCVJ>2-VvMubX(Bx1N&9e}VnLJE0<}@%)K1K0>f(~T@a8g|-+p&y`*yr>B
zIYFeWlaC(OJy!Ua-zzI#btNTYOMBV`z~Ne|Rpoke`nZ~-#+9jmNKNO0X8hmV+Z@f9PS}QIFx2(cyRm0AT%H%2KK3Xc
z4KP@`{cF;U`fIrNq}a>rC<=k4%SW?*qH7!*E&yE_8RAOlXim5}cqlbAXa1NL#(cg>
zamZ>G{I&qnru4|0XmwJX&pPLZYYNU9Eh>wUq1GcZJ2-KiRiU}z)Qb%?rzs^Ei{2`Y
z7*gd1p5@rbim8Z{crjfx{ff*k`K~=gffSBNBl&1x*xGua`)_A!wW$$36ryeYcf{bF
z8blZN0U>##jXlV~s@NP9x(GHGp;#28fjP9m^J#*MW^OT=CJN0}gI0
zG(iR>4J`G+scE#ys^L-?O~V_ju}RBY+i^}tJ|>c48$(6f8B#MGWVj#NXS`<#1nox)
zS3_=1=R!e+n-o2`E9L&%Uoaoxk^X4Fv<5bznHwsqyWclrDrW-FP!012jzisD`wkvl
zinDceX-Lhv&J*FT2(yOa;f+^QZ{7M9{pqMo6mSsf;1gP0n@5eFRhHi);)4ZG$N=*$>KJ0#bubc5L{mWL^?uw&ThByGsfe!4{-O1@TC9?_++
zH5_>Uo-s6$?BN#h2=-_^(lj#I1DjHqyWv%9TX$=f-z#pwT3nk^zm~u251tLi)eFk*BG>0xM5Z>xkOdRH(SAgI#(o
z&qk&X=ilzh<-~zljKS(_obz~J&)n>{>@qP5O-`eW;OC}ZXN7MI`1Q2Xr7VUj!8#pI|EpkMV(ev%O20y8uD#V^2g&4#$o5yRq>u}UT
zh;xqgVrM1K$syL505((S1;)NslkM1Z3A3_vA^~n^`CT+8{*ZPdR=O1}pNHQLeOi46
zik|%?%9Lya5piiO5*BVY{O;E|RA8zizV-^3CO8)IF(_v2UM~0!j3Cag(4*8l92mk)
z?P3h>t|X1C3c4YE0wSkCEd&uGkOF-O+pEMDe)OuoF6(yd!Dz?V)-#gFExS4>`C5=?
z14zJ1)NYTQF_o57U{5K!I4r#~#tZ9@6S9@^vw1LR!#JKAcO(50kf2CVrUeuP0t-)Tbp8-kC@wry=$
zs@==a@pC~Pa)<=&C|egdSG4as4gdTqp?55gK=PI9()Q+klE#8`6isSgOdk8p?mrj#
zVZ}9wIH_>RM=5&@efQEs@2^3MKp<6^xzjnT7w;0S#+k{F@jLX;koIR{X
zXqyBfputz74VwLEU=t+KWD;67w|9q{UmSJqOU88&YNx4tChD&s8aHe{Kd}=V4|4DV
zoE6OkSPr6*_(~kbf=k@eD*(Aiq8FRk=TOiZAK^?s)NVbAQwI*;R~hRK$2mo+n1;7}
zL9Lkli|d9<(X9RJL(hnU7PbKUf@zeX$73)X(`Og@9@?k(=hk)r0vRAg%w_@fQf
zV4@?wF~zVZC3oa4ojpJ&X(%XGwo}WBMp(!(NvSXdmRATOnaV?gwy7j1p`)`ai}#<`
zQ2iYRA{}&*1AdYC6gr4RdyqCfwJb^IYn#BNc=4|^{rAa=74g8;rg2C|Y4@L#d(g!*UaJN9PjtxWVSQJ>$CvPvqJ<1
z2dJ34jXDA#emj-!5Ie=AsilhzPE#ElAmoGZ@u2?j#k&+puQ8YZyNBBDq3;Riq5?PR
zZpdN-bNDuYtjCDOM>Pu{PA&3B*{%w#MU@bpKTbnCK$@!fIFbyo&$LJHklO46C{pNj
z3U;|jYDiBfK5MpMXFCxlqqaCvk{=K5^!5h!PXy;l94o~;DoyAP
z(2ScXXsLndnH^!qsUR1sNqbQ!{I4CaC)e%WRy)uI7a8=SLBa2Y7Lf=UZ(r?{$uEI-lckWz=+qX1GNeERcv1m0W1rND>VVEd
zj7RzOl@nL*(&yoJlla%NRQm&CtZJ8^#vG
zRlK63YaixDji!Fav5@m;Bl^+vpK(4Z#^l@*o+}|V7#I`>FaKMEnC)d-Rj1nJ&wuvy
zU2)&O*wMEu!^Q;iX$k|kPaXPO$DIAH-JDbX5Qj`Urs0QH$WFnvdM6*6af$3-#ufU0
zEJq$i+o-8D-bdrQ;r%O4{lkB27f!uFZ^OspHU&!Bo2eC!z8}U|L7aONUMtMV7*oH`
zGd000EG3zzh`zB~f`(Q7Jt)loHX+9TbuV8Pc5xJp(*+=5SGDhs>RDC%VCY!BFVC8Y_lA6wc
z541*&cgwf;N6J51;~LXGIuTUXSJXEx-r_)xv~M|x8(Jh|qSjjzyQas(vARk{XYEfv
zh4i>3*niRxp{m>u4$`?N=BgOM?{T;8O^;oTnx!mq-+l9134=ZNrwlgz|6av$H`#^I
z))2)OzLl{*|J-{0a>&!0p|4(DJ-91y^NH4W5oPDr!O&mJWy2+>zjx|ye_X4U*x|#)
zb}=#|JxW8rw*D}0%{_($q$SnOu^;-wBxl?p`>j{*1Xi6B~yM
zq;}|k>WjYRTf#ntDpE~dz4vbFYAFw!ju1}SX2bt-V-MN?{Lb%sW))hPXK5Ypkve>g
zV_Jm$_$^+XUu?xwuj@5c=MC+3dtaU@9vg1kY?Uj2V}EJ%j1w@}?|ImIg#Ah82h$lM
zj?K}Xd7cq{`YBo$*NNM0`uM5S{s=wC{ugDg+}ITz>GpPSTZQp0;Vh=_|Hs{XheeTm
zVWVx{UDMAsi;AlV3IZZYKwx$aNJc>s5O4)WvJxeax+9q>1b
zG;A5h>PFm@Gvf>(F3W0cr(X$yyZIL@QL76w0lt$3SuC(!HW~cTEX{vTYs(T^eal-<-gyJ
zzAGtl$$|iOle4i*-Pc>%SyQax{Gl?{dsMPg2~@EY0oq~462k;$$FEj
zYVNTLJ>h-)?uOkSQYWK5xhi|~HKlLec8_()Fhkis^RC1;yr%mfjE}pqiAI{`6vbp(
z&+B~j9A$t9@9_Xdc~15HsnE;g6Vl`}O9P((Nv176Vatz=lpLm+S9rwCdprE$TsqOr
zR&OmgMY+A|JgE*dBc-Go>7KH3J1T?vD}-iK{=TJsDZ-5A0(+Rv+vSAcC(Y@_l0Q)B
zUN2D{5_wwXf`YU#FZ^IU*C`rVhfh+8e19?;V2PNklgp#OnU
z)VELHyZH3$hSLfCldWDcpNr;`f5F`pQ({mudU~4F>ZJmw2TOPFg1t+qDyKS`j(in!
zfIf=%Lu0v9dQzMIS}Wzn!X(IA;N?X=KFWAYMrVd=1ylNRo1SUPwiIzz_y5Jl(tA}R
z&P=zGE_B~&PJG!OL~j69TrrX**7}r5z1=RY9UC>z#x!d&O9Nn+RU?!8dX9Y9HP64k
ze#T|u9sr0mr4-B74Fm$&PZP|8GMy}&Dcbt|k|U=_Ug
zJ`wY0duh|lMmNow)U$Kd3cZLBT$emwzJW_dY-TKO^|_51
z{T?*6dex-AAq6ROG$(G(5e2+{UGL~a_v)Z+!&=(jCl3v;j-n!LgGAC3=f0Rl{WyI^>m+hVz
z3!?c8T`0=>`liXMm`P~n)gt$tyY9;AJI98Tp?U{o$zIo;Pj3sw*+oovtg_gRP3*<{
zF~K_TL!;;7Y_0kSg4mQb0{~Vz?(&}|?O~FMs^N2x5$J^m*WxSh=atJhy4*89d-czD
zw{A~v`MTkxrjN050>)hGWaCsaj>|@ZkDf38$|?3`r+_a3U@`5$?NO_JD?y=92W>x0iGpm89ZTDW|yyolQMw_EE3@
zj{HN?8FWbPFlYbgxl_;x#d2{t!3yEkLb^-=GmG=1}b>6b*Yf~U~C^hu5Woqkm*MspwFqw8S`FMXkLEo9W}i~(;GN
zru2a*rz_a2280Ymos^vJ=ayE!*Igtsdzqr>`@-&0wgRvV_I}h$ETWrx3gW<x}E`rDqZ%%wB))c^P6hYxzhB@9F9BjX}97h1~McHjH}bE2K|qU%mP=
zTwmV~F?to|;*D4Y&e-oxP>I0A-k%F;{pMF;pH5*snL-OkR=d>_niS}`$@+w9ExD~mx7RYNk{
z+qZM(cw$!(cH9ki(+=+;o32xduCp5l+D7vr9HpNr5q472*w}d6GqCddaV1=Gt~J05
z@E;FY8nwFx)S4^9X4G?*)}(#{0*{A~fEwM>2~3(O!34R`KyY0ypc;SuymZ;J0l-`B
z`ZOxxHaI*S9`d%+bpdvXdwL0SvhQD@G5EMiFiX-!_^BDKD06yfwni+mhG1X3T7~kn
zkLW-oO1=Y+xzZDMRQRS^kR(Vzb4OTn&?TRvZBDU!)Y>ELpTY=YUz_GFDuRs9*bKDz
z++vcNWfX!qz))yvYK~7#Saym5elQJDH$wD$aA+tjHkKPOwjvej`lZ|8>eYkjyg0n*
zK1ej0N?aqg;L9nityT8|eg_IKu5|WagVo*I+D+C^%F6)I(`ml^yB5*QK($5}WeUYH
zp~}Y-RcpI#R<2l~eeT>22!s`Zdnpc*x%js@1`_~c&O
zmA#g&9(z}8FEEb1D^Z9$f7E1VYL|n3sk>Wd<{iWDO#$jf2rxt;d{daYYfUuncnKpV
zNpVAGVE~?DPXK7G9Pc;i8Sis!0kGQX2-YS{wf_Bg(|D)5S2~N2FhAOPeb$l?$R!|wT#==)Ucs895D*Yh30_IXNF^!AyQlErT9@_n&ulEFEe~Tp
ze*m-M@L^i7L(o=pC6oNUG|NnP@DUFHaI4^0n}qw4~k7ciCsBdF;;
zulu!Yxpcl&M#+@;&d$yPNN&``_dXpRANpJ&%f=HtQq%@~{ap7|(81l`)}-BOTgE^D
zE!Dg+tEakN4zd$AZ+U7tD;GV%6A%+FLXe6B^)7~)|B2{W3ClB>Dz!VM<0;tJQeNeG
zD+O7CW^CJM!RL5SqUau^j3=AX^>x>VM#$rP&Wn%!&G&%;lV5MsI5dSaJBtqSj-_Sk
z%arwu-gW>SDz4dPl6yVM)d8srd-m*^8T}>qs!=5W-0Ov?%&!i(UAgCytEgM7J^z^N
z%yBu(Ky0&d(qS4soW$FPTH^{c{?i_t4gkqft+ItvY1INqZdM*t{0Xi0>
z4cSrcJw03j&~kUVFxBYO(h~6R(P3Fx;=DRVHO;+11tbOvbmhK;vwCANDY8U
zUl;h?eIQv>SXfx9RYs~VYbi#dyPhs#tAiJ?=9UF|!U<_l5X0>@EO0(S#_x10nsnbT
zUujrA!2R402v9nZ=O2dB{IDG!QoBI}VQ}SA)6%3{W%TGJyP4sBgkXWY8|5<>+~-tt
zgN&BVY_seE3-z#*G!2_>50tS3T29iz!2whr@4KN#oEl-8wNa+3g2I&nv?Pei6e5O#YuBy~j*RGlGkx>ctul$K
zoB?3RVU)Y=9Ub|g+V0sy>YEX+qe?HBlu)LqZ^%3|uI?)z#Hu(5K6E0K5Rc2#i7>nBz{r
zV99N^mk-!j#9fqy?S8F;LpxGL->yrt0N)|ctwRjMITM~}}nFv?tg(#P`(#B;%R2Di|nU5n__2#Q+hK?XQ_O~tJc277wff<2wl1)ByG3~l$(3~
zWH|YDsFAQ}&ciX=eHv#|&zo_aX31j?s86X;X4w8qT1
zc6AbYZJY@^2Ylc;w3Jq4I&j-RfIa(co$#%2e1R)jC^i(?w7GbXI#1GSyFGJlEJl_1
z2m#u#AKcg>%pOp9X&5M7&DoYRaeFWi-jNA#0EfPC@gy-%2G2HYiCZaJxZ=3<8^9Qw
z$&|8*xm)?qnnA>k=PYGPD}F~Kt#DU#`1mT}2(z3vPcBZ
z*pF(b;J~QepSL}@Hu;g)Zat%R85y)|%V0Qv&qmHb8v&7#8ssuuGWWgkn=(ZR!0*sbNj8wITIEbP
zf2)fJ_AAU*rNqO*VuWx-c%_FzFT;7DrVHHCPd}1Ri!{d2Sr0vPKfIa~MPaljI#F-~ql@&TXJE
z6FjGVo+s`$ulahCegVMrYe2u`47Q!hs5v>n3RM_QDre}
z*%L1=NpP!sW!Y-4SUm4Fu-`d=58$g+Abex5SG$Rh>{E9$sPp%?P=z%(Oq%2wEEo3@
zPy_a9_yYtU-Lu337=S5VakH%i#=}~~OCkct%bSL)-ILS9%q08U<=NDdXK$()4=^Tg
zZaD;|F8|){)O2l`Td!R#xlFa;Lh{ucz=ztq_NhNeZ`?)$sOFD)DiUHrmhZoXUI
z!5T_m?QndR*g+q0ajR~9cah$G>STSjA9u=NuANQp(i;s%UM-?Q%t+o!sz2GmFG@{0
z^(RL4zx%voiK~jMXB~!=!l_YVf|7;TieCBPa|ZN#*B
z51LK$B?}hm7^3AbVX@{7l1xpLhD~*gpS#2O6Vj2Oq~UAiD=w>sweHf~+cq!qxyO~k
zr;?gL+O;Jv_zRvFKp3g1;~7j>fPQOw%RI;4C7O{yxZ~~>_~@`|PN=p!eVA&KnCq*TS>S^4NruxbT!8zsg?M{7QyOIkG2QDzLi~#GqbV;LSnJf)9F|$0*
zL=~u~|HP1%q1N`l*~q$l!^4LV&MnB#WC=ruYcuS6*9Z!zMoYCosH7f`7zUop=BJA8jjwHxuptEnHSw
zY`~`}bHZ&ow+!T3`y9A1(VLd)c6gN}0H|8!a5!D)`2x%SEbkAaM+))49kw#D-kx?_
z>|u?SP8`TH_}_Z%lc!o;ZCR{36s4720CVEOYtp?_UmH6;5r8t$)*-b@NV_#F2o8j(
z<(f=%)2=TeAL5IpCvZ0rYZ>-V-O__pXA$mt%n8>ij2bgO8RNK4(8i+udN;Y6ZM=Zb
zl!l9i?2urfZn+y)_F0}AqPSomT=Iio()h4ABlS4FQ~z;aPfuuavRRIWW$h`_K+`2w
zT&H-iyI9Pn{+xVIaqbXa@BMpG%F#IyTyhvqBtBnVC1&MGe9@Tm&lp4CWPWki#hT{E
zMi_S&X4Ci3nERWq%CO~00CWQRqU1|`JpP_nq5Jhuw_o2@YiCKWEmRow@-|qs7lUyin;(IvOn-EwVu1ov30r>V}FmaY}
z?@@nITWiTyokX6b;d_lJ*csME`jYoKZubw3n-#>c=>iu+e=6jCeC}}(ne8QKw6GA*
zslwdz*~EPgwF-d+@}tDEOG}BaQi3@R5S}U!r;_Y%WF|LPe1FGNMX=EuFM5*KP`IlSY$*Wh2f=j?DWXQ(xRe7)NtAur$G
zI+IqJ#OcG&p^}w(ww|f(zHN`Gq>c_A5t~&OtLF%0bKYm!7DjiZpHm(hW;JbLL6nc9
z5(f^X_W8FyY_~4I;I$i49uDv+CDCu2RRs9b&)~g(X)~L@Lh26W@U877w^n6X@QIpm
zkG3CkV_}}T+J9S|JT%Vggv*s`?gI%{-ir@ojwcz(PEYsFj<7MRvNi{wq?{qoIE1E0
zOV{s$ga;J%C)?2PUxQ0w$w|3`kIY^>Ub_ZaVB~p#YhM%PUWi*kWr6dBC!v9xWjq($
zzfeFvo4z$f=fmUBCr`|d9F$idFsNgc>JM}}
zA2IHsW%BY!Nw9Dzlk2H1c(5De)D5z8TPwd$9XHt+2%CKn>oZr^dd{H5;Cj;eq}H?E0>b4D2yzVlG36>@m*ujPJ4*X
zfgPZib_q{*#1azd%`FJXGP#fvPht&H?+_NLXHu~kts$qmNDy1dXybRE(YT8U>7>0<*00U1`Naep38nVa#83Z~`~JB|VlA()9U9ONz8M+_XC1IQ1|
z(mPd2URVci%V5p|4)&Fhow{|*IMEl}#wJrkyMjb|j)Pu?80Df>$2F$=o9^*K>@F_j
zyY?}@z8Yo7a-pB{@T3Qa`?BrF>-s&LMCvzBiCEU~9QdW*GnpmU!On!Xn+5=h)nt40
z@^A=+KMUIht^5S>>>vnY^z@Gaj$lw`X6Dij3rc#Pe$>vr2j|rD{j<*f-d}Q9(qSe>
zb71fZ+sv>r?aj@V1@i_WcvZT?N{q@vWN%{5rz2SgS|If`b0Sx8`T+~TJ440^En`H0
zg{(>u#PXeRb8GZn-TZJvxi`SOyf8a{4CjYs0atv;@
z{BV>e)XD;MWTbwWb9{uDFNeBweHK+d`(Uf}rT!K{wndA=^ckb@-6vHX&pD$e?MHk2
zT0y>tw$lT&nqGZ~Pr0f;I95;(b>uR+yUR%>8SEw9Q?L-#S&OO@5vyh-
zDKf=nbtDgQrk}0E=9#RL4HQJrVt(zV+#TAgNc;a5BfmScB
zh%6?fJ*1k1kW0h&e#)uA(~z!R`EpJY1<`8>g2aq*Mk8Hb54pJ`wWQX3a0a0~@j`j#
z#ioc7y9t$OsD-xr&Myp9NEP=bV@6Bx&+kSNeWe~FJSWxOg0W`5Ywgq2AT__M2xos)
z?t943-J(?)N4o7UsUz0V(~yQ}_WKmxl)3MOMHBt0*Dai;BZ)1!H$l2AeiL>vAe_lG9Y9~{M2a;23jsgI|B*u#Vi&@e2Po4zF<
z0>(!2PG%G;!aRLBt~D@>ql0*MPSYO}E~q33p!WBAU-xlb9XYcdUz-oUj_T@mn0
z+*UG?P6vt&QJZQ%VScMJKR25m$?dlL0bj)p+~&&8_5ID{^%BLaKo#e;u`sE*Li2;O
z655k+NP%=Zb>m5g*uC@PgW$ADwzVSfZh3qR&#fywh{gSAOupSjF8J#BUKTs{0UR^u
zCVwadbE@>8Z-Xj9E(-1IWzr4rC2>a8MMcAw=NcDyHoaa(YP?b=a1Rz1;w_e8_PZg<
zE1e@v^q<{%xGj3`G1zav8)kmJNj@{}@lk)ZM_AY`5_}N%>W3=WvS#eatI17Na|H@q
zL=C*wU$F4MEt)8hcZvK``
zl3KhX-0iP6h07avO|2H?^Et5Fszy#%w^^atvSH_J;=s=GJ8;Tjq%enHIhK-|-B{=r**BA&VhI3NgE
zEhzo#O=qD_v>VRK&a6ss(O%V7Vo23+~s|1ho+C#8r4
zbo$W07-2R%*Ho?u-gM*lR**A$)
z+4Z9TV#H|Z!(Uo0GF~5KsnJ+u+xDobzktcof#i`(#9@weD?~+|GiJ^#+6C!l#SZq3
zMN@sQOqRyPBVW*gz!Mh5t<$f9d}`Qu<0VTj9sTLbvzJHs%%i1zFXe=tv`o$KJy<0i
zX8llDX>XqShnUj4Nn7)TB0O1LsvrDMRZ4epKA+(Kg&wxT6YR7E&1PxtiawP!}KfD
zBWkMs^<DK%DaY*^^P#whW-&vJIWk4kPruMP_c#LSrb`3+>%
zm%7c!eRmt($ts9kLSnX95`i{N1O*GklOK8&eN2IBshCe^c8>
zkGwOSojYf0PVSwVh>jlXUHn~v#8;{+j^T%;?!SC)JfpA>+NMkUkG4Jjg|daIVkRZ*
zBveCf;6FMIRik;`T|U892Ti;q=TxH!hoZ&I9{E3Zc|0t@58V*9`#-wDi5+C{>`d!$
z$Emu33JJ(%o|scC`WfuW7;HYib@9nH=O47R*!CtT95J(KNka!`=U#dqbod&q?T?hB
z+m3c~dh}<&Zu^LYMCO0X(&saE12EdfB|jSNqm0pBxiY7VGxqc=M>9tJYMwz|gO;noYS`f8C&
z3fbFjfU9~N!27LHGxV6@oZCI{yN%YNh|=URYEKj{Vd#DAtS|)G9I;0r0F#~4ddwip
zE*luP(kF~~Mo0l9t$;%>+G5URINyd#&_%Pk2eei(uRgN#TcGcO&_a~ES
z3SS(>mb!R+n6r0m?=O^{JAsg}p~-!hut-@Ay%T1?j;a@oEACH!W;@!B7{*DC@rIqu
z+?z3im)VHq0zbK>;tCzLG<}@dZcSan-MN(n6R9N}XsYw=w+405Uq$1?;{$Gt^#}3`yNPhQ5Bzus%_*#WC(&<5ef<>K+HkP8Irm`S
z-nbLJQN6QP#GJ(L!oH0GUY4r5`oH&?(?hAqwPuE6{pDmwg&XbwV-g~|0h
z{AU$T`Wf_V{QM4BM`1|ICXcGAk&nCzQM?mB|4~31qwBuUe@2$26Bgf`>LlW@G1wr+
zWVnvU$|O4z1o>BRwElbPw-Ac3E5&26r63ovFOAG}$K0eO|hB>G+fuDAwMP6d^FBc5$WcYpAmU
zB-+OZEaw3jqRv;)hXznqSA6=k0a2nH0$kfZfZY>7K#>65M6)hTN=}xrv9SRT9>CZ`
z9BnfL{t!w33>fz3yFR}_n7RkyeAHv8STXap#Tx*^A279QW;W!YLx=ZvOM7O+;W{k<
z8vOt-0WLGw@bK_UMn*31fe=3-4b9~R0Iuc$(B4*&?gYj1j~~OPPXKb3W2W6Mv588+
z^#S98V_IXk(HwC>KPi?cD=I51eS{Zd_k*BQ5vMG|DCdErv~-$jz_D7NRu7yc-UqLo
z_lG}S0RTe@fP-VV@asZA_5k~OsRquCT><2~T!60qzb
z#AJG0D)Ew`q4UYegt}s5UELGg7h~(6kF~5Z&QzHUP`9{qwI`*acU}$6mWiQw)lZ;x
zOLn2tj0m|or-|mS1%cKO4jsHr(Saa)geEjuLzv;g9+afyC39AOTR3
zvrA4Li!1KN7DY3h{XbYD51VrF!dssv73g+!RmPUP+^JY(&lr_*Lu{
z$(fmA2&WaHBd@zQc)5
zvlW!r=qAlYCnAT#N$V@rE!C5`W*o2fI)?$o<$f_BVMVNFe!_Bva9CbV3$h?wfe<$Q
zaWnIpHHcRmPDo}WY1s(*(Fw`P%7bDUC0bwa>HC1Br2LwB6+k-`#B8i|4Pe3$U-d@B
z?6U&6o#8aDaV{_k`wO40M4Yz>ED%VZB>N681O#O{H1Y_T6#=oiUu#P9CJZ
zctd2OV-G(aV-BI}0VuSh#26F8egqIqHbC)DDu?Ny_eU7of0#{^v`;}AsUb;35sC;3
zasXk^M_9^L(5k-)!Hyw-ZOLuTc8ST!c?iiC!IpRI!7x#c-ODLeRqU3_=Lrmkom2#q
zkR={yauHPcAz)gF3>iEF^Tcv1@Jqe0g;o5-r*?!CX$(j9BDFAV@Diy)4c-KQriNBk
zRhh@=DOLi1^p6b~^Qm@cY
zBIYonh`$vNuPWH4*^=i!A_RZ)lM4;n;_onyql6?k<{C
zz-!p(>M*H=4sx2bB3=$4Cd`g}66jk12?^7WU%W6${?|U?*8`#}9svDBsEkHrbT|Ul2Jx$H5z}2GRMrX2UHiVf
znuxDcplx`wj{h1s5UqpoqHhd?k1pBQm)(-Ef9CXJVrWc!d_1rDPgt-%B8lljV2TM^
zXd(G|Eo(MHb%aBfFWLd(x+D{!9wIDC*f=pY09bEzu)0GxVzC$~78g&pOKd}A-3VHA
zz!p&)lq2X#^nK+Tfk{4PhmPY^=?Ng@rzr_vQ5U^&d)w4cXgE
zOW$>~%J+K{(flr-lyZy+O_3!QqCHUnsEP1{B1ont>)VRv61essw=g
zoDkBgB2b_L7~WJPkf~ZD2BlTvlV9Jfz==dAO<)n_EnWl%So!%+^_*5yYc?X8iWEJN
z_Tbx_fvV!HZC?)Jx~~fMbiCC
zKYAX$yCDZ5Pg_lUYq{J(1Vgc&Qll
zmyhD(s{LBI_Yl%AZy~~QMnu)?$1PhCUpHc3E$c#ycLZfIM$L-QUU2+K_64t_0PJnB4-2HWy81)?{rctQWPbr~p$5!egyrcE_%r36w{G!S>b!RZPgJ2H$%`ZYN(BS2sQfpK8rX?=
z5HnFo{npFAprXeg&tC2U>kXz2WjElQ@O0OtLq+O
z1q`(9r^V?2Hf_s6uz8msKUxRsH$;g&dSpONRTZq+lvhWvS3zKlrr1cx
z>1h8LBTIqHN+s>%%1)YQ;9_0}Vz1@e$;ABXf2V#;JeCXBhc`4!r3
zFKyopgaItK2)M+7JCb~hvlZ+{%HL?5j{>^bhK1PL
zHv`}b6JokA2&{&E5?ZR3u&~zya}A>Pr8*i%F9Y@iz@PM^WL
zI#38aP5W9|MBf5D2d_uSR-3LDOG0Ug{f^M6zkNQ_|Nf7F$dl$5lv
zR4EGqwv^R?h2m!FwvyMP>$8jlHxNIarfdNf`89_-JWbTnD0RL_!K+x%nCI{b2zZK?
zRaUA{+&a9%Fc8h0K${*Fif`BWo9dh^=tREck>8buyP3c~)~qzm0#fJ@xKOi2>!1JG
zZp1O`)IK4+!B3FmT}cKO>w-XC7=j&==K99QuJsVrzEF&qA`!my!e0%&0T1{
ztH7nc{5T;041{(4g{;DP7eyYqPa?d*zIrHH_W857!+mx^P}Xg2ZF_8b+=C{y7w8Jq
z08+fSt{iB7ihxbmgP!4MvB#n`0(!vens=>33xvX&ZQHgXLo==w89&gg$%r4dtOokQ
z$JEUh5&i%;v+{5a3>;oT!-NyrfBmd$6sxiA#pORqW-Oz7kD`rtSq*3j6SlI(g3u
zliS-YVAr~A!+lm}U{T?+xd^}%NI@+u1vO!t*7fU^Qc2w(j1N69qLgh6c>Xe`fZwlQ
zB>7YgELubeexbM<*s4G{cEhp{YDwg}74+hsqb;kBS9HNN;-uH)3H28pixu
zf01O9WRl{7Pue~fz!Y9G1C^dn3vgX|n}YBseg&r9H9~B(3fQ!62KsAG8ze=qZh>F2
zA$#qv1JhL+Nhzifli@HW+sUxgg((7|Qv+6feqd*HvN6IMA6xd+L}fX561ZFZ-J3w_
zHF$soJgyaWSkn_F*iME?@7lom^gUS=EMgs+rH^6&#v9R9RhlAyffhhcFJXCVr1A@Q
zM`x#2e4zlx4%y6GD>k1Tz6XmYb&^lubkC=BE045!rY-b_2Z|l-d5sJ489b`UK^7XDDV-O2SJp|E-{VWDY$@(1wie4(Gg5YRJ-s^Nr2
z&c6ovGEfB2Ivh|y9b6H^Rauu6fJULE0|PsQc{i_wJQ9{5@Qfqqy-V*WXFo#WVi{DKD)xkDLFmDew-FF-x&u^Lg2KY@qgjOk&
zkFbtvLPY6tVq#)fCBWF{055|w(k;gzCeSo-{aIQ72
zzaGPOM7Oj!8YVjfhgE)kAkVIbuWxq&Z+9BaS0-QB`{`YV_z(`l>IgoM#0$lrK7PzWG_SC!Tf)*Q1n4&h3i$;DTKq#d
zshGyVrlu8YnArK{#xC$>m^(T88M|B^{kwcGNwv>SA?Lcl=lF
z>RHpG)u9=yNlNTQTlV{vz}LYH2AFxv7?W{2518?3Th|U5!0J*D_;Mx?W~3a+?#qKU
z;g9SS5@7{jJ2juAtt2U~8QD+TkoatgsAfH_rh~u`(*nvZA=ZvDv}2>M$C!#?nqhW#
zvc!A;%|JWkktJ?v)J(c-+JJg8ZVI@dToC^Tf??CO2foBBK;zcx|FpG0_5OpQdd0Az
z!Ru==s$SAW&ziC)5}>(Y2?^39T|(}oICk(pz-PL57%*q6s;hYm9lErb@4{wSQTOmt
z(D#LW$$+mGRB6h*C1CrSwKkziR-6o#Crf${7_Zpt7{Le
zrB1;A#SQe--llO?C9u@Xz%tKI4-ZgAEZ_X>ktO6{Pu}_zYh>pu-9`jCh>#emNCLmI
z+F&iXYnzRVf|z+sw3~a#+zIp^H@60oRxR+h!{*mm+jr)jgxIgE#YWHBj=p6s5>hdw
zshT}VJQGqHx4{FDw%A%(YL#K13QEWx`Q`YdVz?Sc8+QTxNq#Lj<#(~l-GjX#>CSwQ
zmuul7EOihOxB_#m*6Zs_d|Cuy1Au6Mw18q2Ue`@ig&g3@I2e$S=xEL||3AQImoGft
zmS2}PQio>lyU|YAcg(w#kpKD1BA`W4yYl7QGDJYiTL>g~xjbNHqkw{m+-X0lu#@2_
zpFVwJ=s;M}E4yB5Wq*0?kzrM#z6N|%VA_%Fj{!Pl9ND(%vB-b&@=7B_#D#oX{Cs^I
zAkz`&vpL6aa5-0AMI+Trw@A|I0lyAinhYTJCN|xdUvJlw;wbMRe7-q9zn&yaPBlLP
zOuj*b>$+k5PjzltW9jB(XAy?mB4
zUvE1?E~_ciypF-J)W@JmMwvJ{IgwKVLJ6%03P(CCxB;*4*NNUNhawupb{ruH2Y^#%{e2b(#M=^{vM&~<7SqLI(On&DGvZ>*&5j@M$5#
zySGIgQhz$c6RhlpO%R4!Mu8k`dafi%^q6S|1rFg!(8pppfx
z5mC}wS}0PQCT^}rx-Y_8fEdn4-|L9M#e@&#I~7Bn1)$jz(mAKj#84w4UJ**JFSlPrC7#6op18G$P&_*uh;!6u&-}0DUKZ
z5A~B!c*6|?5Z?>M2=5YwPQYg7kX~@yvjR{}ZA15A?QM>bi&1MwGQ^`cpge+TEsfz64@s8>CIhmU9|eMXrd^`lFeeTRnTrpc<*w`PBeP+u96H;
zanvmz>*}`Cxp~1!?_+t^qVhr?ut)J{DMTqkk;sGF$}*-3=2X<#l(;TB!CbpRyev$q
z_8#uD-aTZaiFd?})4Os*<)yV`lQ9dWb?6<3tr0kjgPZ|6@nYQ-#FN(Sr5UKjo{!dGq*U?){eZD&fo{J$
ze?8C{2ATp2K>mX`O#AOQW@K4kUwXj|p>9F+jdTZn*33i}Z|`WH!(`rQk7bsh=AHwa
zfq$)%7r8CLDVPoxIr5cO^1i*b@-9rF^Y1;rb$htfHoVZ5B;87X9f4t|tWJU*;jom5l<8%waX8*0Y2E}$K(G7Cb&RdBZ##Y!7c++xwmEgm8J)}Mj(eRT=V(~
z!zM+8npR?><*@T<1V$idnme0L9nY19?3W-jkHMEN#Hw|epN~(QJ&R6w3;UZTELHo_
z>R8E(R5QfTo>2KPO#4cs^BR%fvtwz?Hz-ZBlDsM%Wx16siUv3*xr2ZI1^yqA1HIn+
z|NMh)(SfC~)%}4N?iB$QjD~!HZk!r0h#i8)!`2*Na6bUREZ1p@1rZslD9~eActulXstl2JT~A^_C914cm1YOmtxSkQg{lSR~KnzVY
zfk^wswZ=_Pf@@31&v0j;gBWBZa#$+DP|v?=Z^C-p_B(Qzu?3i&L
zR}@OpYx_-DM5K{<`fuh2h@TgwBhTCw*qfo4n5oRMHLxQ_X8j%;Bg8@lfui;IBWyWN
zM>#?`7aRu=lIdROk?Ql*Vk@+^e
zO%zMCPqU^1n3RK4&}0*vPpf6+1uw+*2usOU#S;m@g(sd=V^R>;Y6L#yGYOYYEVz>o
z-s}o(U*sZF*fu`wJUTscH>0mgAA;5!Y)Ce`*r(gjZxJRsfI9#l5Ak=0vQQ!fa0_k%
zS2Ab;4+UlAjd|NF&sLhEXd<}lVaMKS41&-HE`8`UfJR1a^UIGzr>$X?bsDW{b*hGZ
zbgWmgd#dsn9!$&Yb-Md
z0MzF=>=7%nj44{EiX;K`w#wCEE02Z2m5Gg9`$*3UL~)~aG;F$Ab9y%-*Lyzz
z9z0nTtpaa|n-)8};po@Dd2~xd<61XxYivc{$K}TpjFRDSJ<373P`naix@bVrY*Gky
z7Ib+zGwm2_8|FQ=e8akUGB;d48nUM)z+1Y>OWi`HWeia+gE`!|i+Sw0OQf~SBEU!k
z9P|8X)4y+SWTn{vSERP@1SF|!MGV0va%G7*cQ@)3O(1I>v2&V&4a@#WKFG1xj{E$3
z?@3G0QKVV?d+42d02W%^vyd_2)0zySBX2P~YXdNRgu-`*0WldeNb>`c8*Z!Vd!7%a
zr6(y*M=VPv*>aHMD6SRQ!qz?UH<4O!2SE2j*UGeE*!a#O(PJqUrirvxSP^s1v_rK
z40UT^=p=GTgPK<
zmTfoE>_C?LIE~UZsoUW=mAo?$ab5@nq@vT{A>z6MuEIP>2?)>yb4UVl@xFlNF&EN|
zcy%^|U?2VSabRC3TClG1CxmO
z5u&}$Kzf_oDmIb=YgE5*0i=&q!O_w7z8r3Q9+a4Nurn$i5f%FI4#M`uetIBCB2ph)9qyawb%sP}JbU*fF
zyK^VvE=B5OZfXbOr#EeRe+SZhT84IITf($PB!VW@%b?-V>eOoBxV!Rd!5Xc+@B)%i
zrxYW>3tk2}6iPCIhlEy%bUlX<#=8rxKw-NjHgjB$D=oD@8rZpkM}~WY{W6TocX9)q
zP6GX%&0Bl~bOve8y{NQZ2fS__azpeD05H4tNK9Z+a;(Et=M_*z;Vyt8e=VtAtb0m)
z^0x-@>0O2-_AX|<9cDfz`uWlA?OVXjZnI+3{vGBI&4nkr;u|3WLI%7F)a%_ZBsvxY
zaUN+-JVibPwePkF$~)=HV|E1%8RpWTxpc**{~^tL76P@AA>h?tuW$v;V#=!6ztTkg5wj^N@skluzIo+VsOg5;#Fp
z6-DwkrDdo)_|Ln`3fuwPKNrk%2Sn8CcCj50Cj2eytok6sArIKDQKD9Gf3B;1z>f1^
zGl3tnAtnu?m(#;G`k#)Z0}o&`kkn?FXD4TEd!cvA*Z;?FYx!%f92_&TQuK33%1!L$n`je%kb6^=intn=h08eJ6(iW!MAXp
zm&DPdkbx##c`%561&}YKL*5LGhH^H9JXG2;a&vP>pMWufa>bCN5pr8jw26Y-AQ{d8
z9CMWmczg(eFTfYLcL7P+U#32qTUc0xuL3z!1!(>|C=x(7%^=N=3AQl}OMACM5E!M0
z^!XIqvZC!fGNOLl`w<-D^AZ-!1nVa+X7Bb2l{=BCA9Ls6!29|BTxw5tDhS`N*yx0rX5-aDi|EB>s~RHfTJWz
zbx6Y}w=^u${bBFpyE_44ZvOd#;Iyyb1@=K4$^*shcILXs2JH0HEj!6ZA|SzOXnPA6
z3y-~R$KuLEBWJU#5+fB!ZY>Ewj!C%OHu1BYUpMgNa=zN^F~1Apjy5?Y6>v%N@rTLX
zuT?W9jgwO>k^2a)`{!H^IeF#uM%6WigFn_K>KoUXAvS;9KL9fr5u
zmr2|}{m-&Cq!$s{*lngPYdt=XIV=63*P-_NyPM+U2Tdy
zabE6txGJQgRx6TDExP9j9%NCBUb2JZH0g<(f2P3yvn2@&?-UjxJtP*KMr<8f${?0$
z=aDI$@*{cLcxwEEHEKCUUO{=|htJ-^M+I;Zo82AQC@(QVPl9-s)&-K!DYUJJYe%FW
zC#LdZC%K?6|E?rp03;Xmjf9|w!j#cYuH6YZ#E&5}6g*_}E_yyN{FUVt48oco
zE$7%|k7XpJ$IQF#yM3!87k0-HQb-&#hMgek%P~=3@d=6E*|FqXeKoLO*SxqWixz(w
z-@!VFV9dMph*N<(BE!SWf9~hKAeC*^8YV|lE+q^SYB<
zMsHZF;^~9r%62!S#Ev^lc0fXJUt0YSUd@=3=*Bfaw93N1-4?lI2Y32?(n0rNX!xg3
zHc;RDxc~P}35n#@pY^&Q&8BZR5yy0Aj{qf+NCRRaj!n(}XR01?;_f(caDMhbV;@oa
z23+@*4j=AVoCECONa)B;`LX}bxYN!q`_;8b#dTWE`J|dHVlg2{zAk!2e|<
z)}MkQdZ)R4*3cw1N7|3g5xvOIW=v>P|UuSTE$qwVgMZC
z^^KYSGh`iz9c7q@g78k8&Y6yFC6E8Jvz6JKvrO-DP7ilZPYqERgE9l%-
z##SGY);pc7xq8$6-svG^e$Tu9Xk7r#Fk8>0oxocx(O=U(*F>;_&;$xnd4ch-JPyC`+&Q)s>BR9#JtcG32m
zWG|rz{)89h{9ISDKhGh3+7wQ$SmlYh*g4qSPwBWyk@h&#VhVaAHTUIcLleM_x?H>0
z2=I%=c3hQl&7Wfn3!{yz590Tr`@XwUe1HY)regsA;1E&sdnIY8^@DB4vOO
z+W;Q%psfe@*NRm9LOnEm#$=$7=9QH`JTloH#C4kjK+A9t)XiP4>a#OR+oOuV_0R!9
z!6^~tr4&z3x7D^gDwBKJ^2F^8{`?JyUA24bn(Ax>Eq0NV(76krfM&-oVA{HSQ^s0=
z219NYvweI0jOL67Ksxk~IArlmkUV-u97mxH=51+x;?U~4Xb1D;IY3r#40!R<3fzsW>eF$tbwss;CobAMUBdPeS_v#_YlIQ?v*6I<5x|Dlt7n>Pl*Is
zv!@JK(fo(9*8(^^pHDo=o4mI&syIH?UT*~w&08$flkRG_&ua8Okr`x!Rw>%F>e)t_I)IBBB55${&y;0ukuEOZ?voP}
zLO_wN_A%D9@ofhc$dnpJ6zVQ_hzElEO;f${7F`hc6P1lzuJXV(Hd_Wyw%Ao_83%{O`AL-y(y(n)lWFqqE$N3-ATTS^JE
z;Sw^7AX9V{OU4lIzq{Z*i_q2Q)@06rf9`s=;QkM$N$vmNJNl+!_0x^_BuLE`V%2^1
zi=WP5a`>`UN@R+=EoSqSq6K}FqY|Ez>Zaf{LKajBEk9c(f{FJ~mXpq@@-_H$zO;aB
zDo}+9L6S)Mavc+w6bU`Ceti{KcA8GbN`WF)IUA*ctF~E{
zE7|s4@y?=P)i)Nwu{(FmED@`T>Z6odH{(CTiH*mXJsUL+j`3;^J#EV8a8K)znjUd*
zS580QZy7b{Q_NDK$-R(dx!k`}?HO)m@D&2vMXc?G{=qVLq29l5yW35i&Pq0I)h@E<
z0j$OTTY@accAdHPB-*{?g5S47k_>5_$uccbow4Eq(+_0W5W~YL<-jJHR+0=WY79en
zzD=wEqUGnAya=VZJ1H?sAR2q;F3%b?QDfFaQtvi~=HoZ0^{p|L2iBiPyO}#|td{iw
z{?;8;nn9;A7Rk(hkM>%!3Lho9S^PC{0zj%6tu7LY_l%h%AHri&L^idtl9vP$5y;g0HwCgir$D_L4;gHH1?>ak@VN;JM
zHae8Dp$VF^Agi&BT0bx*&h&HB0HMmZRfGoB;n4Jfqbnx0=CnI(nF+j4He-@*V8o7-
zB}|wRd&XDNW^aC`8Be$L>t}>-Ydm=Ma_R_)J~E>*R!DWThC5{$#((}vejj1)QLY7u
zJh7<HclUltL@I6{~6}46DP_AmwlF
z70fB1jBl0N9+%0-YCP`}sh6x9D{8vF+|Ae_&3fhB2O!bgfRNceU*o)Xvjv{XXmEtH
zNKHer8_D9In;0#>ChG?rQ&Ac(sz9tEOB8~1LnOX#YUNJcdQ{M!neJGUXWek8$wlNT
znc4h)10jbyfhUiJW|+JijzoRrm|tb=BBK%y!k1F)zuo}8;8e1e>{SJM*ant|9-hW3$
zb$x-O_!y%mv0?*7gn(cNY@pOhEGQ@tET~9{qNsp~g)TGEsE8B=X(BK-iU^1_DFYa(
zDpCZIu7LC+y$^4n;oi}a1AKn#_ug9HwcfjbC>PE>Ww*1>ZfAJt%_P^=p*!K$_UiC-
zxM9#e$0QnKKHo!9sL>hmqWBoA)bOcSqAHRaLt!UOQ|x&;&9$OGB)95!+^2+olS47F
zIo5Ug*v#wci9LfInSz5a`?Fbj9&jo9#i3fvha3MP@H#o6E2Ln$Q`7-UwZ!oHz83T4
z=UGY$>%GonK6*mvWgC-yPU)Vuo$<5u&q~4pEJ~Y5%OyZ{44%~Ny4BMDupx|m$
zasW8|^VzPB&#y8cI;(a&DJ}JCvc!D0fI!URqhQZ?C>Ww+nvy%|)^fkyzBJqC<`B-W
z4;4H{J%PlzAV;XxN)v7g&fl_o7lOGjq6Y>XAvQ;MLfsYQ`1W9$9l?xH6i
z%U*qMs8tg585GbR?w{bZ{sP?)om(@e2K({y8jh$_+%wxqGScMc(nCz4MYA*&CDs-+
zaW`VWos=QxQXKx!>Sg$(TdApc1uzZwEFY0g`Du}=={$X4&Ujs0A
zv!F|?Av(F3q{1gMl=VvzdpB@TjQ#e8)8-URj`2T1cF^MU)d>J5YnETGxFpn8LFN~X
z%9gyIpp$E-4^yhI@}3@-?6&ToMxB^K*g#X1p`7a+cbTWtor(t_lD#Ni+Oj9!)r2N%
z`T1(`h|0kYo;^{7T1GJpo&}rgLuc_MR#Udi*6UI=PN}K-5l1$0e}LX3Uk&bJ|C)a7
z^q-XKbg5Nv8PKcGX+9YBL2@QZhy{-*89NAFg1gTXB=2oSyr(BaV2i5}{Se7b>WG^>
zXW^(&?*oTDK7?eJ9_g}oB);P6i}IGk!X=4JtCwlAaL~o5jLH3^VEp*`Rl#(r^0Nn-
z+#Rvs^e&O))pV8j39pgd_*3)5ZR8yD^Tv;rN4qYMKW&OKu}tpCM5vA^hI9>_m`Q$0
zGVn8b>xpOik-y>~Q?F{=ffz5}$%X;=h>p2u!$Im5Z5z{xRz#l)(Wd$X-3<%)Rd8oz
z&x<4#MPD>LSLIl+TFM;