所有神经网络模块的基类，自定义的模型也应把该类作为基类。
1 | forward(*input) : 定义每次调用时的计算逻辑，所有子类都应该重写 |
提供了一种简单的方式来按顺序堆叠神经网络的层，用于快速构建一个顺序的神经网络模型。在模型进行前向传播时，nn.Sequential会按照层的顺序依次调用每个层的forward方法，将前一层的输出作为下一层的输入，直到最后一层输出结果。
local_rank = torch.distributed.get_rank() % torch.cuda.device_count() 计算（在每个机器进程数一致时）metaspore.so环境变量
1 | export REPOSITORY={hub-repo} |
构建 Dev 镜像（基础环境）
1 | DOCKER_BUILDKIT=1 docker build --network host --build-arg http_proxy=${http_proxy} --build-arg https_proxy=${https_proxy} --build-arg RUNTIME=gpu -f docker/ubuntu20.04/Dockerfile_dev -t $REPOSITORY/metaspore-dev-gpu:${VERSION} . |
Serving
Training
Build 镜像（基于 Dev 镜像进行编译）
1 | DOCKER_BUILDKIT=1 docker build --network host --build-arg http_proxy=${http_proxy} --build-arg https_proxy=${https_proxy} -f docker/ubuntu20.04/Dockerfile_training_build --build-arg DEV_IMAGE=$REPOSITORY/metaspore-dev-cpu:${VERSION} -t $REPOSITORY/metaspore-training-build:${VERSION} . |
Spark Training 镜像
1 | DOCKER_BUILDKIT=1 docker build --network host --build-arg http_proxy=${http_proxy} --build-arg https_proxy=${https_proxy} -f docker/ubuntu20.04/Dockerfile_training_release --build-arg METASPORE_RELEASE=build --build-arg METASPORE_BUILD_IMAGE=$REPOSITORY/metaspore-training-build:${VERSION} -t $REPOSITORY/metaspore-training-release:${VERSION} --target release . |
Jupyter
1 | DOCKER_BUILDKIT=1 docker build --network host --build-arg http_proxy=${http_proxy} --build-arg https_proxy=${https_proxy} -f docker/ubuntu20.04/Dockerfile_jupyter --build-arg RELEASE_IMAGE=$REPOSITORY/metaspore-training-release:${VERSION} -t $REPOSITORY/metaspore-training-jupyter:${VERSION} docker/ubuntu20.04 |
MetaSpore C++ 包含几个模块。
globals
hashmap
arrow
features
1 | embedding_size : 每个特征组的 embedding size |
初始化内容。
1 | PyTorchEstimator |
1 | PyTorchAgent |
FeatureComputeContext 和 FeatureComputeExecContext 都是在 cpp 文件中进行定义。
1 | EmbeddingBagModule -> torch.nn.Module |
1 | EmbeddingSumConcat -> EmbeddingOperator -> torch.nn.Module |
基于神经元模型，提出了感知机学习规则。感知机规则提出了一个可以自动学习的权重优化算法。
感知机算法步骤如下。
需要注意的是。
调用 CUDA 运行时 API 时，接口返回错误码。
1 | __host__ __device__ cudaError_t cudaGetDeviceCount ( int* count ); // 获取设备数量, 返回错误码 |
1 | __host__ __device__ const char* cudaGetErrorName ( cudaError_t error ); // 获取错误码的枚举名称 |
定义错误检查函数
1 | __host__ void error_check_entry() { |
核函数的返回值必须是 void。
1 | __host__ __device__ cudaError_t cudaGetLastError ( void ); // 返回最后一次错误码 |
1 | __global__ void kernel_error_entry() { |
1 | __host__ cudaError_t cudaEventCreate ( cudaEvent_t* event ); |
示例。
1 | cudaEvent_t start, end; |
error_check。
1 | __host__ __device__ cudaError_t error_check(cudaError_t err, const char *fn, int line) { |
nvprof 是评估 cuda 程序性能的工具。不过目前已经是过时的工具，不适用 compute capability >= 8.0 的设备。新设备适用 nsys 替代。
1 | nvprof {cuda-program} |
1 | nsys profile {cuda-program} # 运行并记录程序的 profile 到 nsys-rep 文件 |
运行时 API
1 | __host__ cudaError_t cudaGetDeviceProperties ( cudaDeviceProp* prop, int device ) |
1 | __host__ void PrintDeviceInfo() { |
1 | tree |
1 | helm install ace ace/nginx |
1 | helm upgrade ace ace/nginx |
1 | helm uninstall ace |
1 | helm upgrade --install {release-name} {chart-path} \ |
解释
--install ：更新 release，如果不存在则安装--create-namespace：如果 namespace 不存在，则创建，和 --install 配合使用--set app.tag ：指定 Value app.tag 的值1 | top -Hp {pid} # 查看指定进程内各线程占用 CPU 的情况 |
查看线程数量
1 | ps -p {pid} -L | wc -l |
1 | pidstat -w -p {pid} |
其中，<PID> 是目标进程的进程 ID。上述命令将显示指定进程的 CPU 上下文切换统计信息，包括自愿切换（voluntary switches）和非自愿切换（non-voluntary switches）。
1 | Linux 4.14.301-224.520.amzn2.x86_64 (...) 2024年07月04日 _x86_64_ (32 CPU) |
1 | 安装 |
1 | perf stat -e cs,<event> -p <PID> |
perf stat 和 perf record 区别
perf stat
快速查看程序基本性能指标
采集 CPU 指令、缓存命中率、上下文切换等
perf record
可采集系统或特定进程的性能事件
采集指令、缓存、分支等事件
可导出文件，用于后续的分析
1 | yum install perf -y |
1 | pip3 install tensorflow |
1 | import tensorflow as tf |