架构►推荐系统

推荐系统

推荐系统的典型架构

recommend-system-第 2 页.drawio

如何快速了解一个推荐系统

  • 架构
    • 在线架构，流量接入、策略、在线打分
    • 离线架构，样本日志的产生、收集、清洗、拼接，模型训练平台
  • 数据
    • 用户数据，了解时效性、数据量、存储方式
      • 累计用户画像
      • 实时用户行为数据
    • 正排数据
      • 信息流，视频、文章、图片等
      • 广告，Offer、模板、素材等
  • 代码组织
    • 代码使用到的框架
    • 处理流程
  • 策略
    • 对指标（信息流，点击率预估、停留时长预估，广告，IVR、CTR、CVR、eCPM 等）的调整
  • 特征
    • 特征来源
    • 如何做特征抽取（FE，Feature Extractor）
    • 落特征、特征回流
架构►container►k8s►k9s

k9s usage

常用命令

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 输入冒号进入命令模式
:

# 切换视图
:svc		# 服务视图
:deploy	# 部署视图
:pod		# pod 视图
:rb			# 角色绑定视图
:namespace	# 命名空间视图
:cj			# cronjob

# 退出
^+C (CTRL + C)
:q
linux►distro►ubuntu

ubuntu setup

创建用户

1
2
3
4
5
6
7
8
# 添加 group
$ groupadd {groupname}
# 添加用户
$ useradd -d /home/{username} -m -s /bin/bash -g {username} {groupname}
# 添加 sudo
$ sudo usermod -aG sudo {username}
# 设置密码
$ sudo passwd {username}

示例

1
2
3
4
groupadd wii
useradd -d /home/wii -m -s /bin/bash -g wii wii
sudo usermod -aG sudo wii
sudo passwd wii

sudo 权限无需密码

1
2
$ visudo
<username>    ALL=(ALL) NOPASSWD: ALL

设置时区

timedatectl

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# 查看当前时区信息
$ timedatectl
               Local time: 一 2023-06-26 16:21:01 CST
           Universal time: 一 2023-06-26 08:21:01 UTC
                 RTC time: 一 2023-06-26 08:21:01
                Time zone: Asia/Shanghai (CST, +0800)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no
# 查看所有可配置的时区名称
$ timedatectl list-timezones
Africa/Abidjan
Africa/Accra
Africa/Addis_Ababa
Africa/Algiers
Africa/Asmara
Africa/Asmera
Africa/Bamako
Africa/Bangui
Africa/Banjul
Africa/Bissau
...
# 设置时区
$ sudo timedatectl set-timezone Asia/Shanghai

tzselect

临时需改时区，重启后失效。

1
$ tzselect

安装依赖

1
2
3
4
$ git clone https://github.com/sunzhenkai/env-init.git
$ cd env-init && ./activate
$ source ~/.bashrc
$ ii ubuntu -c

生成 ssh key

1
$ ssh-keygen -t ed25519 -C "your_email@example.com"
1
ssh-keygen -t ed25519 -C "zhenkai.sun@qq.com"
play►network

network - use wifi adapter

360 随身 wifi 1 代

驱动

这里 ，这里。

1
2
3
4
$ lsusb
...
Bus 001 Device 003: ID 148f:760b Ralink Technology, Corp. MT7601U Wireless Adapter
...

安装驱动

1
2
3
4
5
6
7
sudo apt install git dkms
git clone https://github.com/jeremyb31/mt7601u-5.4.git
sudo dkms add ./mt7601u-5.4
sudo dkms install mt7601u/1.0

# 重启
sudo reboot

360 随身 wifi 2 代

驱动

这里。

架构►container►k8s

k8s problems

Pod 无法解析域名

Pod DNS 策略模式是 ClusterFirst，系统 /etc/resolve.conf 内容如下。

1
2
3
nameserver 127.0.0.53
options edns0 trust-ad
search .

导致 Pod 里面的 /etc/resolv.conf 配置也是如此，无法正常解析域名。先删除 /etc/resolv.conf（/run/systemd/resolve/stub-resolv.conf 的软链） ，再创建并写入如下内容。

1
2
nameserver 223.5.5.5
nameserver 8.8.8.8
1
2
sudo rm /etc/resolv.conf
sudo vim /etc/resolv.conf

重启 Pods。

1
kubectl delete pods --all -n=<namespace> # 删除所有 pods

pod didn’t trigger scale-up

错误信息

1
.. (combined from similar events): pod didn't trigger scale-up (it wouldn't fit if a new node is added): 2 Insufficient memory, 7 can't increase node group size

原因

  • pod 添加的 container 的内存、CPU 资源超过资源池机器的限制，导致无法扩容

解决

  • 减少 container 的 memory / cpu

Core Dump 及保存

设置 core dump 保存路径及命名

在 deployment.yaml 中配置，运行命令 echo "core.%p" > /proc/sys/kernel/core_pattern 。

映射 HostPath，容器重启不删除文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# deployment.yaml
spec:
	template:
		spec:
			volumes:
				- name: core-dump-volume
          hostPath:
            path: /data/core
            type: DirectoryOrCreate
			containers:
				- name: {container-name}
					volumeMounts:
						- name: core-dump-volume
							mountPath: /data/core
python►notes

install python from source

从源码安装 Python3

设置版本

1
2
export PYTHON_VERSION=3.9.13
export PYTHON_MAJOR=3

下载

1
2
3
wget https://www.python.org/ftp/python/${PYTHON_VERSION}/Python-${PYTHON_VERSION}.tgz
tar -xvzf Python-${PYTHON_VERSION}.tgz --no-check-certificate
cd Python-${PYTHON_VERSION}

配置

1
2
3
4
5
6
./configure \
    --prefix=/opt/python/${PYTHON_VERSION} \
    --enable-shared \
    --enable-ipv6 \
    LDFLAGS=-Wl,-rpath=/opt/python/${PYTHON_VERSION}/lib,--disable-new-dtags \
    --enable-optimizations

编译安装

1
2
make
sudo make install

安装 pip

安装 python 3.9.13 时已安装 pip

1
2
curl -O https://bootstrap.pypa.io/get-pip.py
sudo /opt/python/${PYTHON_VERSION}/bin/python${PYTHON_MAJOR} get-pip.py

使用安装命令

1
2
3
4
5
6
7
8
9
10
# ubuntu
apt install python-pip	#python 2
apt install python3-pip	#python 3

# centos
yum install epel-release 
yum install python-pip
# 或
dnf install python-pip	#Python 2
dnf install python3		#Python 3
架构►container►k8s►k9s

k9s setup

Install

1
2
3
4
5
# brew
brew install derailed/k9s/k9s

# snap
sudo snap install k9s

连接集群

1
2
3
4
# microk8s
# 保存内容至 ~/.kube/config 
# k9s 会读取配置并连接集群
microk8s config > ~/.kube/config
play►pve

pve - usage

直通

硬盘直通

1
2
3
4
# sata 硬盘直通
qm set {vm-id} -sata0 /dev/disk/by-id/{disk-id}
# 示例
qm set 105 -sata0 /dev/disk/by-id/ata-HS-SSD-A260_1024G_30066931838