用户管理

1
2
3
4
5
6
7
8
9

# 创建 group
$ groupadd wii
# 添加用户
$ useradd -d /home/wii -m -s /bin/bash -g wii wii
# 添加至 sudoers
$ sudo usermod -aG wheel wii

# sudo 无需密码
$ sudo visudo

metric

Counter

Counter 用于累计指标，表示一个只能递增或置零的单调递增计数器。

Gauge

Gauge 用于数值指标，统计值可以增加也可以减小。

Histogram

Histogram 用于对指标进行采样观察，可以设置需要统计的分位值。在抓取时，Histogram 指标会返回多个时序。

• 观察桶的累计计数，指标名称为 <basename>_bucket{le="<upper inclusive bound>"}
• 所有采样数据值的总和，指标名称为 <basename>_sum
• 所有采样数据的总数，指标名称为 <basename>_count ，和 <basename>_bucket{le="+Inf"} 值一致

Summary

和 Histogram 相似，Summary 对观察指标进行采样，在提供所有采用数据总数和值的总和的同时，在滑动窗口时间内计算可配置的分位数。在抓取时，Summary 指标会返回多个时序。

• 流式传输观察到的事件的 φ-分位数 (0 ≤ φ ≤ 1)，指标名称为 <basename>{quantile="<φ>"}
• 所有采样数据值的总和，指标名称为 <basename>_sum
• 所有采样数据的总数，指标名称为 <basename>_count

对比

Histogram & Summary

Histogram 和 Summary 都是采样观察，常用于请求耗时及响应大小统计。两者会统计样本数量以及样本值的总和，以便计算统计值的平均值。原则上，两者可用于观测有负值的指标，这种情况下观测值的总和可能会上下波动，不再使用 rate() 方法。对于这种场景如果想用 rate() ，可以用两个独立的 Summary 指标，一个统计整数，一个统计负数，然后再使用 PromQL 进行组合。

如果想统计最近五分钟的平均请求耗时，指标是 Summary 或者 Histogram 都可，指标名称为 http_request_duration_seconds，那么表达式如下。

1

rate(http_request_duration_seconds_sum[5m]) / rate(http_request_duration_seconds_count[5m])

Apdex score

使用 Histogram 而不是用 Summary 的一个直接场景，是计算一个指标落入特定分桶样本数量的值。比如，有一个 SLO 指标，95% 的请求要在 300ms 内返回。配置一个包含 300ms 以上的分桶，可以直接表示 300ms 以内的相对请求数量，并且很容易地在值小于 0.95 时报警。下面的表达式可以计算 5 分钟内请求耗时在 300ms 以内的比例。

1
2
3

  sum(rate(http_request_duration_seconds_bucket{le="0.3"}[5m])) by (job)
/
  sum(rate(http_request_duration_seconds_count[5m])) by (job)

可以用同样的方式计算 Apdex score。配置分桶，包含目标耗时（比如，0.3s）和最大容忍耗时（一般 4 倍于目标耗时，比如 1.2s），下面表达式可以计算 Apdex Score。

1
2
3
4
5

(
  sum(rate(http_request_duration_seconds_bucket{le="0.3"}[5m])) by (job)
+
  sum(rate(http_request_duration_seconds_bucket{le="1.2"}[5m])) by (job)
) / 2 / sum(rate(http_request_duration_seconds_count[5m])) by (job)

分位数（Quantiles）

Histogram 和 Summary 都可以计算 φ 分位数，0 ≤ φ ≤ 1。 φ 分位数是 N 个观察值排序后位于 φ * N 位置的数的值。两者计算分位数最重要的不同是，Summary 在客户端流式计算 φ 分位数并直接上传；Histogram 暴露分桶的观测值数量，在使用 histogram_quantile() 方法获取分位值时计算发生在 server 端。

注意聚合差异的重要性，重新回到 SLO 的问题，这次不再关注 300ms 以内请求的比例是否达到 95%，而是 95 分位本身（95% 的请求可以在多上时间返回）。为了达到这个目的，可以设置一个 Summary 并配置 95 分位，也可以设置一个 Histogram 并在 300ms 附近设置一部分分桶（比如 {le="0.1"}， {le="0.2"}， {le="0.3"}， 和 {le="0.45"}）。如果服务有多个实例，期望将结果聚合并得到一个整体的 95 分位值。那么，如果是 Summary 使用下面表达式计算平均值是没有意义的。

1

avg(http_request_duration_seconds{quantile="0.95"}) // BAD!

如果是 Histogram，可以使用下面的表达式。

1

histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)) // GOOD.

通过对原始数据进行聚合，再计算分位值，是比较合理的。

文档

• 指标类型
• Histogram 和 Summary

Common

Producer

Consumer

其他

幂等性

producer 设置 enable.idempotence 为 true，kafka 会保证消息按顺序且不重复的送达。

原理

每个 producer 被分配一个 PID（producer id），向 broker 发送消息时会带上，且每个消息有一个单调递增的序列号，生产者为主题的每个分区维护一个序列号，broker 同样记录 producer 的最大消息序列号，只接受 +1 的消息。

参考

• https://www.cloudkarafka.com/blog/apache-kafka-idempotent-producer-avoiding-message-duplication.html

安装

1

$ pip3 install grpcio

示例

1
2
3
4
5

import grpc
channel = grpc.insecure_channel('localhost:8000')
grpc.channel_ready_future(self.channel).result(10)    # 等待 channel ready， 超时 10s
stub = EchoServiceGRPC.EchoServiceStub(self.channel)  # 创建 stub
stub.ping('pong')                                     # 远程调用

bitmap

bitmap（位图），是一个位数组，物理层面是内存中的一块连续区域，形式上可以表示为 01010001011。

用途

• 布隆过滤器

roaring bitmap

对位图进行空间优化，思想是高位用于分桶，只存储低位。比如，如果存储一个 32 位整数，使用高 16 位获取分桶，每个分桶是一个 bitmap，低 16 位用来确定 bitmap 中的一个 bit，用 bit 值的 0/1 来标识数据是否存在。这样实际存储过程中，可以省略每个整数的高 16 位，理想情况下占用空间减少 50%。

用途

• lucene 存储倒排索引（其倒排索引 id 递增）

参考

• https://www.jianshu.com/p/818ac4e90daf
• https://www.cnblogs.com/mzhaox/p/11210108.html

索引

查询所有索引

1
2

GET /_cat/indices
{}

搜索

所有数据

1
2
3
4
5
6
7

GET /<index>/_search
{
  "query": {
    "match_all": {},
    "track_total_hits": true
  }
}

track_total_hits=true 返回准确的数量，不然 total.value 最大返回 10000

搜索字段

1
2
3
4
5
6
7
8

GET /<index>/_search
{
  "query": {
    "match": {
      "<filed>": "<value>"
    }
  }
}

正则

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

GET /<index>/_search
{
  "query": {
    "regexp": {
      "<filed>": "<regepx>"
    }
  }
}

# 不为空
{
  "query": {
    "regexp": {
      "<filed>": ".+"
    }
  }
}

有值

1
2
3
4
5
6
7
8

GET /_search
{
  "query": {
    "exists": {
      "field": "<field>"
    }
  }
}

更新数据

1
2
3
4
5
6

POST /<index>/_update/<id>
{
  "doc": {
    "<field>": "<value>"
  }
}

索引

创建索引

1
2
3
4
5
6
7
8
9
10
11
12
13

PUT /<new-index>
{
  "settings": {
    "index.store.type": "mmapfs",
    "index.refresh_interval": "1s",
    "index.number_of_replicas": "5",
    "index.number_of_shards": "2",
    "index.max_result_window": "5000000"
  },
  "mappings": {
    "date_detection": true
  }
}

删除索引

1
2
3

DELETE /<index>
{
}

重建索引

1
2
3
4
5
6
7
8
9

POST _reindex
{
  "source": {
    "index": "<source-index>"
  },
  "dest": {
    "index": "<dest-index>"
  }
}

package

1
2
3
4
5
6

import pathlib
import sys
from os.path import dirname, abspath

PROJECT_BASE_PATH = dirname(abspath(pathlib.Path(__file__).absolute()))
sys.path.append(PROJECT_BASE_PATH)

path

判断路径是否存在

1

os.path.exists('path')

获取 Home 路径

1
2

from pathlib import Path
Path.home() # 用户目录

json

序列化类

1

json.dumps(obj, default=vars)  # 使用 vars 序列化对象, 打印对象的所有属性

multiprocessing

共享自定义对象

1
2
3
4
5
6
7
8
9

class A():
	pass

AProxy = MakeProxyType('A', public_methods(A))
setattr(multiprocessing.managers, 'A', AProxy)
SyncManager.register('A', A, AProxy)
manager = SyncManager()
manager.start()
shared_a = manager.A()

调试

gdb

1
2
3
4

$ export PYTHONPATH=/path/to/python/lib/python3.6/site-packages/Cython/Debugger:$PYTHONPATH
$ gdb /path/to/python <pid>
(gdb) python import libpython
(gdb) py-bt

参考

• gdb 调试手册
• https://blog.csdn.net/github_40094105/article/details/81287572
• https://www.codenong.com/52258378/
• https://www.cnblogs.com/sting2me/p/7745551.html

创建解析对象

1

parser = argparse.ArgumentParser()

kv

1
2

parser.add_argument('-a', '--age', required=True)      # 必选
parser.add_argument('-p', '--product', required=False)  # 非必选

example

1
2
3
4
5
6
7
8
9
10
11
12
13

>>> import argparse
>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('-a', '--age', required=True)
...
>>> parser.add_argument('-p', '--product', required=False)
...
>>> parser.parse_args('-a 10'.split())
Namespace(age='10', product=None)
>>> parser.parse_args('-a 10 -p wii'.split())
Namespace(age='10', product='wii')
>>> parser.parse_args('-p wii'.split())
usage: [-h] -a AGE [-p PRODUCT]
: error: the following arguments are required: -a/--age

标记

1
2
3

parser.add_argument('-a', '--age', action='store_true')         # 如果指定则为 True, 否则为 False
parser.add_argument('-n', '--name', action='store_false')       # 如果指定则为 False, 否则为 True
parser.add_argument('-m', '--price', action='store_const', const=10)  # 如果指定则为 const 的值, 否则为 None

example

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

>>> import argparse
>>> parser = argparse.ArgumentParser()
>>> parser = argparse.ArgumentParser()
>>> parser.add_argument('-a', '--age', action='store_true')
...
>>> parser.add_argument('-n', '--name', action='store_false')
...
>>> parser.add_argument('-m', '--price', action='store_const', const=10)
...
>>> parser.parse_args('-anm'.split())
Namespace(age=True, name=False, price=10)
>>> parser.parse_args('-a'.split())
Namespace(age=True, name=True, price=None)
>>> parser.parse_args('-m'.split())
Namespace(age=False, name=True, price=10)
>>> parser.parse_args('-n'.split())
Namespace(age=False, name=False, price=None)
>>> parser.parse_args(''.split())
Namespace(age=False, name=True, price=None)

安装 Desktop

1
2
3
4
5
6

sudo apt update && sudo apt upgrade 
sudo apt install tasksel -y 
sudo tasksel	# 选择安装 ubuntu-desktop
sudo systemctl set-default graphical.target 
# 重启电脑
sudo reboot

安装 TigerVNCServer

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

sudo apt install tigervnc-standalone-server tigervnc-common

# 设置 vnc 密码
vncpasswd

# 设置 vnc server
sudo vi  ~/.vnc/xstartup
# 内容如下
#!/bin/sh
xrdb $HOME/.Xresources
vncconfig -iconic &
dbus-launch --exit-with-session gnome-session &

# 启动 vnc server
vncserver -localhost no

操作

1
2
3
4
5

# 列出启动的 session
vncserver -list 

# kill session
vncserver -kill :<session-no>  # 比如 :2

参考

• https://techviewleo.com/install-and-configure-vnc-server-on-ubuntu/