每日归档： 2024年7月18日

深度学习常用linux命令

1、查看某个端口占用的进程号： lsof –i:端口号

2、查看当前 python 进程

ps命令是”process status”的缩写，它用于查看当前系统中正在运行的进程的状态和信息。

ps -ef | grep python或者ps aux | grep python | grep 用户名

查看用户 wuliyttaotao 的所用进程： ps aux|grep wuliyttaotao

实时查看所有进程：top 或者(同时能查看各个 CPU 利用率)htop

杀死某个进程：kill -9 进程号

暂停某个进程：kill -STOP 进程号

恢复进程执行：kill -CONT 进程号

3、杀死所有python 进程：

ps列出ttlsa的pid，然后依次kill掉，比较繁琐.【python 可以替换成 /mnt/conda/python 等等，过滤出想要kill的进程】

ps -ef | grep python | grep -v grep | awk ‘{print $2}’ | xargs kill -9

注意：不要用 ps -ef | grep bash名字 来杀死进程，这样是杀不掉进程的！！要用bash里面执行的python文件名称来杀进程！！！

如果不能杀死进程：

如果使用的是tmux：直接杀掉终端：tmux kill-session -t 0

或者使用htop 打印所有pid，然后kill掉

4、查看 GPU 利用率nvidia-smi

或者，使用 pip 安装 gpustat，之后使用 gpustat 查看 gpu 利用状态：(-cpu 分别是三个状态指示)gpustat -cpu

结合 watch 指令持续查看 GPU 状态：

watch -n 0.1 nvidia-smi

watch -n 0.1 –color gpustat -cpu –color

5、Linux CPU 利用率/CPU核数

在执行 top 指令之后，按数字 1 号键可以看到每个 CPU 的详细情况：top

htop 指令比 top 指令更加直观：htop

查看CPU情况：

1、cpu个数

grep ‘physical id’ /proc/cpuinfo | sort -u

2、核心数【当数据集较大时建议采用，num_works一般设置为（CPU核心数+-1）为最佳】

grep ‘core id’ /proc/cpuinfo | sort -u | wc -l

3、线程数

grep ‘processor’ /proc/cpuinfo | sort -u | wc -l

6、动态查看新增的log.txt日志文件：

tail -f log.txt  会把 filename 文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要 filename 更新就可以看到最新的文件内容。

tail –f log.txt 追踪最新的内容

tail –n 5 log.txt 查看最后五行内容

tail 命令可用于查看文件的内容

-f 循环读取

-f 循环读取

-q 不显示处理信息

-v 显示详细的处理信息

-c<数目> 显示的字节数

-n<行数> 显示文件的尾部 n 行内容

–pid=PID 与-f合用,表示在进程ID,PID死掉之后结束

-q, –quiet, –silent 从不输出给出文件名的首部

-s, –sleep-interval=S 与-f合用,表示在每次反复的间隔休眠S秒

6.查看文件有多少行：

wc –l 文件名

  • 7 查看目录下文件数量

ls -l | grep “^-” | wc -l

pytorch分布式 训练参数设置

# 自己的数据获取
dataset = MyDataset(input_size, data_size)
 
# 使用 DistributedSampler
train_sampler = torch.utils.data.distributed.DistributedSampler(dataset)
 
trainloader = DataLoader(dataset=dataset,
                         pin_memory=true,
                         shuffle=(train_sampler is None),   # 使用分布式训练 shuffle 应该设置为 False
                         batch_size=args.batch_size,
                         num_workers=args.workers,
                         sampler=train_sampler)

需要注意的几个参数：batch_size、num_workers、shuffle、pin_memory在进行多机多卡以及单机多卡的设置。

1、 Batch_size设置:

Dataparallel ： 设置 batch_size 是指总多卡的Batch size，数据被直接划分到多个 GPU 上

DistributedDataParallel ：batch size 设置成单卡一样即可，因为各个GPU对应的进程独立从磁盘中加载数据，这里的 Batch_size指的是单卡的。

2、shuffle设置：

shuffle：

Dataparallel  ：设置 ‘shuffle’: True

DistributedDataParallel  ：为了能够按顺序划分数据子集，拿到不同部分数据，所以数据集不能够进行随机打散，所以用了参数 ‘shuffle’: False

3、 pin_memory 设置：

是否提前申请CUDA内存（默认为False，但有说法除非数据集很小，否则在N卡上推荐总是打开）。

如果开了pin memory:
每个worker都需要缓存一个batch的数据.
batch size和num_workers都大, 显存会炸。

为什么 设置 pip_memory=true， 看解释：
多GPU训练的时候注意机器的内存是否足够(一般内存为显卡显存x2)，如果不够，建议关闭pin_memory(锁页内存)选项。
采用DistributedDataParallel多GPUs训练的方式比DataParallel更快一些，如果你的Pytorch编译时有nccl的支持，那么最好使用DistributedDataParallel方式。
关于什么是锁页内存：
pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。因为pin_memory与电脑硬件性能有关，pytorch开发者不能确保每一个炼丹玩家都有高端设备，因此pin_memory默认为False。

当计算机的内存充足的时候，可以设置pin_memory=True。当系统卡住，或者交换内存使用过多的时候，设置pin_memory=False。pin_memory默认为False。

4、 num_workers 设置：num_worker的设置值一般是所运行机子上的CPU核心数

可以设置set num_workers =4 x number of available GPUs 

um_worker大: 下一轮迭代的batch可能在上一轮/上上一轮…迭代时已经加载好了。 坏处是GPU memory开销大 (这是开了pin memory的情况吧) ，也加重了CPU负担。

CPU的物理个数：grep ‘physical id’ /proc/cpuinfo | sort | uniq | wc -l 结果为2，说明CPU有两个。 每个CPU的核数：cat /proc/cpuinfo |grep “cores”|uniq 10，说明每个10核。 cpu核数 = 2×10

1、cpu个数

grep ‘physical id’ /proc/cpuinfo | sort -u

2、核心数【当数据集较大时建议采用，num_works一般设置为（CPU 核心数 +-1）为最佳】

grep ‘core id’ /proc/cpuinfo | sort -u | wc -l

3、线程数

grep ‘processor’ /proc/cpuinfo | sort -u | wc -l

一般建议 num_workers 的值接近 CPU 核心数，但不要超过，以免导致过多的上下文切换。

如果数据集较大且预处理复杂，较高的 num_workers 值可能会更有效。反之，如果数据集较小或者预处理简单，则可能不需要太多的工作线程。

Num workers：只要你的 GPU 计算占用没有用满，说明 GPU 要等数据准备。可以试着增加进程数目，同时观察是否是硬盘 IO 瓶颈，如果是多机训练，还要注意网络瓶颈。不过，最大也不能超过核心数，一般还要减一点，因为主进程，多卡多进程训练，都会占用核心。

num_worker通过影响数据加载速度，从而影响训练速度。 每轮dataloader加载数据时：dataloader一次性创建num_worker个worker，worker就是普通的工作进程。并用batch_sampler将指定batch分配给指定的worker，worker将它负责的batch加载进RAM。然后，dataloader从RAM中找本轮迭代要用的batch，如果找到了，就使用；如果没找到，就用num_worker个worker继续加载batch到RAM，直到dataloader在RAM中找到目标batch。