CLASS torchtext.vocab.GloVe(name='840B', dim=300, **kwargs)
CLASS torchtext.vocab.FastText(language='en', **kwargs)
CLASS torchtext.vocab.ChaarNGram(**kwargs)
#实例
def get_vocab_imdb(data):
tokenized_data = get_tokenized_imdb(data)
counter = collections.Counter([tk for st in tokenized_data for tk in st])
return Vocab.vocab(counter, min_freq=5)
vocab = get_vocab_imdb(train_data)
'# words in vocab:', len(vocab)
输出：('# words in vocab:', 46151)
SubwordVocab： 构建子词汇表
CLASS torchtext.vocab.SubwordVocab(counter, max_size=None, specials='<pad>'
vectors=None, unk_init=...)
__init__(counter, ...)
从 collections.Counter 构建子词词汇表，
specials - padding or eos 等
torchtext.vocab.build_vocab_from_iterator(iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True) → torchtext.vocab.vocab.Vocab[SOURCE]
Build a Vocab from an iterator.
Parameters
iterator – Iterator used to build Vocab. Must yield list or iterator of tokens.
min_freq – The minimum frequency needed to include a token in the vocabulary.
specials – Special symbols to add. The order of supplied tokens will be preserved.
special_first – Indicates whether to insert symbols at the beginning or at the end.
Return all non-overlapping matches of pattern in string, as a list of strings or tuples. The string is scanned left-to-right, and matches are returned in the order found. Empty matches are included in the result.
The result depends on the number of capturing groups in the pattern. If there are no groups, return a list of strings matching the whole pattern. If there is exactly one group, return a list of strings matching that group. If multiple groups are present, return a list of tuples of strings matching the groups. Non-capturing groups do not affect the form of the result.
Linux more 命令类似 cat ，不过会以一页一页的形式显示，更方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示，而且还有搜寻字串的功能（与 vi 相似），使用中的说明文件，请按 h 。
more命令和cat的功能一样都是查看文件里的内容，但有所不同的是more可以按页来查看文件的内容，还支持直接跳转行等功能。
D 不可中断 uninterruptible sleep (usually IO)
R 运行 runnable (on run queue)
S 中断 sleeping
T 停止 traced or stopped
Z 僵死 a defunct (”zombie”) process
命令参数
a 显示所有进程
-a 显示同一终端下的所有程序
-A 显示所有进程
c 显示进程的真实名称
-N 反向选择
-e 等于“-A”
e 显示环境变量
f 显示程序间的关系
-H 显示树状结构
r 显示当前终端的进程
T 显示当前终端的所有程序
u 指定用户的所有进程
-au 显示较详细的资讯
-aux 显示所有包含其他使用者的行程
-C<命令> 列出指定命令的状况
–lines<行数> 每页显示的行数
–width<字符数> 每页显示的字符数
–help 显示帮助信息
–version 显示版本显示
输出列的含义
F 代表这个程序的旗标 (flag)， 4 代表使用者为 super user
S 代表这个程序的状态 (STAT)，关于各 STAT 的意义将在内文介绍
UID 程序被该 UID 所拥有
PID 进程的ID
PPID 则是其上级父程序的ID
C CPU 使用的资源百分比
PRI 这个是 Priority (优先执行序) 的缩写，详细后面介绍
NI 这个是 Nice 值，在下一小节我们会持续介绍
ADDR 这个是 kernel function，指出该程序在内存的那个部分。如果是个 running的程序，一般就是 “-“
SZ 使用掉的内存大小
WCHAN 目前这个程序是否正在运作当中，若为 - 表示正在运作
TTY 登入者的终端机位置
TIME 使用掉的 CPU 时间。
CMD 所下达的指令为何
ps命令常用用法（方便查看系统进程）
1）ps a 显示现行终端机下的所有程序，包括其他用户的程序。
2）ps -A 显示所有进程。
3）ps c 列出程序时，显示每个程序真正的指令名称，而不包含路径，参数或常驻服务的标示。
4）ps -e 此参数的效果和指定"A"参数相同。
5）ps e 列出程序时，显示每个程序所使用的环境变量。
6）ps f 用ASCII字符显示树状结构，表达程序间的相互关系。
7）ps -H 显示树状结构，表示程序间的相互关系。
8）ps -N 显示所有的程序，除了执行ps指令终端机下的程序之外。
9）ps s 采用程序信号的格式显示程序状况。
10）ps S 列出程序时，包括已中断的子程序资料。
11）ps -t<终端机编号> 指定终端机编号，并列出属于该终端机的程序的状况。
12）ps u 以用户为主的格式来显示程序状况。
13）ps x 显示所有程序，不以终端机来区分。
最常用的方法是ps -aux,然后再利用一个管道符号导向到grep去查找特定的进程,然后再对特定的进程进行操作。
sed功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk功能复杂，对列处理的功能比较强大。
命令格式
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
常用参数
-e #以指定的指令来处理输入的文本文件
-n #取消默认输出（如果和p命令同时使用只会打印发生改变的行）
-h #帮助
-V #显示版本信息
常用动作
a #在当前行下面插入文本
i #在当前行上面插入文本
c #把选定的行改为新的文本
d #删除，删除选择的行
D #删除模板块的第一行
s #替换指定字符
h #拷贝模板块的内容到内存中的缓冲区
H #追加模板块的内容到内存中的缓冲区
g #获得内存缓冲区的内容，并替代当前模板块中的文本
G #获得内存缓冲区的内容，并追加到当前模板块文本的后面
l #列表不能打印字符的清单
n #读取下一个输入行，用下一个命令处理新的行而不是用第一个命令
N #追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码
p #打印匹配的行
P #(大写)打印模板的第一行
q #退出Sed
b #lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾
r #file 从file中读行
t #label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
T #label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
w #file 写并追加模板块到file末尾**
W #file 写并追加模板块的第一行到file末尾**
! #表示后面的命令对所有没有被选定的行发生作用**
= #打印当前行号码**
# #把注释扩展到下一个换行符以前**
Sed替换命令
g #表示行内全面替换（全局替换配合s命令使用）
p #表示打印行
w #表示把行写入一个文件
x #表示互换模板块中的文本和缓冲区中的文本
y #表示把一个字符翻译为另外的字符（但是不用于正则表达式）
1 #子串匹配标记
& #已匹配字符串标记
Sed正则
^ #匹配行开始
$ #匹配行结束
. #匹配一个非换行符的任意字符
* #匹配0个或多个字符
[] #匹配一个指定范围内的字符
[^] #匹配一个不在指定范围内的字符
(..) #匹配子串
& #保存搜索字符用来替换其他字符
< #匹配单词的开始
> #匹配单词的结束
x{m} #重复字符x，m次
x{m,} #重复字符x，至少m次
x{m,n} #重复字符x，至少m次，不多于n次
Sed常用实例
1、替换操作
echo "hello world" |sed 's/ /-/1g'
hello-world
#从第一个空格开始全局替换成-，只不过文本中只有一个空格
2、删除操作
sed '/^$/d' filename #删除空白行
sed '2d' filename #删除第二行
sed '2，$d' filename #删除第二直到未尾所有行
sed '$d' filename #删除最后一行
sed '/^test/'d filename #删除以test开头行
3、匹配替换
echo "hello world" |sed 's/w+/[&]/g'
AND运算：符号&&，也可使用参数-a。
OR运算：符号||，也可使用参数-o。
NOT运算：符号!。 test expression1&&expression2
例如：
#!/bin/bash
MIN_VAL=1
MAX_VAL=100
INT=50
if [[ "$INT" =~ ^-?[0-9]+$ ]]; then
if [[ $INT -ge $MIN_VAL && $INT -le $MAX_VAL ]]; then
echo "$INT is within $MIN_VAL to $MAX_VAL."
else
echo "$INT is out of range."
fi
else
echo "INT is not an integer." >&2
exit 1
fi
if [expression] then;
comd
elif [expression] then ;
commd
else
commd
fi
if和then写在同一行时，需要分号分隔。分号是 Bash 的命令分隔符。它们也可以写成两行，这时不需要分号。
Bash 还提供了((...))作为算术条件，进行算术运算的判断。
if ((3 > 2)); then
echo "true"
fi
