2021年12月21日
每日归档: 2021年12月21日
python 多个解释器如何切换和安装包
今天遇到一个问题,在linux里有好几个python解释器
/bin/python3
/usr/bin/python
/bin/python
查看python解释器路径:
通过脚本查看
import sys
import os
print('当前 Python 解释器路径:')
print(sys.executable)
如果需要修改默认Python解释器:
默认的python解释器是python3.6或者python2.7,反正不是我们刚下载下来的python3.7。为把默认的python解释器改为python3.7,我们进行如下操作:
cd /usr/bin
sudo rm /usr/bin/python #删除原有的python连接文件
sudo ln -s /usr/bin/python3.7 python #建立指向python3.7的连接
将包安装到指定python解释器:
用pip命令把python包安装到指定目录:
sudo pip install numpy –target=/usr/local/lib/python2.7/site-packages
支持向量机 –SVM
参考文章:支持向量机通俗导论
https://blog.csdn.net/v_july_v/article/details/7624837
线性分类
在训练数据中,每个数据都有n个的属性和一个二类类别标志,我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面(hyperplane),这个超平面可以将数据分成两部分,每部分数据都属于同一个类别。其实这样的超平面有很多,我们要找到一个最佳的。因此,增加一个约束条件:这个超平面到每边最近数据点的距离是最大的。也成为最大间隔超平面(maximum-margin hyperplane)。这个分类器也成为最大间隔分类器(maximum-margin classifier)。支持向量机是一个二类分类器。
非线性分类
SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件,以及核函数可以产生非线性分类器。
以下摘自 支持向量机通俗导论 https://blog.csdn.net/v_july_v/article/details/7624837
支持向量机,因其英文名为 Support Vector Machine,故一般简称 SVM,通俗
来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线
性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。
凸二次优化:https://zhuanlan.zhihu.com/p/100041443
凸函数:直观来讲就是形状看上去“凹”下去的函数,注意可不是看上去“凸”的函数
凸优化的形式化定义:
其中, x 为决策变量, f和g 均为凸函数, h为仿射(线性)函数。
https://www.cnblogs.com/90zeng/p/Lagrange_duality.html
KKT条件
同时包含等式约束和不等式约束:
定义Lagrange函数:
此时
满足的必要条件为:
大名鼎鼎的SVM算法。机器学习发展历史上一颗璀璨的明珠。相信很多接触机器学习的同学都是从SVM开始的。
SVM是为小样本学习设计的,而工业界(尤其是互联网领域)不缺少数据,同时SVM训练效率较低且不容易调试,同时不如LR模型可解释行强。所以SVM常见于实验室而在互联网领域鲜有应用。不过SVM将问题建模为“有约束凸二次优化问题”,其求解过程非常具有代表性。
上述过程将原有问题通过拉格朗日乘子法转换为对偶问题。
上述过程通过各种消元trick将问题转换成只有一类对偶变量 的形式,减小了求解难度。在实际SVM工具包中通常采用SMO算法。
如果所有变量的解都满足此最优化问题的KKT条件(Karush-Kuhn-Tucker conditions),那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则,选择两个变量,固定其他变量,针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解,因为这会使得原始二次规划问题的目标函数值变得更小。重要的是,这时子问题可以通过解析方法求解,这样就可以大大提高整个算法的计算速度。子问题有两个变量,一个是违反KKT条件最严重的那一个,另一个由约束条件自动确定。如此,SMO算法将原问题不断分解为子问题并对子问题求解,进而达到求解原问题的目的。
密码保护:记录:实验室anaconda环境安装和使用
Linux文件分区和挂载相关知识
之前只是在实验室的服务器上跑代码,但因为将anaconda文件夹放置在了系统盘110G,所以系统爆满,想要解决,却无从下手,因此将linux中涉及文件挂载分区的知识进行整理总结,以备不时之需。
磁盘分区:
Linux 物理磁盘管理常用三个命令为 df、du 和 fdisk。
- df(英文全称:disk full):列出文件系统的整体磁盘使用量
- du(英文全称:disk used):检查磁盘空间使用量
- fdisk:用于磁盘分区
每次安装系统的时候我们都会进行分区,Linux下磁盘分区和目录的关系如下:
- 任何一个分区都必须挂载到某个目录上。
- 目录是逻辑上的区分。分区是物理上的区分(比如有个一1T的硬盘,我们先通过fdisk进行磁盘分区,并使用字母和数字的组合来指代磁盘分区,比如/dev/xxyN)。
- 磁盘Linux分区都必须挂载到目录树中的某个具体的目录上才能进行读写操作。
- 根目录是所有Linux的文件和目录所在的地方,需要挂载上一个磁盘分区
mount挂载
挂载的概念
当要使用某个设备时,例如要读取硬盘中的一个格式化好的分区、光盘或软件等设备时,必须先把这些设备对应到某个目录(这个目录可以不为空,但挂载后这个目录下以前的内容将不可用),而这个目录就称为“挂载点(mount point)”,这样才可以读取这些设备,而这些对应的动作就是“挂载”。
需要理解的是:
linux操作系统将所有的设备都看作文件,
它将整个计算机的资源都整合成一个大的文件目录。
我们要访问存储设备中的文件,必须将文件所在的分区挂载到一个已存在的目录上,
然后通过访问这个目录来访问存储设备
挂载分区:挂载的目录必须为空
mkdir /d1
mkdir /d2
mount /dev/sdc1 /d1
mount /dev/sdc2 /d2
查看文件(夹)所在分区(挂载点):
1、最简单的,直接 df <文件(夹)路径>
2、用df 或 fdisk -l查看分区挂载情况,直接输入mount或者也可以用cat /etc/mtab,然后pwd找最接近的挂载点信息
Linux修改磁盘挂载目录
比如想把已经挂载在home目录上的硬盘挂载到data目录上, 如下操作
#df -h(查看分区情况及数据盘名称)
# mkdir /data(如果没有data目录就创建,否则此步跳过)
# umount /home(卸载硬盘已挂载的home目录)
# mount /dev/sdb3 /data (挂载到data目录)
# vi /etc/fstab (编辑fstab文件修改或添加,使重启后可以自动挂载)
/dev/sdb3 /data ext3 auto 0 0
数据盘 新挂载目录
编辑/etc/fstab里面的/home为/data, 或创建让系统启动的时候自动挂载到/data
ln链接 命令—-linux常用命令
ln -s
你可以将链接简单地理解为 Windows 中常见的快捷方式(或是 OS X 中的替身),Linux 中常用它来解决一些库版本的问题,通常也会将一些目录层次较深的文件链接到一个更易访问的目录中。在这些用途上,我们通常会使用到软链接(也称符号链接)。
我为什么要用:有时候服务器的home目录下的磁盘容量不足,而用户的文件都在 /home/用户名下面,这样的话无法满足用户的使用,就需要ln软链接了
建立软连接
ln [参数][源文件或目录][目标文件或目录] 常用:软链接命令 ln -s 源文件或目录 目标文件或目录 (将源文件或目录 连接到 目标文件或目录) 其中: 源文件或目录:文件原始地址 目标文件或目录:文件想要建立链接的位置
Linux ln(英文全拼:link files)命令是一个非常重要命令,它的功能是为某一个文件在另外一个位置建立一个同步的链接。
当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在 其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间。
命令功能 :
Linux文件系统中,有所谓的链接(link),我们可以将其视为档案的别名,而链接又可分为两种 : 硬链接(hard link)与软链接(symbolic link),硬链接的意思是一个档案可以有多个名称,而软链接的方式则是产生一个特殊的档案,该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中,而软链接却可以跨越不同的文件系统。
不论是硬链接或软链接都不会将原本的档案复制一份,只会占用非常少量的磁碟空间。
软链接:
- 1.软链接,以路径的形式存在。类似于Windows操作系统中的快捷方式
- 2.软链接可以 跨文件系统 ,硬链接不可以
- 3.软链接可以对一个不存在的文件名进行链接
- 4.软链接可以对目录进行链接
硬链接:
- 1.硬链接,以文件副本的形式存在。但不占用实际空间。
- 2.不允许给目录创建硬链接
- 3.硬链接只有在同一个文件系统中才能创建
必要参数:
- -b 删除,覆盖以前建立的链接
- -d 允许超级用户制作目录的硬链接
- -f 强制执行
- -i 交互模式,文件存在则提示用户是否覆盖
- -n 把符号链接视为一般目录
- -s 软链接(符号链接)
- -v 显示详细的处理过程
这里有两点要注意:
第一,ln命令会保持每一处链接文件的同步性,也就是说,不论你改动了哪一处,其它的文件都会发生相同的变化;
第二,ln的链接又分软链接和硬链接两种,软链接就是ln –s 源文件 目标文件,它只会在你选定的位置上生成一个文件的镜像,不会占用磁盘空间,硬链接 ln 源文件 目标文件,没有参数-s, 它会在你选定的位置上生成一个和源文件大小相同的文件,无论是软链接还是硬链接,文件都保持同步变化。
ln指令用在链接文件或目录,如同时指定两个以上的文件或目录,且最后的目的地是一个已经存在的目录,则会把前面指定的所有文件或目录复制到该目录中。若同时指定多个文件或目录,且最后的目的地并非是一个已存在的目录,则会出现错误信息。
删除软连接的操作
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | # 以下这样的删除都没问题 ~ unlink link ~ rm link ~ rm -r link # 这里的参数 r 其实是没有意义的,因为link是一个软连接 不是目录 ~ rm -rf link # 这里的 rf 同样没有意义,只是rm 命令忽略了这里的参数 ~ ~ # 这样删除就会造成灾难 ~ rm -rf link/ # 这个时候你发现软连接并没有删除,但是 origin 目录下的文件是全部没删除了 ==! # 这些罪魁祸首是 参数 f,如果你没有使用f参数 这一切还可以挽回 ~ rm link/ rm: cannot remove `link/’: Is a directory # 这里 rm 通过你的参数 link/ 发现是要删除一个目录,这时候需要你添加参数 r ~ rm -r link/ rm: cannot remove `link’: Not a directory # 这里你添加了 r 参数,但是并不能找到目录 link/ 因为link并不是一个目录,他是一个软连接,只不过有些shell在补全的时候会将 `/` 补全上去 |