python 基础操作汇总

Posted by HieDean on January 18, 2020

numpy to torch.tensor

torch.from_numpy(xxx)

xxx to torch.tensor

tensor=torch.Tensor(xxx)

tensor to numpy

tensor_name.numpy()

numpy数组分割

np.split(x, n) # 等分为n份,返回一个list

复数numpy数组提取实部与虚部

numpy.real(xxx)

numpy.imag(xxx)

将实部和虚部合并为一个复数数组

Data[...,0] + 1j * Data[...,1]

result = 1j*Data[...,1]; 
result += Data[...,0];

将tuple或list转为numpy数组

numpy.array(xxx)

数据类型强制转换(转换为整型为例)

int(xxx)

numpy数组合并

保持原有维度

numpy.concatenate((array1,array2,array3), axis=0)

增添新的维度stack

numpy.stack((array1,array2,array3), axis=0)

numpy数组的升维与降维

升维

np.expand_dims(array, axis=dim)

降维

ravel() # 将多维数组拉平(一维)
flatten() # 将多维数组拉平,并拷贝一份
squeeze() # 除去多维数组中,维数为1的维度,如315降维后3*5
reshape(-1) # 多维数组,拉平
reshape(-15) # 其中-1表示我们不用亲自去指定这一维度的大小,理解为n维

numpy矩阵转置

numpy.transpose(matrix)

numpy数组的保存与读取

a=np.array(a)
np.save('a.npy',a)   # 保存为.npy格式

a=np.load('a.npy') # 读取
a=a.tolist()

创建空的numpy数组

mat = None
for col in columns:
  if mat is None:
    mat = col
  else:
    mat = hstack((mat, col))

判断numpy数组是否全为0

# 判断numpy数组是否全为0
np.all(array == 0)
# 判断numpy数组是否含0
np.any(array == 0)

enumerate() 非常实用的技巧

for i,x in enumerate(xxx):
  pass

python读取目录下的所有文件

import os
path = "xxx" # 文件夹目录
files= os.listdir(path) # 得到文件夹下的所有文件名称
for file in files:
  file_name = path+"/"+file
  # some operations

解压zip文件

import zipfile
def un_zip(file_name):
    """解压zip"""
    zip_file = zipfile.ZipFile(file_name)
    if os.path.isdir(file_name + "_files"):
        pass
    else:
        os.mkdir(file_name + "_files")
    for names in zip_file.namelist():
        zip_file.extract(names,file_name + "_files/")
    zip_file.close()

list添加obj

list_name.append(obj)

删除list的元素

del listname[start : end]

listname.pop(index)

listname.remove(value) # 删除值为value的元素

大list切割为小list

lst = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
b = [lst[i:i+3] for i in range(0,len(lst),3)] # 每个小list含有3个元素

创建字典

dic = {
'key1' : 'value1',
'key2' : 'value2',
} 

python运行时如何清理内存?

import gc # garbage collector
del var
gc.collect()

判断目录是否存在

import os
os.path.isdir('path')

获取字典的键

dict_name.keys()

python 查看GPU显存占用

可以使用pynvml库来查看

pynvml的安装

pip install nvidia-ml-py3

(尝试了一下,conda install似乎行不通)

pynvml的使用
import pynvml
pynvml.nvmlInit()
# GPU的id
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
meminfo = pynvml.nvmlDeviceGetMemoryInfo(handle)
print(meminfo.used)

pynvml文档:https://docs.nvidia.com/deploy/nvml-api/index.html

python中的super(Net, self).__init__()是什么意思?

首先找到Net的父类(比如是类NNet),然后把类Net的对象self转换为类NNet的对象,然后“被转换”的类NNet对象调用自己的__init__函数

如何查看对象的属性和方法?

dir(Obj)
Obj.__dict__

如何用for遍历两个list

for x,y in zip(x_list,y_list):
    pass

python调用shell

command = 'ls'
output = os.popen(command)
for text in output.readlines():
    print(text)
# output.readlines() 按行读取显示在cmd中的所有文字

if __name__ == '__main__':

__name__是当前模块名,当模块被直接运行时模块名为__main__ 所以这句话的意思就是,当模块被直接运行时,以下代码块将被运行;当模块是被导入时,代码块不被运行

__init__.py

该文件的作用是将文件夹变为一个Python模块

python导入模块的方式有

+-- run.py
+-- model.py 

import model

+-- run.py
+-- Model
|   +-- __init__.py
|   +-- model.py # model.py 中有一个函数叫function

form Model import model

from Model.model import function

isinstance()函数

判断一个对象是否是一个已知的类型 isinstance(object, classinfo)

assert expression [, arguments]

等价于

if not expression:
    raise AssertionError(arguments)

__str__()__repr__()

首先,在python的类中,__xxx__()意味着魔术方法

对于__str__(),它重定义了一个类的对象在被print()时应该输出什么,但并不会改变直接输出该对象时的内容

与之功能相类似的还有__repr__()方法,它也重定义了一个类的对象在被print()时应该输出什么,同时还改变了直接输出该对象时的内容

参考:https://www.cnblogs.com/lincappu/p/8312669.html

print()格式化输出

print('epoch:', epoch, ' idx:', idx, '/', length, ' g_adversarial_loss:%.5f d_adversarial_loss:%.5f g_mix_loss:%.5f' % (g_adversarial_loss.item(), d_loss.item(), g_mix_loss.item()))

numpy报ValueError: could not broadcast input array from shape

在使用numpy将list转为array的时候报错

出现这个问题的主要原因是因为list中array的shape不一致造成的