分享8点超级有用的Python编程建议(推荐)

我们在用Python进行机器学习建模项目的时候,每个人都会有自己的一套项目文件管理的习惯,我自己也有一套方法,是自己曾经踩过的坑总结出来的,现在在这里分享一下给大家,希望多少有些地方可以给大家借鉴。

🚗 先睹为快

  • 项目文件事先做好归档
  • 永远不要手动修改源数据并且做好备份
  • 做好路径的正确配置
  • 代码必要的地方做好备注与说明
  • 加速你的Python循环代码
  • 可视化你的循环代码进度
  • 使用高效的异常捕获工具
  • 要多考虑代码健壮性

项目文件事先做好归档

每次开始一个新工作的时候,以前的我总是贪图方便,Code、Data、文档都集中放在一个文件夹内,看起来很乱,一度让回溯过程十分痛苦,或者是换了部电脑,文件全都运行不行了,需要自行修改路径,十分痛苦。

经过自己一番探索,大家可以大致将项目分成几个子文件夹,code放在主文件夹里:

永远不要手动修改源数据并且做好备份

我们需要对源数据进行好备份,方便我们下一次进行回溯,可以进行下一步的操作或者是对中间步骤的修改,而且,对代码等其他文件也是需要做好备份的,以免出现意外丢失。

这里来自良许Linux的一篇文章,推荐了4个工具:

  • Git版本控制系统
  • Rsync文件备份
  • Dropbox云存储
  • Time Machine时光机器

更多的工具介绍和使用我这边就不展开,大家可以去自行了解呗。

做好路径的正确配置

很多同学在写路径的时候都很喜欢直接用绝对路径,虽然一般情况下不会有什么问题,但如果代码共享给其他人学习或者运行的时候,问题就来了,很多情况下都不能直接跑通,

这里建议:

  • 使用相对路径:脚本位于主目录下,其他资源(如数据、第三方包等)在其同级或低级目录下,如 ./data/processed/test1.csv
  • 全局路径配置变量:
# 设置主目录
HOME_PATH = r'E:\ML\190615- PROJECT1'

# 读取数据
data = open(HOME_PATH+'/data/processed/test1.csv')
data = pd.read_csv(data)
data.head()

代码必要的地方做好备注与说明

这个我相信大多数人都感同身受了,不信?拿回一个月前自己写的代码看看吧,看一下能看懂多少(如果没有做好备注说明的话)

加速你的Python循环代码

这里推荐云哥的一篇文章:24式加速你的python:

https://www.jb51.net/article/162967.htm

收藏起来,多看多几次,养成好习惯呗,这样子你写代码才会越来越快~

可视化你的循环代码进度

这里介绍一个Python库,tqdm,先安装一下:pip install tqdm

这个是一个可以显示循环进度的库,有了它就可以更加运筹帷幄了。

大家可以看下面的例子:

使用高效的异常捕获工具

异常bug定位,以前的我经常也是一条print()函数走到底,虽然说也没什么问题,但效率上还是会比较慢,后来发现了一个叫PySnooper的装饰器,仿佛发现了新大陆。

我们一般debug,都是在我们可能觉得会有问题的地方,去打印输出,看下实际输出了什么,然后思考问题所在,这需要我们去改code,非常细致地改,相比较直接加个装饰器,是十分麻烦的。

大家可以看看Example:

import pysnooper

@pysnooper.snoop('./log/file.log')
def number_to_bits(number):
  if number:
    bits = []
    while number:
      number, remainder = divmod(number, 2)
      bits.insert(0, remainder)
    return bits
  else:
    return [0]

number_to_bits(6)

我们把函数每一步的输出都保存为file.log,我们可以直接去看到底哪里出了问题。

📚 项目地址:https://github.com/cool-RR/pysnooper

要多考虑代码健壮性

何为代码的健壮性,顾名思义,就是可以抵挡得住各种异常场景的测试,异常处理工作由“捕获”和“抛出”两部分组成。“捕获”指的是使用 try ... except 包裹特定语句,妥当的完成错误流程处理。而恰当的使用 raise 主动“抛出”异常,更是优雅代码里必不可少的组成部分,下面总结几点供大家参考:

1)知道要传入的参数是什么,类型,个数....(异常处理,逻辑判断)

def add(a, b):
 if isinstance(a, int) and isinstance(b, int):
   return a+b
 else:
   return '参数类型错误'

print(add(1, 2))
print(add(1, 'a'))

2)只做最精准的异常捕获

我们有的时候想着让脚本work才是王道,所以不管三七二十一就搞一个大大的try...except把整块代码包裹起来,但这样很容易把原本该被抛出的 AttibuteError 吞噬了。从而给我们的 debug 过程增加了不必要的麻烦。

所以,我们永远只捕获那些可能会抛出异常的语句块,而且尽量只捕获精确的异常类型,而不是模糊的 Exception。

from requests.exceptions import RequestException

def save_website_title(url, filename):
  try:
    resp = requests.get(url)
  except RequestException as e:
    print(f'save failed: unable to get page content: {e}')
    return False

# 这段正则操作本身就是不应该抛出异常的,所以我们没必要使用 try 语句块
# 假如 group 被误打成了 grop 也没关系,程序马上就会通过 AttributeError 来
# 告诉我们。
  obj = re.search(r'<title>(.*)</title>', resp.text)
  if not obj:
  print('save failed: title tag not found in page content')
  return False
  title = obj.group(1)

  try:
  with open(filename, 'w') as fp:
    fp.write(title)
  except IOError as e:
  print(f'save failed: unable to write to file {filename}: {e}')
  return False
  else:
  return True

3)异常处理不应该喧宾夺主

像上一条说到的异常捕获要精准,但如果每一个都很精准的话,其实我们的代码里就会有很多try...except语句块,以至于扰乱核心代码,代码整体阅读性。

这里,我们可以利用上下文管理器来改善我们的异常处理流程,简化重复的异常处理逻辑。

class raise_api_error:
  """captures specified exception and raise ApiErrorCode instead
  :raises: AttributeError if code_name is not valid
  """
  def __init__(self, captures, code_name):
  self.captures = captures
  self.code = getattr(error_codes, code_name)

  def __enter__(self):
  # 该方法将在进入上下文时调用
  return self

  def __exit__(self, exc_type, exc_val, exc_tb):
  # 该方法将在退出上下文时调用
  # exc_type, exc_val, exc_tb 分别表示该上下文内抛出的
  # 异常类型、异常值、错误栈
  if exc_type is None:
    return False

  if exc_type == self.captures:
    raise self.code from exc_val
  return False

在上面的代码里,我们定义了一个名为 raise_api_error 的上下文管理器,它在进入上下文时什么也不做。但是在退出上下文时,会判断当前上下文中是否抛出了类型为 self.captures 的异常,如果有,就用 APIErrorCode 异常类替代它。

使用上下文管理器后,简洁的代码如下:

def upload_avatar(request):
  """用户上传新头像"""
  with raise_api_error(KeyError, 'AVATAR_FILE_NOT_PROVIDED'):
  avatar_file = request.FILES['avatar']

  with raise_api_error(ResizeAvatarError, 'AVATAR_FILE_INVALID'),\
    raise_api_error(FileTooLargeError, 'AVATAR_FILE_TOO_LARGE'):
   resized_avatar_file = resize_avatar(avatar_file)

  with raise_api_error(Exception, 'INTERNAL_SERVER_ERROR'):
  request.user.avatar = resized_avatar_file
  request.user.save()
  return HttpResponse({})

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 给Python入门者的一些编程建议

    Python是一种非常富有表现力的语言.它为我们提供了一个庞大的标准库和许多内置模块,帮助我们快速完成工作.然而,许多人可能会迷失在它提供的功能中,不能充分利用标准库,过度重视单行脚本,以及误解Python基本结构等.本文是一个关于Python新手可能会陷入的一些陷阱的不完全列表. 不知道Python版本 这是一个在StackOverflow上反复出现的问题.许多人能写出在某个版本上完美工作的代码,但在他们在自己的系统上安装有不同版本的Python.要确保你知道你正在使用的Python版本. 你

  • 分享8点超级有用的Python编程建议(推荐)

    我们在用Python进行机器学习建模项目的时候,每个人都会有自己的一套项目文件管理的习惯,我自己也有一套方法,是自己曾经踩过的坑总结出来的,现在在这里分享一下给大家,希望多少有些地方可以给大家借鉴.

  • 分享50个超级有用的JavaScript单行代码(推荐!)

    目录 前言 日期 字符串 工具 总结 前言 在这篇文章中,我列出了一个系列的50个 JavaScript 单行代码,它们在使用 vanilla js(≥ ES6)进行开发时非常有用.它们也是使用该语言在最新版本中为我们提供的所有功能来解决问题的优雅方式. 我将它们分为以下5大类: 日期 字符串 数字 数组 工具 事不宜迟,我马上开始的,我希望你发现他们对你有帮助! 日期 1. 日期是否正确(有效) 此方法用于检查给定日期是否有效 const isDateValid = (...val) => !

  • 3 个超有用的 Python 编程小技巧

    目录 1.如何按照字典的值的大小进行排序 2.优雅的一次性判断多个条件 3.如何优雅的合并两个字典 1.如何按照字典的值的大小进行排序 我们知道,字典的本质是哈希表,本身是无法排序的,但 Python 3.6 之后,字典是可以按照插入的顺序进行遍历的,这就是有序字典,其中的原理,可以阅读 Python3.6 之后字典是有序的? . 知道了这一点,就好办了,先把字典的键值对列表排序,然后重新插入新的字典,这样新字典就可以按照值的大小进行遍历输出. 代码如下: >>> xs = {'a':

  • Python 编程速成(推荐)

    Python是一种非常流行的脚本语言,而且功能非常强大,几乎可以做任何事情,比如爬虫.网络工具.科学计算.树莓派.Web开发.游戏等各方面都可以派上用场.同时无论在哪种平台上,都可以用 Python 进行系统编程. 机器学习可以用一些 Python 库来实现,比如人工智能常用的TensorFlow.也可以用像 NLTK 这样的 Python 库进行自然语言处理(NLP). 本文讨论基本的 Python 编程,后续会写一些 Python 编程的实际案例. 操作字符串 Python 中的字符串是不可

  • 分享13个非常有用的Python代码片段

    目录 1.将两个列表合并成一个字典 2.将两个或多个列表合并为一个包含列表的列表 3.对字典列表进行排序 4.对字符串列表进行排序 5.根据另一个列表对列表进行排序 6.将列表映射到字典 7.合并两个或多个字典 8.反转字典 9.使用 f 字符串 10.检查子串 11.以字节为单位获取字符串的大小 12.检查文件是否存在 13.解析电子表格 Lists Snippets 我们先从最常用的数据结构列表开始 1.将两个列表合并成一个字典 假设我们在 Python 中有两个列表,我们希望将它们合并为字

  • Python编程产生非均匀随机数的几种方法代码分享

    1.反变换法 设需产生分布函数为F(x)的连续随机数X.若已有[0,1]区间均匀分布随机数R,则产生X的反变换公式为: F(x)=r, 即x=F-1(r) 反函数存在条件:如果函数y=f(x)是定义域D上的单调函数,那么f(x)一定有反函数存在,且反函数一定是单调的.分布函数F(x)为是一个单调递增函数,所以其反函数存在.从直观意义上理解,因为r一一对应着x,而在[0,1]均匀分布随机数R≤r的概率P(R≤r)=r. 因此,连续随机数X≤x的概率P(X≤x)=P(R≤r)=r=F(x) 即X的分

  • 3个 Python 编程技巧

    目录 1.如何按照字典的值的大小进行排序 2.优雅的一次性判断多个条件 3.如何优雅的合并两个字典 今天分享 3 个 Python 编程小技巧,来看看你是否用过? 1.如何按照字典的值的大小进行排序 我们知道,字典的本质是哈希表,本身是无法排序的,但 Python 3.6 之后,字典是可以按照插入的顺序进行遍历的,这就是有序字典,其中的原理,可以阅读为什么 Python3.6 之后字典是有序的. 知道了这一点,就好办了,先把字典的键值对列表排序,然后重新插入新的字典,这样新字典就可以按照值的大小

  • Python编程实现的简单Web服务器示例

    本文实例讲述了Python编程实现的简单Web服务器.分享给大家供大家参考,具体如下: 最近有个需求,就是要创建一个简到要多简单就有多简单的web服务器,目的就是需要一个后台进程用来接收请求然后处理并返回结果,因此就想到了使用Python来实现. 首先创建一个myapp.py文件,其中定义了一个方法,所有的请求都会经过此方法,可以在此方法里处理传递的url和参数,并返回结果. def myapp(environ, start_response): status = '200 OK' header

  • Python编程实现输入某年某月某日计算出这一天是该年第几天的方法

    本文实例讲述了Python编程实现输入某年某月某日计算出这一天是该年第几天的方法.分享给大家供大家参考,具体如下: #基于 Python3 一种做法: def is_leap_year(year): # 判断闰年,是则返回True,否则返回False if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: return True else: return False def function1(year, month, day): #

  • Python编程实现的图片识别功能示例

    本文实例讲述了Python编程实现的图片识别功能.分享给大家供大家参考,具体如下: 1. 安装PIL,官方没有WIN64位,Pillow替代 pip install Pillow-2.7.0-cp27-none-win_amd64.whl 2. 安装Pytesser 下载pytesser_v0.0.1.zip,解压后复制进Python27\Lib\site-packges\pytesser路径下,无pytesser则新建 在Python27\Lib\site-packges\pytesser中新

随机推荐