1. Python日志模块的核心价值在开发Python脚本时很多开发者习惯使用print()函数来输出调试信息。这种方式在小型脚本中或许可行但随着项目复杂度提升print()的局限性就会暴露无遗。想象一下当你需要区分不同模块的日志输出动态调整日志详细程度将日志持久化到文件在生产环境中关闭调试日志但保留错误日志这时候Python内置的logging模块就显示出它的强大之处。我在多个机器学习项目中深刻体会到良好的日志系统不仅能提升调试效率更是项目可维护性的重要保障。2. 基础日志配置实战2.1 日志等级详解Python的logging模块定义了5个标准日志级别按严重程度递增DEBUG最详细的日志信息通常用于调试INFO确认程序按预期运行WARNING表明有意外情况发生如磁盘空间不足ERROR由于更严重的问题某些功能无法正常执行CRITICAL严重的错误程序本身可能无法继续运行一个常见的误区是直接使用root logger。观察以下代码import logging logging.debug(调试信息) # 不会输出 logging.info(普通信息) # 不会输出 logging.warning(警告信息) # 默认输出 logging.error(错误信息) # 输出 logging.critical(严重错误) # 输出你会发现只有WARNING及以上级别的日志会被输出。这是因为root logger的默认级别是WARNING。2.2 基础配置方法通过basicConfig()可以快速配置root loggerimport logging logging.basicConfig( filenameapp.log, # 输出到文件 levellogging.DEBUG, # 设置记录级别 format%(asctime)s - %(name)s - %(levelname)s - %(message)s, datefmt%Y-%m-%d %H:%M:%S ) logging.debug(这条日志会被记录到文件)关键配置参数说明filename日志文件路径level记录的最低日志级别format日志格式字符串datefmt日期时间格式注意basicConfig()只能在第一次调用logging时生效后续调用不会改变配置。3. 高级日志系统设计3.1 日志器(Logger)的组织结构实际项目中我们通常会创建多个logger实例它们以父子关系组织成层次结构parent_logger logging.getLogger(parent) child_logger logging.getLogger(parent.child)这种设计带来两个重要特性子logger默认继承父logger的配置可以通过父logger统一管理一组子logger3.2 处理器(Handler)详解Handler决定日志的输出目的地。常用的有StreamHandler输出到控制台FileHandler输出到文件RotatingFileHandler按大小轮转的日志文件TimedRotatingFileHandler按时间轮转的日志文件配置示例logger logging.getLogger(my_app) # 控制台处理器 console_handler logging.StreamHandler() console_handler.setLevel(logging.INFO) # 文件处理器 file_handler logging.FileHandler(debug.log) file_handler.setLevel(logging.DEBUG) # 格式化器 formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) console_handler.setFormatter(formatter) file_handler.setFormatter(formatter) # 添加处理器 logger.addHandler(console_handler) logger.addHandler(file_handler)3.3 过滤器(Filter)的应用过滤器可以更精细地控制日志记录class InfoFilter(logging.Filter): def filter(self, record): return record.levelno logging.INFO # 只允许INFO级别的日志通过 handler.addFilter(InfoFilter())4. 机器学习项目中的日志实践4.1 训练过程监控在机器学习项目中良好的日志系统对监控训练过程至关重要def train_model(model, train_loader, epochs10): logger logging.getLogger(model.training) logger.info(开始模型训练共%d个epoch, epochs) for epoch in range(epochs): epoch_logger logging.getLogger(fmodel.training.epoch_{epoch}) total_loss 0 for batch_idx, (data, target) in enumerate(train_loader): # 训练代码... batch_loss model.train_step(data, target) total_loss batch_loss if batch_idx % 100 0: epoch_logger.debug( Epoch[%d] Batch[%d] Loss%.4f, epoch, batch_idx, batch_loss ) epoch_logger.info( Epoch[%d] 平均损失%.4f, epoch, total_loss/len(train_loader) )4.2 超参数记录记录超参数有助于实验复现def log_hyperparams(params): logger logging.getLogger(experiment.config) logger.info(实验配置参数:) for key, value in params.items(): logger.info(%s %s, key, str(value))5. 性能优化与最佳实践5.1 避免日志性能问题使用isEnabledFor检查日志级别if logger.isEnabledFor(logging.DEBUG): logger.debug(耗时数据: %s, expensive_computation())避免在热路径中进行字符串格式化# 不推荐 logger.debug(Value: %s % value) # 推荐 logger.debug(Value: %s, value)5.2 结构化日志记录对于复杂系统考虑使用结构化日志import json def log_structured(event_type, **kwargs): logger logging.getLogger(structured) log_entry { timestamp: datetime.now().isoformat(), event: event_type, **kwargs } logger.info(json.dumps(log_entry))6. 常见问题排查指南6.1 日志不输出问题检查logger的有效级别print(logger.getEffectiveLevel()) # 返回实际生效的级别确认处理器是否正确添加print(logger.handlers) # 查看已添加的处理器6.2 日志重复输出问题通常是因为多次添加了相同的处理器。解决方案if not logger.handlers: logger.addHandler(handler)或者使用propagate属性控制传播logger.propagate False # 阻止向父logger传播7. 实际项目集成示例7.1 配置文件方式管理日志推荐使用字典配置或文件配置import logging.config config { version: 1, formatters: { detailed: { format: %(asctime)s %(name)-15s %(levelname)-8s %(process)d %(message)s } }, handlers: { console: { class: logging.StreamHandler, level: INFO, }, file: { class: logging.FileHandler, filename: mplog.log, mode: w, formatter: detailed, }, }, root: { level: DEBUG, handlers: [console, file] }, } logging.config.dictConfig(config)7.2 与流行框架集成在Django中的配置# settings.py LOGGING { version: 1, disable_existing_loggers: False, handlers: { file: { level: DEBUG, class: logging.FileHandler, filename: django.log, }, }, loggers: { django: { handlers: [file], level: DEBUG, propagate: True, }, }, }在Flask中的使用from flask import Flask import logging app Flask(__name__) handler logging.FileHandler(flask.log) handler.setLevel(logging.INFO) app.logger.addHandler(handler) app.logger.info(Flask应用启动)8. 日志分析进阶技巧8.1 日志轮转策略对于长期运行的服务使用RotatingFileHandlerfrom logging.handlers import RotatingFileHandler handler RotatingFileHandler( app.log, maxBytes1024*1024, backupCount5 )8.2 日志集中管理在多服务器环境中考虑使用SysLogHandlerSocketHandlerHTTPHandler或专业的日志收集系统如ELKfrom logging.handlers import SysLogHandler handler SysLogHandler(address(logs.example.com, 514))9. 性能关键场景的日志优化对于高频日志场景使用QueueHandler和QueueListener实现异步日志import logging import logging.handlers import queue log_queue queue.Queue(-1) queue_handler logging.handlers.QueueHandler(log_queue) listener logging.handlers.QueueListener( log_queue, logging.StreamHandler() ) listener.start() logger logging.getLogger() logger.addHandler(queue_handler)编译正则表达式过滤器import re class RegexFilter(logging.Filter): def __init__(self, pattern): self.regex re.compile(pattern) def filter(self, record): return bool(self.regex.search(record.msg))10. 日志模块的扩展与定制10.1 自定义日志级别TRACE logging.DEBUG - 5 logging.addLevelName(TRACE, TRACE) def trace(self, message, *args, **kwargs): if self.isEnabledFor(TRACE): self._log(TRACE, message, args, **kwargs) logging.Logger.trace trace10.2 上下文信息记录通过过滤器添加上下文信息class ContextFilter(logging.Filter): def filter(self, record): record.user get_current_user() # 获取上下文信息 return True logger.addFilter(ContextFilter()) formatter logging.Formatter(%(user)s - %(message)s)在机器学习项目中我通常会创建一个项目专用的日志模块封装这些最佳实践确保所有子模块都能获得一致的日志体验。记住好的日志系统不是事后添加的而应该从项目设计之初就纳入考虑。