Files
2026-08-24 15:49:57 +08:00

4.8 KiB

UDP大数据包接收端 (Python实现)

功能特性

  • 多发送方支持: 可以同时处理多个发送方的并发传输
  • 超时机制: 1秒超时,超时的包自动丢弃
  • 包重组: 自动将分散的小包重组成完整数据
  • 线程安全: 使用锁机制确保多线程环境下的数据安全
  • 实时日志: 详细的日志输出,便于调试和监控

安装和运行

基本运行

# 启动接收端(默认监听8080端口)
python udp_receiver.py

# 指定端口
python udp_receiver.py --port 9000

# 指定监听地址
python udp_receiver.py --host 192.168.1.100 --port 8080

# 启用调试日志
python udp_receiver.py --debug

参数说明

  • --host: 监听地址 (默认: 0.0.0.0)
  • --port: 监听端口 (默认: 8080)
  • --timeout: 包超时时间,秒 (默认: 1.0)
  • --debug: 启用调试日志

测试

使用测试发送端

# 测试单个发送端
python test_sender.py --test single

# 测试多个发送端同时发送
python test_sender.py --test multiple

# 测试超时场景
python test_sender.py --test timeout

手动测试

# 终端1: 启动接收端
python udp_receiver.py --debug

# 终端2: 启动发送端
python test_sender.py --test single

核心类说明

UDPPacketHeader

包头解析类,与C端保持一致的包头结构:

class UDPPacketHeader:
    MAGIC = 0xAA55
    HEADER_SIZE = 16
    
    # 字段: magic, total_size, big_packet_id, packet_id, total_packets, payload_len

PacketReassembler

包重组器,负责单个大包的重组:

  • 管理包的重组状态
  • 检查超时
  • 按序号重组数据

UDPReceiver

主接收端类:

  • 监听UDP端口
  • 管理多个重组器
  • 处理并发传输
  • 自动清理超时包

工作流程

  1. 接收包: 监听UDP端口,接收数据包
  2. 解析包头: 验证魔数,解析包头信息
  3. 创建/获取重组器: 根据发送方地址和大包ID创建或获取重组器
  4. 添加包: 将包添加到对应的重组器
  5. 检查完成: 检查是否所有包都已接收
  6. 重组数据: 按序号重组完整数据
  7. 处理数据: 保存或处理重组后的数据
  8. 清理: 自动清理超时的包

超时机制

  • 超时时间: 1秒(可配置)
  • 检查频率: 每0.5秒检查一次
  • 清理策略: 超时的包自动丢弃,释放内存
  • 日志记录: 超时事件会记录到日志

并发处理

  • 多发送方: 支持多个发送方同时发送
  • 大包ID: 使用32位随机ID区分不同的大包
  • 线程安全: 使用锁机制保护共享数据
  • 独立重组: 每个大包有独立的重组器

日志输出

信息级别

  • INFO: 重要事件(启动、完成、创建重组器)
  • WARNING: 警告事件(超时、错误)
  • ERROR: 错误事件(解析失败、网络错误)
  • DEBUG: 调试信息(包接收详情)

日志示例

2024-01-01 12:00:00,000 - INFO - UDP接收端启动,监听 0.0.0.0:8080
2024-01-01 12:00:01,123 - INFO - 创建新的大包重组器: ID=12345, 大小=5000, 包数=5, 来源=('192.168.1.100', 12345)
2024-01-01 12:00:01,234 - DEBUG - 接收包 1/5 来自 ('192.168.1.100', 12345), 大包ID: 12345
2024-01-01 12:00:01,345 - INFO - 大包 12345 重组完成,大小: 5000 字节
2024-01-01 12:00:01,456 - INFO - 收到完整数据包: 大小=5000 字节, 来源=('192.168.1.100', 12345), ID=12345
2024-01-01 12:00:02,000 - WARNING - 清理超时的大包: ID=67890, 来源=('192.168.1.101', 54321), 已接收=2/5

数据保存

默认情况下,接收到的完整数据会保存为二进制文件:

  • 文件名格式: received_data_{big_packet_id}_{timestamp}.bin
  • 可以修改 _handle_completed_packet 方法来自定义数据处理逻辑

性能考虑

  • 内存使用: 每个重组器占用少量内存,超时后自动释放
  • CPU使用: 轻量级处理,适合高并发场景
  • 网络效率: 支持大包传输,减少网络开销
  • 扩展性: 模块化设计,易于扩展功能

错误处理

  • 网络错误: 自动重试,记录错误日志
  • 数据错误: 验证包头,丢弃无效数据
  • 超时处理: 自动清理,防止内存泄漏
  • 异常恢复: 优雅处理异常,保持服务稳定

与C端兼容性

Python接收端完全兼容C端发送的包格式:

  • 相同的包头结构
  • 相同的魔数 (0xAA55)
  • 相同的字节序 (小端序)
  • 相同的字段定义

扩展建议

  1. 数据验证: 添加CRC校验
  2. 压缩支持: 支持数据压缩
  3. 加密传输: 添加数据加密
  4. 统计监控: 添加传输统计
  5. 配置管理: 支持配置文件
  6. API接口: 提供REST API接口