4.8 KiB
4.8 KiB
UDP大数据包接收端 (Python实现)
功能特性
- 多发送方支持: 可以同时处理多个发送方的并发传输
- 超时机制: 1秒超时,超时的包自动丢弃
- 包重组: 自动将分散的小包重组成完整数据
- 线程安全: 使用锁机制确保多线程环境下的数据安全
- 实时日志: 详细的日志输出,便于调试和监控
安装和运行
基本运行
# 启动接收端(默认监听8080端口)
python udp_receiver.py
# 指定端口
python udp_receiver.py --port 9000
# 指定监听地址
python udp_receiver.py --host 192.168.1.100 --port 8080
# 启用调试日志
python udp_receiver.py --debug
参数说明
--host: 监听地址 (默认: 0.0.0.0)--port: 监听端口 (默认: 8080)--timeout: 包超时时间,秒 (默认: 1.0)--debug: 启用调试日志
测试
使用测试发送端
# 测试单个发送端
python test_sender.py --test single
# 测试多个发送端同时发送
python test_sender.py --test multiple
# 测试超时场景
python test_sender.py --test timeout
手动测试
# 终端1: 启动接收端
python udp_receiver.py --debug
# 终端2: 启动发送端
python test_sender.py --test single
核心类说明
UDPPacketHeader
包头解析类,与C端保持一致的包头结构:
class UDPPacketHeader:
MAGIC = 0xAA55
HEADER_SIZE = 16
# 字段: magic, total_size, big_packet_id, packet_id, total_packets, payload_len
PacketReassembler
包重组器,负责单个大包的重组:
- 管理包的重组状态
- 检查超时
- 按序号重组数据
UDPReceiver
主接收端类:
- 监听UDP端口
- 管理多个重组器
- 处理并发传输
- 自动清理超时包
工作流程
- 接收包: 监听UDP端口,接收数据包
- 解析包头: 验证魔数,解析包头信息
- 创建/获取重组器: 根据发送方地址和大包ID创建或获取重组器
- 添加包: 将包添加到对应的重组器
- 检查完成: 检查是否所有包都已接收
- 重组数据: 按序号重组完整数据
- 处理数据: 保存或处理重组后的数据
- 清理: 自动清理超时的包
超时机制
- 超时时间: 1秒(可配置)
- 检查频率: 每0.5秒检查一次
- 清理策略: 超时的包自动丢弃,释放内存
- 日志记录: 超时事件会记录到日志
并发处理
- 多发送方: 支持多个发送方同时发送
- 大包ID: 使用32位随机ID区分不同的大包
- 线程安全: 使用锁机制保护共享数据
- 独立重组: 每个大包有独立的重组器
日志输出
信息级别
INFO: 重要事件(启动、完成、创建重组器)WARNING: 警告事件(超时、错误)ERROR: 错误事件(解析失败、网络错误)DEBUG: 调试信息(包接收详情)
日志示例
2024-01-01 12:00:00,000 - INFO - UDP接收端启动,监听 0.0.0.0:8080
2024-01-01 12:00:01,123 - INFO - 创建新的大包重组器: ID=12345, 大小=5000, 包数=5, 来源=('192.168.1.100', 12345)
2024-01-01 12:00:01,234 - DEBUG - 接收包 1/5 来自 ('192.168.1.100', 12345), 大包ID: 12345
2024-01-01 12:00:01,345 - INFO - 大包 12345 重组完成,大小: 5000 字节
2024-01-01 12:00:01,456 - INFO - 收到完整数据包: 大小=5000 字节, 来源=('192.168.1.100', 12345), ID=12345
2024-01-01 12:00:02,000 - WARNING - 清理超时的大包: ID=67890, 来源=('192.168.1.101', 54321), 已接收=2/5
数据保存
默认情况下,接收到的完整数据会保存为二进制文件:
- 文件名格式:
received_data_{big_packet_id}_{timestamp}.bin - 可以修改
_handle_completed_packet方法来自定义数据处理逻辑
性能考虑
- 内存使用: 每个重组器占用少量内存,超时后自动释放
- CPU使用: 轻量级处理,适合高并发场景
- 网络效率: 支持大包传输,减少网络开销
- 扩展性: 模块化设计,易于扩展功能
错误处理
- 网络错误: 自动重试,记录错误日志
- 数据错误: 验证包头,丢弃无效数据
- 超时处理: 自动清理,防止内存泄漏
- 异常恢复: 优雅处理异常,保持服务稳定
与C端兼容性
Python接收端完全兼容C端发送的包格式:
- 相同的包头结构
- 相同的魔数 (0xAA55)
- 相同的字节序 (小端序)
- 相同的字段定义
扩展建议
- 数据验证: 添加CRC校验
- 压缩支持: 支持数据压缩
- 加密传输: 添加数据加密
- 统计监控: 添加传输统计
- 配置管理: 支持配置文件
- API接口: 提供REST API接口