初始提交
This commit is contained in:
@@ -0,0 +1,164 @@
|
||||
# UDP大数据包接收端 (Python实现)
|
||||
|
||||
## 功能特性
|
||||
|
||||
- **多发送方支持**: 可以同时处理多个发送方的并发传输
|
||||
- **超时机制**: 1秒超时,超时的包自动丢弃
|
||||
- **包重组**: 自动将分散的小包重组成完整数据
|
||||
- **线程安全**: 使用锁机制确保多线程环境下的数据安全
|
||||
- **实时日志**: 详细的日志输出,便于调试和监控
|
||||
|
||||
## 安装和运行
|
||||
|
||||
### 基本运行
|
||||
|
||||
```bash
|
||||
# 启动接收端(默认监听8080端口)
|
||||
python udp_receiver.py
|
||||
|
||||
# 指定端口
|
||||
python udp_receiver.py --port 9000
|
||||
|
||||
# 指定监听地址
|
||||
python udp_receiver.py --host 192.168.1.100 --port 8080
|
||||
|
||||
# 启用调试日志
|
||||
python udp_receiver.py --debug
|
||||
```
|
||||
|
||||
### 参数说明
|
||||
|
||||
- `--host`: 监听地址 (默认: 0.0.0.0)
|
||||
- `--port`: 监听端口 (默认: 8080)
|
||||
- `--timeout`: 包超时时间,秒 (默认: 1.0)
|
||||
- `--debug`: 启用调试日志
|
||||
|
||||
## 测试
|
||||
|
||||
### 使用测试发送端
|
||||
|
||||
```bash
|
||||
# 测试单个发送端
|
||||
python test_sender.py --test single
|
||||
|
||||
# 测试多个发送端同时发送
|
||||
python test_sender.py --test multiple
|
||||
|
||||
# 测试超时场景
|
||||
python test_sender.py --test timeout
|
||||
```
|
||||
|
||||
### 手动测试
|
||||
|
||||
```bash
|
||||
# 终端1: 启动接收端
|
||||
python udp_receiver.py --debug
|
||||
|
||||
# 终端2: 启动发送端
|
||||
python test_sender.py --test single
|
||||
```
|
||||
|
||||
## 核心类说明
|
||||
|
||||
### UDPPacketHeader
|
||||
包头解析类,与C端保持一致的包头结构:
|
||||
```python
|
||||
class UDPPacketHeader:
|
||||
MAGIC = 0xAA55
|
||||
HEADER_SIZE = 16
|
||||
|
||||
# 字段: magic, total_size, big_packet_id, packet_id, total_packets, payload_len
|
||||
```
|
||||
|
||||
### PacketReassembler
|
||||
包重组器,负责单个大包的重组:
|
||||
- 管理包的重组状态
|
||||
- 检查超时
|
||||
- 按序号重组数据
|
||||
|
||||
### UDPReceiver
|
||||
主接收端类:
|
||||
- 监听UDP端口
|
||||
- 管理多个重组器
|
||||
- 处理并发传输
|
||||
- 自动清理超时包
|
||||
|
||||
## 工作流程
|
||||
|
||||
1. **接收包**: 监听UDP端口,接收数据包
|
||||
2. **解析包头**: 验证魔数,解析包头信息
|
||||
3. **创建/获取重组器**: 根据发送方地址和大包ID创建或获取重组器
|
||||
4. **添加包**: 将包添加到对应的重组器
|
||||
5. **检查完成**: 检查是否所有包都已接收
|
||||
6. **重组数据**: 按序号重组完整数据
|
||||
7. **处理数据**: 保存或处理重组后的数据
|
||||
8. **清理**: 自动清理超时的包
|
||||
|
||||
## 超时机制
|
||||
|
||||
- **超时时间**: 1秒(可配置)
|
||||
- **检查频率**: 每0.5秒检查一次
|
||||
- **清理策略**: 超时的包自动丢弃,释放内存
|
||||
- **日志记录**: 超时事件会记录到日志
|
||||
|
||||
## 并发处理
|
||||
|
||||
- **多发送方**: 支持多个发送方同时发送
|
||||
- **大包ID**: 使用32位随机ID区分不同的大包
|
||||
- **线程安全**: 使用锁机制保护共享数据
|
||||
- **独立重组**: 每个大包有独立的重组器
|
||||
|
||||
## 日志输出
|
||||
|
||||
### 信息级别
|
||||
- `INFO`: 重要事件(启动、完成、创建重组器)
|
||||
- `WARNING`: 警告事件(超时、错误)
|
||||
- `ERROR`: 错误事件(解析失败、网络错误)
|
||||
- `DEBUG`: 调试信息(包接收详情)
|
||||
|
||||
### 日志示例
|
||||
```
|
||||
2024-01-01 12:00:00,000 - INFO - UDP接收端启动,监听 0.0.0.0:8080
|
||||
2024-01-01 12:00:01,123 - INFO - 创建新的大包重组器: ID=12345, 大小=5000, 包数=5, 来源=('192.168.1.100', 12345)
|
||||
2024-01-01 12:00:01,234 - DEBUG - 接收包 1/5 来自 ('192.168.1.100', 12345), 大包ID: 12345
|
||||
2024-01-01 12:00:01,345 - INFO - 大包 12345 重组完成,大小: 5000 字节
|
||||
2024-01-01 12:00:01,456 - INFO - 收到完整数据包: 大小=5000 字节, 来源=('192.168.1.100', 12345), ID=12345
|
||||
2024-01-01 12:00:02,000 - WARNING - 清理超时的大包: ID=67890, 来源=('192.168.1.101', 54321), 已接收=2/5
|
||||
```
|
||||
|
||||
## 数据保存
|
||||
|
||||
默认情况下,接收到的完整数据会保存为二进制文件:
|
||||
- 文件名格式: `received_data_{big_packet_id}_{timestamp}.bin`
|
||||
- 可以修改 `_handle_completed_packet` 方法来自定义数据处理逻辑
|
||||
|
||||
## 性能考虑
|
||||
|
||||
- **内存使用**: 每个重组器占用少量内存,超时后自动释放
|
||||
- **CPU使用**: 轻量级处理,适合高并发场景
|
||||
- **网络效率**: 支持大包传输,减少网络开销
|
||||
- **扩展性**: 模块化设计,易于扩展功能
|
||||
|
||||
## 错误处理
|
||||
|
||||
- **网络错误**: 自动重试,记录错误日志
|
||||
- **数据错误**: 验证包头,丢弃无效数据
|
||||
- **超时处理**: 自动清理,防止内存泄漏
|
||||
- **异常恢复**: 优雅处理异常,保持服务稳定
|
||||
|
||||
## 与C端兼容性
|
||||
|
||||
Python接收端完全兼容C端发送的包格式:
|
||||
- 相同的包头结构
|
||||
- 相同的魔数 (0xAA55)
|
||||
- 相同的字节序 (小端序)
|
||||
- 相同的字段定义
|
||||
|
||||
## 扩展建议
|
||||
|
||||
1. **数据验证**: 添加CRC校验
|
||||
2. **压缩支持**: 支持数据压缩
|
||||
3. **加密传输**: 添加数据加密
|
||||
4. **统计监控**: 添加传输统计
|
||||
5. **配置管理**: 支持配置文件
|
||||
6. **API接口**: 提供REST API接口
|
||||
Reference in New Issue
Block a user