diff --git a/.github/copilot-instructions.md b/.github/copilot-instructions.md deleted file mode 100644 index f1426ed..0000000 --- a/.github/copilot-instructions.md +++ /dev/null @@ -1,44 +0,0 @@ -# Copilot / AI agent instructions for this repo - -目标:帮助 AI 编码代理快速上手此环视(surround-view)项目,聚焦可验证的代码模式、运行流程和常见修改点。 - -- **大体架构**:数据流为 Capture -> Undistort -> Project -> Flip -> Stitch -> WhiteBalance -> Display。主要线程/模块: - - `surround_view.capture_thread.CaptureThread`:采集摄像头帧(USB/CSI,可传 `api_preference`)。 - - `surround_view.fisheye_camera.FisheyeCameraModel`:负责 `undistort()`, `project()`, `flip()` 和相机参数读写(yaml 文件)。 - - `surround_view.process_thread.CameraProcessingThread`:每个摄像头的处理线程,调用相机模型并写入 `ProjectedImageBuffer`。 - - `surround_view.birdview.BirdView`:融合/拼接、亮度匹配与白平衡,输出最终鸟瞰图。 - - 同步/缓冲:`surround_view.imagebuffer.Buffer`、`MultiBufferManager` 与 `ProjectedImageBuffer`,通过 `sync()`/信号等待实现多流同步。 - -- **关键运行脚本(推荐顺序)**: - 1. `python run_calibrate_camera.py`(标定/生成 camera yaml) - 2. `python run_get_projection_maps.py -camera -scale ... -shift ...`(选择投影点) - 3. `python run_get_weight_matrices.py`(生成拼接权重/掩码) - 4. `python run_live_demo.py`(车载/实时 demo) - - 调试摄像头采集:`python test_cameras.py` - -- **项目约定 / 易错点(请严格遵循)**: - - 摄像头名称固定为 `front, back, left, right`,对应 yaml/param 中的配置;device id 需在本机环境中确认(参见 `test_cameras.py`)。 - - yaml 文件(`yaml/*.yaml`)里保存的字段:`camera_matrix`, `dist_coeffs`, `resolution`, `project_matrix`, `scale_xy`, `shift_xy`。修改后用 `FisheyeCameraModel.save_data()` 写回。 - - `param_settings.py` 用 cm 为单位构造 birdview 参数(`total_w/total_h`、`xl/xr/yt/yb` 等),birdview 的切片函数(`FI, FM, ...`)依赖这些常量。 - - 镜头“翻转”策略在 `FisheyeCameraModel.flip()` 明确:`front` 不变,`back` 180°, `left/right` 用转置+翻转处理。 - - 缓冲区 `Buffer.add(..., drop_if_full=True)` 会丢帧;修 bug 时注意是否因为丢帧导致状态不一致。 - -- **拼接与亮度调整实现要点**(参见 `surround_view/birdview.py` 与 `surround_view/utils.py`): - - 权重计算:`get_weight_mask_matrix()` 提取重叠区域并基于点到多边形距离计算平滑权重 G。 - - 亮度匹配通过 `mean_luminance_ratio()` 聚合重叠区域平均亮度并以几何/经验方式融合(见 `make_luminance_balance()`)。 - - 白平衡用 `make_white_balance()` 简单按通道均值缩放。 - -- **如何修改/扩展(示例)**: - - 若加入新相机或改变布局:更新 `param_settings.py` 的 `camera_names`、`project_shapes` 与 `xl/xr/yt/yb`;更新 yaml 参数并通过 `FisheyeCameraModel` 测试 `undistort()`/`project()` 输出。 - - 若替换采集后端(gstreamer / v4l2),优先修改 `surround_view.utils.gstreamer_pipeline()` 与 `CaptureThread.connect_camera()` 的 `api_preference` 分支,确保 `cap.isOpened()` 行为一致。 - -- **测试 / 调试建议**: - - 使用 `test_cameras.py` 确认设备索引与支持分辨率。 - - 单线程走查:直接在 REPL 导入 `FisheyeCameraModel`,用已存在的 yaml 文件运行 `undistort()`、`project()` 并保存图片来验证投影矩阵。 - - 帧同步问题优先检查 `MultiBufferManager.sync()` 与 `ProjectedImageBuffer.sync()` 的 `do_sync` 与 `sync_devices` 配置。 - -- **风格/约定**: - - 代码使用 Python 3、OpenCV、PyQt5,多线程依赖 `QThread` + Qt 同步原语;避免用 `time.sleep()` 作为同步手段。 - - 尽量在修改后用现有脚本跑完整流程(calibrate -> get_projection -> get_weight -> live_demo)以捕获参数联动问题。 - -如果需要,我可以把这些点合并成更短或更详尽的版本,或者加入常见问题/故障排查列表;或者你希望我直接提交此文件为 PR?请告诉我想要的调整或遗漏的内容。 diff --git a/.vscode/tasks.json b/.vscode/tasks.json deleted file mode 100644 index 66b0075..0000000 --- a/.vscode/tasks.json +++ /dev/null @@ -1,12 +0,0 @@ -{ - // See https://go.microsoft.com/fwlink/?LinkId=733558 - // for the documentation about the tasks.json format - "version": "2.0.0", - "tasks": [ - { - "label": "kill python", - "type": "shell", - "command": "pkill -f python3" - } - ] -} \ No newline at end of file diff --git a/README.md b/README.md index e9571e7..5f2be0d 100644 --- a/README.md +++ b/README.md @@ -1,9 +1,206 @@ -一份简单的环视系统制作实现,包含完整的标定、投影、拼接和实时运行流程,详细文档见 `doc` 目录。环视系统的开源代码很少见,希望大家积极提 issue 和 pull request,让这个项目能更好地有益于入门者学习。 +# LJ360 - 360全景人员接近预警系统 + +LJ360是一个基于OpenCV开发的360度全景人员接近预警系统,支持多摄像头拼接、雷达距离检测和人体检测、web配置等功能。 + +## 更新 +- 2025-12-25: CPP版本360环视成功运行 +- 2025-12-23: 增加Flask框架,支持WEB预览 +- 2025-12-20: 增加YOLOv5模型,支持人员检测 +- 2025-12-19: Python版本360环视成功运行 +- 2025-12-16: 单路摄像头投影生成 +- 2025-12-15: 加载V4L2后端 移除gstreamer +- 2025-12-12:模拟摄像头内参矩阵和畸变系数计算 +--- +- 2025-12-02: 本地视频360合成 +- 2025-11-03:YOLO融合 雷达预警 +- 2025-11-01:网络摄像头四分屏 +- 2025-10-30:初始版本发布 -This is a simple implementation of a surround view system, including calibration, projection, stitching, and real-time running processes. The [English documentation](https://github.com/hynpu/surround-view-system-introduction/blob/master/doc/en.md) can be found in the `doc` folder. +## 功能 + +- **多摄像头拼接**:支持4个鱼眼摄像头实时拼接成360度全景视图 +- **图像校正**:自动对鱼眼镜头的畸变进行校正 +- **雷达检测**:支持串口雷达距离检测,实时显示障碍物距离 +- **人体检测**:集成YOLO目标检测算法,实时检测行人 +- **Web界面**:提供Web界面查看全景视频流 +- **硬件加速**:支持RKNN神经网络加速和OpenCL GPU加速 + +## 系统要求 + +- Python 3.8 +- OpenCV 4.0+ +- NumPy +- RKNN Toolkit Lite (用于神经网络加速) +- Serial (用于雷达通信) +- Flask (用于Web界面) + +## 硬件要求 + +- 4个鱼眼摄像头 (1920*1080@25fps) +- 4路AHD转MIPI TP2815接口板 +- 摄像头映射关系:video0(前)、video1(左)、video2(后)、video3(右) +- 雷达模块 (支持串口通信) +- RK3588平台 (用于RKNN加速和系统主控) + +## 安装步骤 + +1. 克隆项目代码: +```bash +git clone +cd LJ360 +``` + +2. 安装依赖: +```bash +NULL +``` + +3. 配置摄像头参数: + - 在`yaml/`目录下为每个摄像头创建配置文件 + - 配置文件包含摄像头的内参、外参和畸变参数 + +4. 配置雷达参数: + - 在`web.py`中修改雷达串口配置 + - 调整距离阈值参数 + +## 使用方法 + +### 1. 主要运行文件 (推荐) + +```bash +python3 web.py +``` + +该脚本是系统的主要运行文件,同时实现: +- 4个摄像头的实时图像捕获 +- 鱼眼图像校正和拼接 +- 360度全景视图生成 +- Web服务器启动,提供全景视频流访问 + +启动后,在浏览器中访问`http://localhost:5000`查看全景视频流。 +显示器同步显示360度全景视图和YOLO检测结果。 -# Use cases +### 2. 运行摄像头校准 -![1142119521](https://github.com/user-attachments/assets/97f1cebc-da38-46b6-9eb1-62af4168c79f) +```bash +python run_calibrate_camera.py +``` + +用于校准摄像头参数,生成yaml配置文件。 + +### 3. 生成投影映射 + +```bash +python run_get_projection_maps.py +``` + +生成图像投影映射,用于提高拼接效率。 + +### 4. 生成权重矩阵 + +```bash +python run_get_weight_matrices.py +``` + +生成图像拼接的权重矩阵,用于平滑过渡。 + +## 项目结构 + +``` +LJ360/ +├── cpp/ # C++实现的相关功能 开发中 +│ └── AdasSourrondView/ # 360度全景视图C++实现 +├── py_utils/ # Python工具模块 +│ ├── rknn_executor.py # RKNN模型执行器 +│ └── coco_utils.py # COCO数据集工具 +├── surround_view/ # 全景视图核心模块 +│ ├── birdview.py # 鸟瞰图生成 +│ ├── fisheye_camera.py # 鱼眼相机模型 +│ ├── capture_thread.py # 图像捕获线程 +│ └── process_thread.py # 图像处理线程 +├── yaml/ # 摄像头配置文件 +├── model/ # 深度学习模型 +├── images/ # 静态图像资源 +├── web.py # 主程序 +├── run_live_demo.py # 实时演示脚本 +├── run_calibrate_camera.py # 摄像头校准脚本 +├── run_get_projection_maps.py # 生成投影映射脚本 +├── run_get_weight_matrices.py # 生成权重矩阵脚本 +└── README.md # 项目说明文档 +``` + +## 配置文件说明 + +### 摄像头配置文件 (yaml/*.yaml) + +每个摄像头需要一个yaml配置文件,包含以下参数: + +- `camera_matrix`: 相机内参矩阵 +- `dist_coeffs`: 畸变系数 +- `rotation_vector`: 旋转向量 +- `translation_vector`: 平移向量 +- `projection_matrix`: 投影矩阵 + +### 雷达配置 + +在`web.py`中配置雷达参数: + +- `RADAR_SERIAL_PORT`: 雷达串口 +- `RADAR_BAUDRATE`: 波特率 +- `DISTANCE_THRESHOLD`: 距离阈值 + +### YOLO配置 + +在`web.py`中配置YOLO目标检测参数: + +- `YOLO_MODEL_PATH`: YOLO模型路径 +- `OBJ_THRESH`: 目标检测阈值 +- `NMS_THRESH`: 非极大值抑制阈值 +- `IMG_SIZE`: 输入图像大小 + +## 注意事项 + +1. 确保所有摄像头的分辨率设置一致 +2. 摄像头校准需要使用棋盘格进行 +3. 雷达模块需要正确连接到串口 +4. RKNN模型需要使用RKNN Toolkit转换生成 +5. 运行前请确保所有依赖已正确安装 + +## 故障排除 + +### 摄像头无法连接 + +- 检查摄像头ID是否正确 +- 确保摄驱动框架V4L2已安装 +- 检查MIPI接口连接 + +### 图像拼接异常 + +- 检查摄像头校准参数 +- 确保所有摄像头的视角重叠区域足够 +- 调整权重矩阵参数 + +### 雷达无数据 + +- 检查串口连接 +- 检查雷达波特率设置 +- 确保雷达模块正常工作 + +## 更新日志 + +### v1.0.0 +- 初始版本发布 +- 支持4摄像头拼接 +- 集成雷达距离检测 +- 支持人体检测 +- 提供Web界面 + +## 许可证 + +本项目采用MIT许可证,详见LICENSE文件。 + +## 联系方式 + +如有问题或建议,请联系项目维护者。