DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>Nghiên cứu khoa học</b>

<b><small>TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG</small></b>

<b><small>KHOA CÔNG NGHỆ THÔNG TIN</small></b>

<b><small>Đàm Quang TiếnTS. Ninh Khánh Duy</small></b>

<small>Giảng viên hướng dẫn</small>

<small>Sinh viên thực hiệnHọc kì I2022 - 2023</small>

<b>DANAFLOOD: CẢNH BÁO NGẬP LỤT </b>

<b>ĐÔ THỊ SỬ DỤNG CAMERA GIÁM SÁT VÀ MÔ HÌNH HỌC SÂU</b>

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Nghiên cứu khoa học</b>

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Nghiên cứu khoa học</b>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<small>Ảnh: Facebook Page của “BCH Phòng chớng Lụt Bão và Tìmkiếm cứu nạn Đà Nẵng” kêu gọi người dân đánh dấu mốcngập lụt sau đợt mưa ngập lụt lịch sử ngày 14/10/2022. (Link bài viết, truy cập 05/12/2022)</small>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

Dữ liệu ngập lụt thông thường có thể thu được từ hệ thống cảm biến, hoặc thu thập từ khảo sát thực địa. Tuy vậy

<b>đối với đường phố ngập lụt thì </b>

thường khơng có sẵn hệ thống cảm biến hay các dấu hiệu thực địa để khảo sát.

<b>Nghiên cứu khoa học</b>

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

Thành phố Đà Nẵng có đủ thông tin điều hành để đưa ra cảnh báo sớm và đúng mức độ.

Có một hệ thống phát hiện ngập lụt đường phố và gửi cảnh báo ngập lụt trên từng tuyến đường cho người dân.

<b>Nếu vào đợt lũ ngày 24/10,</b>

<b>Nghiên cứu khoa học</b>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

(1) Cho phép cư dân thành phố xác định tuyến đường có thể di chuyển an toàn và đưa ra quyết định (đã qua thông tin chính xác) tránh việc phơi nhiễm chất thải trong nước ngập;

(2) Cung cấp thông tin cho cơ quan công quyền thành phố trong nỗ lực cải thiện việc kiểm soát ngập lụt có mục tiêu thông qua việc ra quyết định dựa trên dữ liệu (data-driven decision making).

<b><small>Chống chịu bền vững với thiên tai và biến đổi khí hậu</small></b>

<small>FloodNet - Computer Vision for Urban Street Flood Detection NYU CUSP. (2022). 2022 Capstone Projects | NYU CUSP. [online] </small>

<small>Available at: [Accessed 8 Sep. 2022].</small>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

<i><small>1. Q. Zhang et al. “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian </small></i>

<small>Journal of Electrical Engineering and Computer Science, vol. 17, no. 2, pp. 793–803, 2019, doi: </small>

<i><small>2. Barz, B. et al. (2019). Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images. arXiv.org. </small></i>

<small>[online] doi:10.5445/KSP/1000087327/06.-> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả</small>

<small>3. H. N. Do, M. T. Vo, V. S. Tran, P. V. Tan, and C. V. Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol. 2016-January, pp. 599–603, Jan. 2016, doi: 10.1109/ATC.2015.7388400.-> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng</small>

<small>4. Moy de Vitry et al. (2019). Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network. Hydrology and Earth System Sciences, [online] 23(11), pp.4621–4634. doi:10.5194/hess-23-4621-2019. </small>

<small>-> sử dụng lại chỉ sớ ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai</small>

<i><small>5. S.-W. Lo et al, “Deep Sensing of Urban Waterlogging,” Mar. 2021, doi: 10.48550/arxiv.2103.05927. </small></i>

<small>-> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng</small>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Đồ án tốt nghiệp</b>

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

(1) Xây dựng một mơ hình đa nhiệm vụ (multi-task model) có thể nhân rộng (scalable) mới để đồng thời phân đoạn vùng bị ngập và đánh giá mức độ ngập.

(2) Tạo nên một nguồn tin giúp người dân có kế hoạch di chuyển phù hợp, tránh chịu các thiệt hại liên quan đến việc đường phố ngập lụt. Đồng thời thu thập dữ liệu độ phân giải cao để phục vụ cho những phân tích khác.

<b>Our contribution</b>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Đồ án tốt nghiệp</b>

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Flood level: 3Flood level: 2Flood level: 1Flood level: 0

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Dữ liệu huấn luyện</b>

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

Water Segmentation Dataset

<small>Mirko Zaffaroni, & Claudio Rossi. (2019). Water Segmentation Dataset (1.0) [Data set]. Zenodo. Flood 2013 Dataset

<small>Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris Dransch, and Joachim Denzler. "Enhancing Flood Impact Analysis using Interactive Image Retrieval of Social Media Images.“ </small>

<small>Archives of Data Science, Series A, 5.1, 2018.</small>

Image Dataset for Roadway Flooding

<small>Sazara, Cem; Cetin, Mecit; Iftekharuddin, Khan (2019), “Image Dataset for Roadway Flooding”, </small>

<small>Mendeley Data, V1, doi: 10.17632/t395bwcvbw.1</small>

Danang Street Flood Dataset

<small>Collected in SonCa Storm and Historic flood in October 2022</small>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Dữ liệu huấn luyện</b>

<b><small>Tool: Sử dụng công cụ đánh nhãn </small></b>

<small>với kĩ thuật huấn luyện online sẽ gia tăng hiệu suất đánh nhãn rất cao.</small>

<small>Reviving Iterative Training with Mask Guidance for Interactive Segmentation class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Mô hình U-Net</b>

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

Tận dụng được năng lực trích xuất đặc trưng của pretrained backbone. Khai thác được 2 loại dữ liệu có ý nghĩa.

<small>12</small>

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

<b><small>Bảng 1. Kết quả thử nghiệm U-Net gốc và sử dụng các backbone, train sau 20 epochs với cùng một thiết lập. </small></b>

<b><small>Kiểm tra hiệu năng được thực hiện trên thiết bị Nvidia GTX 1050.</small></b>

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

<b>Chỉ số quan sát ngập lụt tĩnh</b>

<small>M. Moy De Vitry, S. Kramer, J. Dirk Wegner, and J. P. Leitao, </small>

<small>“Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network,” </small>

<i><small>Hydrol Earth Syst Sci, vol. 23, no. 11, pp. 4621–4634, Nov. 2019, doi: 10.5194/HESS-23-4621-2019.</small></i>

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small><b>Demo</b>

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

b) Misclassify sidewalk as flood c) Nigh time segmentation error a) Too sensitive with wet road

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Error analysis</b>

Các trường hợp lỗi này thường diễn ra vào các điều kiện ngày mưa và ban đêm nhưng chưa ngập.

Tuy vậy chỉ số SOFI lẫn phân loại vẫn đáng tin cậy trong các trường hợp này.

LEVEL: 0

<small>16</small>

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Error analysis</b>

<small>Ma trận nhầm lẫn đối với tác vụ phân loại</small>

Hầu hết các trường hợp của lớp 0 và 4 được nhận định đúng, lớp 1 và 2 thì dễ nhầm lẫn hơn.

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

<b><small>High resolution logging data</small></b>

<b><small>High abstraction warning signalFlood segmented frame</small></b>

<b><small>Surveillance camera</small>_{Video frames}_{deep convolutional network}^Multi-output</b>

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Kết luận</b>

<b>Bước tiếp theo: </b>

• Cải tiến kiến trúc học máy mới hiệu quả hơn như U<small>2</small>-Net, hoặc U-Net++…

• Tiếp cận với mạng lưới camera thực sự của thành phố để thu thập dữ liệu huấn luyện chuẩn hơn.

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

<small>DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING</small>

<b>Trang web demo dịch vụ</b>

<b>The Real-Time Flood Dashboard</b>

<b><small>Hosted on</small></b>

</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">

<b>CÁM ƠN THẦY VÀ QUÝ VỊ ĐÃ THEO DÕI!</b>

<small>Đàm Quang Tiến</small>

<small>Khoa CNTT, Đại học Đà Nẵng – Trường Đại học Bách Khoa(+84)-967-237-101, </small>

</div>