Báo Cáo Bài Tập Lớn Đề Tài Nhận Diện Khuôn Mặt Mở Khóa Cửa.pdf

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (11.43 MB, 26 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘIVIỆN CƠ KHÍ</b>

<b>BÁO CÁO BÀI TẬP LỚNMƠN HỌC: XỬ LÍ ẢNH</b>

<b>ĐỀ TÀI: NHẬN DIỆN KHN MẶT MỞ KHĨA CỬA</b>

Giảng viên hướngdẫn:

<b>TS. Mạc Thị ThoaTS. Phạm Đức AnNhóm sinh viên thực hiện: Nhóm 3</b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<b>BẢN NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN</b>

Giáo viên hướng dẫn: Sinh viên thực hiện: Nhóm 3Lớp: 129476

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

2.3. Ưu điểm và nhược điểm...7

<b>CHƯƠNG 3: QUY TRÌNH THỰC HIỆN...8</b>

3.1. Các phần mềm sử dụng...8

3.1.1. OpenCV...8

3.1.2. DB Browser (SQLite)...11

3.2. Quy trình thực hiện...13

3.2.1. Tìm đối tượng, ghi hình...13

3.2.2. Tạo DataBase, Chuyển sang màu gray và lưu vào database...15

3.2.3. Tạo lớp training dữ liệu => Chuyển tập ảnh gray thành tập dữ liệu dạng ma trận 173.2.4. Nhận diện...17

3.2.5. Mở cửa...20

Xây dựng mơ hình cánh cửa:...20

<b>CHƯƠNG 4: KẾT LUẬN...24</b>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<b>MỞ ĐẦU</b>

Nhận dạng mặt người (Face recognition) là một lĩnh vực nghiên cứu của ngànhComputer Vision, và cũng được xem là một lĩnh vực nghiên cứu của ngànhBiometrics (tương tự như nhận dạng vân tay – Fingerprint recognition, hay nhậndạng mống mắt – Iris recognition). Xét về nguyên tắc chung, nhận dạng mặt có sựtương đồng rất lớn với nhận dạng vân tay và nhận dạng mống mắt, tuy nhiên sựkhác biệt nằm ở bước trích chọn đặt trưng (feature extraction) của mỗi lĩnh vực.

Trong khi nhận dạng vân tay và mống mắt đã đạt tới độ chín, tức là có thể áp dụng trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức và vẫn là một lĩnh vực nghiên cứu thú vị với nhiều người. So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn (bạn có thể nhìn thấy mặt người ở bất cứ tấm ảnh, video clip nào liên quan tới con người trên mạng) và ít địi hỏi sự tương tác có kiểm sốt hơn (để thực hiện nhận dạng vân tay hay mống mắt, dữ liệu input lấy từ con người địi hỏi có sự hợp tác trong mơi trường có kiểm sốt).

Hiện nay các phương pháp nhận dạng mặt được chia thành nhiều hướng theo các tiêu chí khác nhau: nhận dạng với dữ liệu đầu vào là ảnh tĩnh 2D (still image based FR) là phổ biến nhất, tuy nhiên tương lai có lẽ sẽ là 3D FR (vì việc bố trí nhiều camera 2D sẽ cho dữ liệu 3D và đem lại kết quả tốt hơn, đáng tin cậy hơn), cũng có thể chia thành 2 hướng là: làm với dữ liệu ảnh và làm với dữ liệu video.

Hiểu rõ tầm quan trọng của Xử lí ảnh nhận diện khuôn mặt, với kiến thức học được và sự giúp đỡ của các thầy cô hướng dẫn trong học phần Xử Lí Ảnh, nhóm 3 chúng em xin được phép trình bày đề tài của mình trong bài tập lớn mơn học

<b>B. Mục đích nghiên cứu</b>

Mục đích của đề tài là tìm hiểu về phương thức và cách mã hóa một khuôn mặt,tiến hành mô phỏng và thực nghiệm hoạt động của chúng. Từ nghiên cứu thực tế giúp em nâng cao kiến thức, tiếp cận những vấn đề mới của thực tế cũng như làm nền tảng vững chắc cho sau này.

<b>C. Phạm vi nghiên cứu</b>

Nội dung của nghiên cứu gồm các phần sau:Tìm hiểu về cách tạo dữ liệu và mã hóa 1 khn mặt

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

Tìm hiểu về cách kết nối dữ liệu để mở cửa

Báo cáo bài tập được trình bày thành 3 chương với nội dung cơ bản của từngchương được tóm tắt như sau:

<b>Chương 1 – Tổng quan về đề tài: Giới thệu chung về xử lí ảnh nhận diện </b>

khuôn mặt, nêu lên tầm quan trọng và các ứng dụng của xử lí ảnh nhận diện khn mặt.

<b>Chương 2 – Quy trình thực hiện: Nêu các bước thực hiện và các phần mềm </b>

cần dùng

<b>Chương 3 – Kết luận: Tổng kết những kết quả đạt được.</b>

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

<b>CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DIỆN KHUÔN MẶT</b>

<b>Hệ thống nhận dạng khuôn mặt là một </b>ứng dụng máy tính tự động xác địnhhoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khunghình video từ một nguồn video. Một trong những cách để thực hiện điều này là sosánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu vềkhuôn mặt.

Hệ thống này thường được sử dụng trong các hệ thống an ninh và có thể đượcso sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vântay hay trịng mắt.

Lịch sử phát triển “Nhận dạng khn mặt” có thể tóm tắt ngắn gọn với những dấu mốc quan trọng như sau:

<b>“Bình minh” của cơng nghệ Nhận diện khn mặt – những năm 1960</b>

Những người tiên phong đầu tiên về công nghệ nhận diện khuôn mặt là Woody Bledsoe, Helen Chan Wolf và Charles Bisson. Năm 1964 và 1965, Bledsoe cùng với Wolf và Bisson bắt đầu sử dụng máy tính để nhận diện khn mặt con người. Do kinh phí của dự án được bắt nguồn từ một cơ quan tình báo giấu tên, phần lớn cơng việc đều không được công bố. Tuy nhiên, sau này người ta tiết lộrằng hầu hết các công việc đều liên quan đến việc đánh dấu bằng tay các điểm khác nhau trên khuôn mặt như tâm mắt, miệng, v.v. Khoảng cách giữa các điểmmốc cũng được tự động tính tốn và so sánh giữa các hình ảnh khác nhau để xác định danh tính.

<b>Bắt đầu q trình nâng cao độ chính xác của cơng nghệ – những năm 1970</b>

Tiếp tục từ công việc ban đầu của Bledsoe, vào năm 1970, Goldstein, Harmon và Lesk đã mở rộng phạm vi của cơng việc bằng cách phân tích những đặc điểmcụ thể như màu tóc, độ dày của mơi để phục vụ cho cơng việc nhận diện khn mặt.

<b>Chương trình FERET – những năm 1990/2000</b>

Cơ quan Dự án Nghiên cứu Tiên tiến Quốc phịng (DAPRA) và Viện Tiêu chuẩn và Cơng nghệ Quốc gia (NIST) đã triển khai chương trình Cơng nghệ Nhận diện Khuôn mặt (FERET) vào đầu những năm 1990 để khuyến khích thị trường của cơng nghệ này. Dự án liên quan đến việc tạo ra một cơ sở dữ liệu về hình ảnh khn mặt. Trong bộ thử nghiệm, có tới 2.413 ảnh tĩnh đại diện cho 856 người. Chương trình này là bước ngoặt lớn cho cơng nghệ nhận diện khuônmặt và những ngành nghề liên quan tới nó.

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

<b>Truyền thơng xã hội – 2010 – Hiện tại</b>

Trở lại những năm 2010, Facebook đã bắt đầu triển khai chức năng nhận diện khuôn mặt giúp xác định những người xuất hiện trong ảnh đăng Facebook. Tínhnăng này lập tức gây tranh cãi với các phương tiện truyền thông tin tức, làm dấylên một loại các bài viết liên quan đến quyền riêng tư cá nhân. Tuy nhiên, ngườidùng Facebook nói chung dường như khơng bận tâm tới điều này và mỗi ngày, hơn 350 triệu ảnh được đăng tải và gắn thẻ mỗi ngày.

<b>Iphone X – 2017</b>

Công nghệ nhận diện khuôn mặt ngay sau đó đã được ứng dụng nhiều hơn vào các thiết bị thông minh trong cuộc sống. Cụ thể, công nghệ này đã được sử dụng thay cho khóa mở điện thoại. FaceID ngay lập tức trở thành từ khóa hot nhất, và là chìa khóa khiến Iphone X bán chạy hơn bao giờ hết.

<b>Tương lai của công nghệ nhận diện khuôn mặt </b>

Bước vào năm 2021, công nghệ nhận diện khuôn mặt đang phát triển ở tốc độ chóng mặt và việc sử dụng công nghệ này ngày càng trở nên phổ biến hơn. Một số ngành nghề sử dụng công nghệ này bao gồm:

Bán lẻ

Khách sạn và Khu nghỉ dưỡngMáy ATM

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

Quảng cáo kỹ thuật sốAn toàn xe buýtCác hãng hàng khơng

Trải nghiệm khách hàng được cá nhân hóaCửa hàng không cần nhân viên

Sử dụng công nghệ này một cách chính xác có thể tạo ra những khác biệt to lớn cho cuộc sống của chúng ta.

Trong suốt quá trình phát triển, có rất nhiều Humanoid Robot được phát triển khác nhau. Ngày nay, Robot hình người vẫn được nghiên cứu, phát triển không ngừng để phục vụ nhu cầu của con người.

Khi sử dụng để đếm người trong bán lẻ, công nghệ nhận diện khn mặt cịncó thể cung cấp thơng tin cá nhân của từng khách hàng cho doanh nghiệp giúpdoanh nghiệp có dữ liệu đưa ra các chiến lược tiếp thị cá nhân hóa đến khách hàng. Cụ thể hiện nay, công nghệ nhận diện khuôn mặt đã được ứng dụng trong bánlẻ thông qua các giải pháp sau:

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Nhận diện khách hàng Vip/Loyalty

Xác định giới tính & độ tuổi khách hàngPhát hiện đối tượng khả nghi, đảm bảo an ninhLoại bỏ nhân viên khỏi lưu lượng người ra vào cửa hàngCá nhân hóa màn hình quảng cáo

Chính vì vậy, rất khó để cam kết độ chính xác về thơng tin khi sử dụng camerađếm người.

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

<b>CHƯƠNG 3: QUY TRÌNH THỰC HIỆN</b>

<b>3.1.1. OpenCVa. Khái niệm</b>

OpenCV là tên viết tắt của open source computer vision library – có thể đượchiểu là một thư viện nguồn mở cho máy tính. Cụ thể hơn OpenCV là kho lưu trữcác mã nguồn mở được dùng để xử lý hình ảnh, phát triển các ứng dụng đồ họatrong thời gian thực.

OpenCV cho phép cải thiện tốc độ của CPU khi thực hiện các hoạt động real time. Nó cịn cung cấp một số lượng lớn các mã xử lý phục vụ cho quy trình của thị giác máy tính hay các learning machine khác<small>.</small>

<b>Hình 2.1- Xử lí ảnh bằng OpenCV</b>

Thư viện OpenCV được phát hành với giấy phép BDS. Do đó các dịch vụ nó cung cấp là hồn tồn miễn phí và được hạn chế tối đa các rào cản thông thường. Cụ thể, bạn được phép sử dụng phần mềm này cho cả hoạt động thương mại lẫn phi thương mại. OpenCV sở hữu giao diện thiên thiện với mọi loại ngơn ngữ lập trình, ví dụ như C++, C, Python hay Java… Ngồi ra, nó cũng dễ dàng tương thích với các hệ điều hành khác nhau, bao gồm từ Windows, Linux, Mac OS, iOS cho đến cả Android.

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

Kể từ lần đầu xuất hiện từ năm 1999, giờ đây OpenCV đã sở hữu đội ngũ ngườidùng hùng hậu, con số ước tính có thể lên tới 47.000 người. Tất cả là nhờ những ưu điểm vượt trội của OpenCV.

<b>b. Ứng dụng của OpenCV</b>

OpenCV được cho là một phần mềm đa nhiệm. Nó được ứng dụng trong rấtnhiều trường hợp khác nhau. Ví dụ, ta sẽ nói về các phần mềm định vị, bản đồ nóichung. Hẳn rằng trong chúng ta ai cũng đã có ít nhất một lần cần sử dụng đến cácmap online đúng không. Bạn sử dụng các map để tìm đường, tra cứu tình hình giaothơng hoặc đơn giản là xem xét các hình ảnh thực tế của địa điểm cần đến. Nhữnglúc như vậy, OpenCV đóng vai trị là nhà cung cấp dữ liệu hình ảnh cho các app vềMap này. OpenCV sẽ đem đến cho người dùng hình ảnh về đường phố hay các cănnhà, con người xung quanh địa điểm được chỉ định.

OpenCV còn được dùng để khởi tạo ra những hình ảnh 3 chiều phức tạp. Hoạt động này rất được yêu thích, nhất là trong thời đại trí tuệ nhân tạo AI phát triển như thế này.

Thậm chí OpenCV xuất hiện cả trong lĩnh vực y tế, nghiên cứu khoa học. Nó cho phép phân tích các hình ảnh ở mức độ rất tinh vi. Điều này giúp ích rất nhiều cho sự phát triển của các ngành nghề cao cấp.

Đối với các công nghệ hiện đại, OpenCV cũng là một yếu tố không thể thiếu. Tất cả những ứng dụng công nghệ như robot, xe tự lái, bảng cảm ứng thông minh… đều có sự góp mặt của OpenCV trong khâu xử lý hình ảnh. Ví dụ gần gũi nhất trong cuộc sống có thể kể đến hệ thống mở khóa điện thoại bằng cách nhận diện khuôn mặt người dùng.

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

<b>Hình 2.2- Ứng dụng giúp định vị hình ảnhC. Ngơn ngữ để lập trình OpenCV</b>

C++PythonJava C#

Ngơn ngữ Android

Trong bài tập lớn này, chúng em sử dụng Python để lập trình. Nhờ các câu lệnh ngắn gọn cùng thuộc tính đơn giản, Python giúp cho q trình phát triển phần mềmOpenCV diễn ra dễ dàng hơn. Sử dụng ngơn ngữ Python sẽ là biện pháp tốt nhất vìchúng em là những người khơng mạnh mảng lập trình. Điểm trừ của Python là vì có cấu tạo q đơn giản nên một số tính năng cần sự phức tạp sẽ bị hạn chế.

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

Hình 2.3- Phần mềm OpenCV

<b>3.1.2. DB Browser (SQLite)a. Khái niệm</b>

SQLite là một hệ quản trị cơ sở dữ liệu hay còn gọi là hệ thống cơ sở dữ liệu quan hệ nhỏ gọn, khác với các hệ quản trị khác như MySQL, SQL Server, Ocracle,PostgreSQL… SQLite là một thư viện phần mềm mà triển khai một SQL Database Engine truyền thống, không cần mơ hình client-server nên rất nhỏ gọn. SQLite được sử dụng vào rất nhiều chương trình từ desktop đến mobile hay là website.

<i><b>Hình 2.4- Hình ảnh SQLite</b></i>

<b>b.Ưu nhược điểm </b>

* Ưu điểm

SQLite khơng cần mơ hình client – server để hoạt động.

SQLite khơng cần phải cấu hình tức là bạn không cần phải cài đặt.

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

Với SQLite database được lưu trữ trên một tập tin duy nhất.SQLite hỗ trợ hầu hết các tính năng của ngôn ngữ truy vấn SQL theo chuẩn SQL92.

SQLite rất nhỏ gọn bản đầy đủ các tính năng nhỏ hơn 500kb, và có thể nhỏ hơn nếu lược bớt một số tính năng.

Các thao tác dữ liệu trên SQLite chạy nhanh hơn so với các hệ quản trị cơ sởdữ liệu theo mơ hình client – server.

SQLite rất đơn giản và dễ dàng sử dụng.

SQLite tuân thủ 4 tính chất ACID (là tính nguyên tổ (Atomic), tính nhất quán (Consistent), tính cơ lập (Isolated), và tính bền vững (Durable) ).

Với đặc tính nhỏ gọn, truy xuất dữ liệu nhanh SQLite thường được sử dụng để nhúng vào các dự án.

SQLite khơng phải là lựa chọn hồn hảo để đáp ứng các nhu cầu xử lý trên một khối lượng dữ liệu lớn, phát sinh liên tục.

<b>3.2. Quy trình thực hiện</b>

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

<b>Hình 2.5- Sơ đồ khối quy trình thực hiện3.2.1. Tìm đối tượng, ghi hình</b>

Trong quy trình này, từ camera máy tính nhóm sẽ thu thập được video dữ liệu của người dùng, khi đó ảnh khn mặt được trích xuất ra và giới hạn bằng ơ vngmàu xanh.

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

Có thể lựa chọn số lượng ảnh trong kho dữ liệu. Ở đây nhóm sẽ đặt số ảnh nhận diện là 500 ảnh.

<b>3.2.2. Tạo DataBase, Chuyển sang màu gray và lưu vào databaseTạo DataBase:</b>

- Khởi động DB Brower for SQLite- Tạo bảng bao gồm 2 trường ID và Name.

- Cài đặt đặc điểm của 2 trường lần lượt là Interger và Text.

<b>Chuyển ảnh Gray và lưu vào file DataSet1:</b>

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

Sau khi thu được 500 ảnh từ camera máy tính, các ảnh sẽ được chuyển sang màu Gray và lưu vào file thư mục có tên là DataSet1.

<b>3.2.3. Tạo lớp training dữ liệu => Chuyển tập ảnh gray thành tập dữ liệu dạng ma trận</b>

Lấy 500 ảnh trong thư mục DataSet1 vừa lưu và chuyển chúng sang dưới dạng ma trận.

</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">

</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">

Dựa trên những giới thiệu về tổng quan và cấu tạo của các hệ thống cửa tự độnghiện nay, nhóm đề xuất một ý tưởng xây dựng mơ hình cửa tự động (H2.6) với sơ đồ nguyên lí các chi tiết, bộ phận cơ khí như sau:

Trên H2.6 đã mơ tả các chi tiết cơ khí của hệ thống cửa tự động. Tấm hiên trước được mô tả như bức tưởng của hệ thống cửa ngăn cách hai phía trong và ngồi. Khi động cơ 2 quay, thông qua 2 pully (1 cái được gắn trên trục động cơ

</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">

chính, 1 cái được gắn ở cuối hành trình) chuyển động quay của động cơ được truyền lên dây đai. Dây đai có 2 nửa, nửa trên và nửa dưới. Chiều chuyển động của2 nửa này luôn ngược nhau và phụ thuộc vào chiều quay của động cơ chủ động. Khi động cơ quay theo chiều kim đồng hồ, nửa trên chuyển động sang phải, nửa dưới chuyển động sang trái, khi đó cánh cửa A và B được gắn với mỗi nửa dây đai sẽ chuyển động ngược chiều nhau và khi đó cửa mở. Cịn khi động cơ quay ngược lại thì đó chính là lúc cửa đóng.

Ngồi ra, trên hệ thống cịn được gắn thêm cơng tắc hành trình, cơng tắc hành trình có tác dụng cảnh báo cánh cửa A hoặc B đã đi đến điểm giới hạn.

Cảm biến chuyển động sẽ nhận biết lúc có người đi qua. Cánh cửa sẽ tự động đóng lại sau 5s nhận biết được chuyển động.

Code thiết lập hàm Opendoor:

Code kiểm tra tính đúng sai của người được nhận diện đang đi vào

</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">

Code gọi hàm mở cửa khi cảm biến chuyển động bắt được hoạt động của người đi ra.

</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">

<b>CHƯƠNG 4: KẾT LUẬN</b>

Trên đây là bản báo cáo mơn học <b>Xử lí ảnh</b> của nhóm 3 chúng em. Đây là một đề tài có tính thực tế cao, trong thời đại cơng nghiệp hóa hiện đại hóa đất nước, ngày càng phát triển với sự cạnh tranh không ngừng từ các nước trên thế giới. Đòi hỏi năng suất và chất lượng phải được cải thiện nhờ dây chuyền máy móc hiện đại thay thế lao động thủ công của con người.

Như vậy trong báo cáo chúng em đã được tìm hiểu được cách xây dựng một mơhình hệ thống cửa tự động xử lí ảnh, từ thiết kế hệ thống cơ khí đến lập trình điều khiển hoạt động. Cơng việc hồn thành bao gồm:

- Tổng quan về xử lí ảnh;

- Dựng mơ hình 3D bằng Solidworks;- Tạo được kho dữ liệu của nhóm;

- Trích xuất, nhận diện được khn mặt các thành viên trong nhóm;- Lập trình điều khiển cửa hoạt động như mong muốn.

Qua đề tài trên em đã biết cách vận dụng những kiến thức chuyên môn được đào tạo ở trường Đại học Bách Khoa Hà Nội trong thời gian qua vào với thực tế cuộc sống nhất là với công nghiệp. Không chỉ vậy qua bài tập lớn này chúng em cũng học được rất nhiều như kĩ năng làm việc nhóm, giải quyết vấn đề, tìm tài liệu,viết báo cáo… rất có ích cho sau này. Một lần nữa chúng em xin chân thành cảm ơn sự hướng dẫn tận tình của thầy Phạm Đức An và cô Mạc Thị Thoa trong bộ môn Cơ Điện Tử đã giúp chúng em hoàn thành báo cáo này.

Do giới hạn về thời gian cũng như kiến thức trong báo cáo, chúng em mới đã giải quyết một số vấn đề cơ bản trong việc thiết kế hệ thống cửa tự động sử dụng xử lí ảnh. Tuy nhiên, ngồi ra cịn rất nhiều vấn đề cần phải giải quyết và khắc phục để có thể trở thành một sản phẩm hoàn thiện và áp dụng tốt, phục vụ tốt trongcuộc sống nói chung và ngành cơng nghiệp nước nhà nói riêng. Vì vậy chúng em mong muốn q thầy cơ và các bạn đóng góp ý kiến để đề tài này hoàn thiện hơn nữa.

Chúng em xin chân thành cảm ơn!

</div>