Tải bản đầy đủ (.pdf) (60 trang)

(Luận Văn Thạc Sĩ Khoa Học Máy Tính) Khôi Phục Depthmap Từ Bản In 2D Mộc Bản

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.25 MB, 60 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<small>Đ¾I HàC QUàC GIA HÀ NàI </small>

<b><small>TR¯äNG Đ¾I HàC CƠNG NGHà</small></b>

<b>TR¯¡NG NGàC KIÊN </b>

<b>LN VN TH¾C S) KHOA HàC MÁY TÍNH </b>

<b><small>Hà Nái - 2022 </small></b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<small>Đ¾I HàC QUàC GIA HÀ NàI </small>

<b>LUÂN VN TH¾C S) KHOA HàC MÁY TÍNH </b>

<b>NG¯äI H¯âNG DÀN KHOA HàC: PGS.TS Lê Thanh Hà </b>

<b><small>Hà Nái - 2022 </small></b>

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

<b>LäI CÀM ¡N </b>

Em xin chân thành cÁm ¢n các thÁy cơ giáo trong tr°áng Đ¿i hác Công nghá - Đ¿i hác Quác gia Hà Nái đã tÁn tình giúp đỡ và truyÃn đ¿t kiÁn thāc cho em trong suát 2 năm hác qua để em có đÿ kiÁn thāc hồn thành khóa ln này.

Đặc biát, em xin gąi lái cÁm ¢n sâu sắc tßi thÁy Lê Thanh Hà – ng°ái đã nhiát tình đáng viên, giúp đỡ em trong q trình đßnh hình, nghiên cāu và hoàn thành luÁn văn này.

Xin gi lỏi cm Ân thit tha nht tòi nhng ngỏi thân trong gia đình đã t¿o điÃu kián và đáng viên cho con/em r¿t nhiÃu trong q trình hồn thành khóa luÁn này.

Mặc dù đã r¿t cá gắng hồn thành ln văn này vßi t¿t cÁ nß lực cÿa bÁn thân, xong ln văn s¿ khó tránh khßi những thiÁu sót, kính mong q thÁy cơ tÁn tình chỉ bÁo cho em những sai lÁm cÁn khắc phāc cÿa mình. Mát lÁn nữa em xin gąi tßi t¿t cÁ mái ng°ái lái cÁm ¢n chân thành nh¿t.

<i>Hà Nội, tháng 06 năm 2022 </i>

<i>Học viên </i>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<b>LäI CAM ĐOAN </b>

<i><b>Tôi xin cam đoan luÁn văn th¿c sĩ khoa hác máy tính: <Khơi phục depthmap từ </b></i>

<i><b>bản in 2D mộc bản= là kÁt quÁ cÿa quá trình hác tÁp, nghiên cāu khoa hác đác </b></i>

lÁp, nghiêm túc.

Các sá liáu trong luÁn văn là trung thực, có nguồn gác rõ ràng, đ°ÿc trích d¿n và có tính kÁ thăa, phát triển tă các sách, tài liáu, t¿p chí, các cơng trình nghiên cāu đã đ°ÿc cơng bá, và các website, &

Các ph°¢ng pháp nêu trong luÁn văn đ°ÿc rút ra tă những c¢ sã lý luÁn và quá trình nghiên cāu tìm hiểu cÿa tác giÁ.

Hà Nái, tháng 06 năm 2022 Hác viên

<b>Tr°¢ng Ngác Kiên </b>

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

1.1 Tổng quan mác bÁn triÃu Nguyßn ... 4

1.1.1 Gißi thiáu mác bÁn triÃu Nguyßn ... 4

1.1.2 Hián tr¿ng cÿa mác bÁn triÃu Ngun ... 4

CH¯¡NG 2. KHƠI PHĀC DEPTHMAP TĂ BÀN IN 2D MàC BÀN .... 28

2.1 Quy trình chuẩn bß tÁp dữ liáu hu¿n lun ... 29

2.1.1 Xą lý dữ liáu thÿ công ... 31

2.1.2 Xą lý dữ liáu bán tự đáng ... 32

2.1.3 Sinh Ánh depthmap tă mơ hình 3D ... 37

2.1.4 Sinh thêm dữ liáu hu¿n luyán ... 38

2.2 Sinh depthmap tă bÁn in 2D mác bÁn... 38

2.3 Tổng kÁt ch°¢ng ... 39

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

CH¯¡NG 3. THĄ NGHIàM VÀ ĐÁNH GIÁ ... 40

3.1 Bá dữ liáu ... 40

3.2 Thą nghiám ... 40

3.2.1 Thą nghiám CUT, Fast-Cut và pix2pix ... 40

3.2.2 Thą nghiám pix2pix cho toàn bá tÁp dữ liáu ... 43

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

<b>Danh māc các ký hiáu và chữ viÁt tắt </b>

1 cGAN <sup>Conditional Generative </sup>versarial Network

Ad-M¿ng đái lÁp t¿o sinh có điÃu kián

2 CLUT

Contrastive Learning for Unpaired Image-to-Image Translation

Hác mâu thu¿n đái vßi cơng viác dßch hình Ánh sang hình Ánh không ghép cặp

3 CNN <sup>Convolutional Neural </sup>

4 FID Fréchet Inception Distance

Đá đo khoÁng cách đá t°¢ng đồng cÿa Ánh vßi Ánh dựa trên mơ hình In-ception V3

5 GAN <sup>Generative Adversarial </sup>

6 LSGAN <sup>Least Squares Generative </sup>Adversarial Networks

Mát lo¿i hàm m¿t mát trong mơ hình GAN

7 MLP Multi-layer perceptron M¿ng n¢-ron truyÃn thẳng nhiÃu lßp

8 MND <sup>Multivariate normal </sup>bution

distri-Phân phái chuẩn nhiÃu chiÃu

9 nrmse <sup>Normalization Root Mean </sup>Square Error

Chuẩn hóa sai sá tồn ph°¢ng trung bình

10 pix2pix

Image-to-Image Translation with Conditional Adversar-ial Networks

Trình dßch tă Ánh sang Ánh vßi m¿ng đái lÁp t¿o sinh có điÃu kián

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<b>STT Tă viÁt tắt TiÁng Anh TiÁng Viát </b>

11 rmse Root Mean Square Error Sai sá tồn ph°¢ng trung bình

12 SimCLR

A Simple Framework for Contrastive Learning of Visual

Mát mơ hình hác mâu thu¿n

13 stl Standard Triangle Language

Lo¿i táp đ°ÿc są dāng để mơ hình sá hóa 3D dữ liáu và mác bÁn

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Hình 1.16 Tổng quan mơ hình CLUT... 22

Hình 1.17 Hàm m¿t mát mâu thu¿n patchwise. ... 23

Hình 1.18 Phân phái chuẩn cho dữ liáu 2-chiÃu. ... 25

Hình 1.19 Phân phái 2-chiÃu cÿa các điểm dữ liáu 3-chiÃu. ... 25

Hình 2.1 Tồn trình khôi phāc Deptmap tă bÁn in 2D mác bÁn. ... 28

Hình 2.2 Quy trình xą lý dữ liáu hu¿n luyán mác bÁn. ... 30

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

Hình 2.9 KÁt q cơng cā trích xu¿t ký tự chữ bÁn in 2D. ... 36 Hình 2.10 Chữ 3D và depthmap. ... 38 Hình 2.11 Quy trình khơi phāc deptmap tă bÁn in. ... 39

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

<b>Danh māc các bÁng </b>

BÁng 1.1 Đặc tr°ng cÿa các kỹ tht sá hóa 3D ... 8

BÁng 1.2 Thơng sá kỹ thuÁt thiÁt bß GOM ATOS III Triple Scan ... 9

BÁng 1.3 Thơng sá kỹ tht thiÁt bß PRINCE335 ... 10

BÁng 1.4 Chi tiÁt kích th°ßc ma trÁn m¿ng Inception-V3... 26

BÁng 3.1 Tham sá ch¿y thą nghiám các mơ hình GAN ... 41

BÁng 3.2 KÁt q thą nghiám giữa các mơ hình GAN ... 42

BÁng 3.3 Bá tham sá mơ hình pix2pix ... 43

BÁng 3.4 KÁt q đÁu ra cÿa mơ hình pix2pix ... 44

BÁng 3.5 Chi tiÁt cÿa các thông sá đánh giá ... 45

BÁng 3.6 Tháng kê kÁt quÁ t¿t cÁ các m¿u kiểm thą ... 45

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

<b>MỞ ĐÀU </b>

Mác bÁn TriÃu Ngun đ°ÿc Unesco cơng nhÁn là di sÁn t° liáu thÁ gißi tă năm 2009. Viác bÁo tồn và phát huy giá trß di sÁn t° liáu đóng vai trị quan tráng để

<b>gìn giữ t° liáu quá khā nhằm kÁt nái tßi hián t¿i và t°¢ng lai. </b>

Ngày nay chúng ta đã thu thÁp, bÁo tồn và l°u trữ đ°ÿc khoÁng gÁn 35.000 t¿m mác bÁn. Tuy nhiên tổng sá l°ÿng thực tÁ các t¿m mác bÁn triÃu Nguyßn theo °ßc l°ÿng vào khoÁng trên 50.000 t¿m. Thêm vào đó, có mát sá l°ÿng lßn những t¿m mác bÁn tuy v¿n đ°ÿc l°u trữ, bÁo tồn nh°ng khơng cịn tồn vẹn, thÁm chí có những t¿m mác bÁn chỉ cịn l¿i mát nąa hoặc mát phÁn ba cÿa nguyên bÁn. Những th° tßch liên quan và những t¿m mác bÁn bß m¿t hoặc khơng tồn vẹn (là bÁn in đ°ÿc in ra tă t¿m mác bÁn) hián v¿n đang đ°ÿc bÁo tồn. Cùng vßi sự phát triển và cơng nghá hiển thß, sá hóa 3D và máy quét phân giÁi cao chúng ta đã thành cơng l°u trữ và hiển thß các t¿m mác bÁn và th° tßch cÿa chúng trong mơi tr°áng máy vi tính. Tă những tiÃn đà trên, nghiên cāu này tÁp trung vào viác khơi phāc l¿i sá hóa cÿa những t¿m mác bÁn bß th¿t l¿c hay khơng toàn vẹn kể trên.

Māc tiêu tổng quan mà nghiên cāu h°ßng tßi là khơi phāc l¿i biểu dißn (mơ hình) 3D cÿa các t¿m mác bÁn bß th¿t l¿c hoặc khơng tồn vẹn dựa trên những th° tßch (bÁn in) đã đ°ÿc sá hóa 2D cịn l°u trữ l¿i cÿa các t¿m mác bÁn trên.

Có hai h°ßng tiÁp cÁn cho bài tốn khơi phāc biểu dißn 3D cÿa mát đái t°ÿng nói chung và cÿa t¿m mác bÁn nói riêng là cách trực tiÁp hoặc cách gián tiÁp. Cách trực tiÁp chúng ta s¿ khôi phāc l¿i mơ hình 3D tă các điểm trong khơng gian dữ liáu 3D (point clouds); và cách gián tiÁp là khôi phāc l¿i đái t°ÿng trung gian mà có thể phāc dựng l¿i biểu dißn 3D tă chúng. Cách trực tiÁp khơi phāc mát biểu dißn 3D tă mát góc nhìn (single view) 2D là khó và các nghiên cāu hián nay cũng cho th¿y sự h¿n chÁ cÿa ph°¢ng pháp này. Do vÁy, nghiên cāu này lựa chán cách tiÁp cÁn gián tiÁp và gißi h¿n l¿i ph¿m vi cÿa bài tốn tă viác khơi phāc l¿i bÁn 3D cÿa t¿m mác bÁn sang <b>khôi phāc l¿i Ánh đá sâu (depthmap) cÿa t¿m mác bÁn. </b>

<b>Māc đích nghiên cāu </b>

Nghiên cāu này xây dựng ph°¢ng pháp xą lý dữ liáu, đà xu¿t mơ hình, quy trình thực hián khơi phāc l¿i mơ hình depthmap tă bÁn in 2D mác bÁn. Sau khi khôi

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

phāc l¿i depthmap tă bÁn in 2D, tiÁp tāc nghiên cāu cách đánh giá kÁt q cÿa mơ hình đào t¿o và kÁt luÁn kÁt quÁ cÿa nghiên cāu.

<b>Ph°¢ng pháp nghiên cāu </b>

Ph°¢ng pháp nghiên cāu khi thực hián luÁn văn là quan sát t¿m mác bÁn, bÁn sá hóa 3D và bÁn in 2D cÿa chúng để hình dung ra các đái t°ÿng, đÁu vào đÁu ra cÿa bài toán. KÁ tiÁp, tác giÁ phân tích các đái t°ÿng kể trên tă nhiÃu m¿u đúc rút ra các đặc điểm, đặc tính và phân bá cÿa vÁt thể mà tă đó thu đ°ÿc các thơng tin để khÁo sát và tham khÁo các lý thuyÁt liên quan, cùng vßi các cơng cā hián có trong lĩnh vực để có thể ánh x¿ vào bài toán cÿa luÁn văn. Sau khi khÁo sát, tham khÁo tác giÁ tổng hÿp l¿i kiÁn thāc và đà xu¿t các quy trình trong xą lý dữ liáu và quy trình khơi phāc l¿i depthmap cho mác bÁn và thą nghiám chúng. Cuái cùng, luÁn văn thực hián đánh giá và đ°a ra nhÁn xét cho kÁt q cÿa bài tốn.

<b>Đóng góp mãi cÿa luÃn vn </b>

LuÁn văn này đã thiÁt lÁp đ°ÿc quy trình xây dựng tÁp dữ liáu hu¿n luyán là tÁp các ký tự đ°ÿc trích xu¿t tă t¿m mác bÁn 3D và bÁn in t°¢ng āng cÿa chúng. Thą nghiám các mơ hình hác máy khác nhau và đà xu¿t mơ hình hác máy tát nh¿t áp dāng trong bài tốn khơi phāc depthmap tă bÁn in 2D mác bÁn. Đánh giá đ°ÿc kÁt quÁ cÿa sau khi thực hián khôi phāc depthmap tă bÁn in 2D mác bÁn.

<b>KÁt quÁ đ¿t đ°ÿc </b>

Sau khi tÁp trung nghiên cāu đà tài, tôi đã giÁi quyÁt đ°ÿc các v¿n đà mà trong phÁn māc tiêu đã đà ra. LuÁn văn đã trình bày mát cách rõ ràng, chi tiÁt tă b°ßc chuẩn bß dữ liáu cho đÁn các mơ hình hác máy và khơi phāc l¿i mơ hình depthmap tă bÁn in 2D mác bÁn.

o Mơ hình sinh depthmap tă Ánh 2D

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

o Đá đo Fréchet Inception Distance dùng để đánh giá mơ hình sinh depthmap tă Ánh 2D

- Ch°¢ng 2 Khơi phāc depthmap tă bÁn in 2d mác bÁn o Quy trình chuẩn bß tÁp dữ liáu hu¿n lun o Sinh depthmap tă bÁn in 2D mác bÁn - Ch°¢ng 3 Thą nghiám và đánh giá

o Bá dữ liáu hu¿n luyán dùng đà khơi phāc depthmap

o Thą nghiám các mơ hình khác nhau trên tÁp dữ liáu con và đà xu¿t áp dāng mơ hình tát nh¿t trong tồn bá tÁp dữ liáu

o Đánh giá kÁt quÁ

- PhÁn kÁt luÁn, tác giÁ tổng kÁt l¿i những công viác đã hồn thành, những v¿n đà cịn tồn t¿i v ònh hòng tÂng lai ca bi toỏn khụi phc depthmap tă bÁn in 2D mác bÁn

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

<b>CH¯¡NG 1. KIÀN THĀC NÂN TÀNG</b>

Ch°¢ng 1 trình bày các kiÁn thāc nÃn tÁng và mác bÁn, công nghá sá hóa 3D mác bÁn, tổng quan và depthmap và và các mơ hình hác máy, đá đo Fréchet Inception Distance là những kiÁn thāc đ°ÿc tác giÁ są dāng để giÁi qut bài tốn khơi phāc depthmap tă bÁn in 2D mác bÁn.

<b>1.1 Tổng quan mác bÁn triÃu Nguyßn 1.1.1 Giãi thiáu mác bÁn triÃu Nguyßn </b>

Mác bÁn triÃu Nguyßn là những t¿m gß khắc chữ Hán hoặc chữ Nôm ng°ÿc dùng để in ra các sách, są dāng phổ biÁn ã Viát Nam trong thái kỳ phong kiÁn và đ°ÿc l°u giữ đÁn ngày nay. Do nhu cÁu phổ biÁn ráng rãi các chuẩn mực xã hái, các điÃu luÁt, ghi l¿i các sự kián lßch są và l°u trun cơng danh, sự nghiáp cÿa các vua chúa triÃu đình nhà Ngun đã cho biên so¿n, khắc in nhiÃu bá sách są và các tác phẩm văn ch°¢ng. Để in đ°ÿc các cuán sách đó đã sÁn sinh ra mát tài liáu đặc biát, đó là mác bÁn triÃu Ngun. Hình 1.1 Mác bÁn triÃu Nguyßn bên trái là t¿m mác bÁn đ°ÿc làm bằng gß, bên phÁi là nái dāng bÁn in đ°ÿc in tă t¿m mác bÁn.

<i>Hình 1.1 Mộc bÁn triều Nguyễn. </i>

<b>1.1.2 Hián tr¿ng cÿa mác bÁn triÃu Nguyßn </b>

Hián t¿i, viác bÁo tồn di sÁn mác bÁn triÃu Nguyßn đang gặp phÁi nhiÃu v¿n đà và đái mặt vßi nhiÃu thách thāc. Trong đó có hai v¿n đà lßn và nổi bÁt là mác bÁn bß th¿t l¿c trong quá trình bÁo quÁn, vÁn chuyển hoặc do chiÁn tranh; và theo thái

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

gian, vÁt liáu gß t¿o nên các mác bÁn dÁn bß biÁn d¿ng, h° hßng do các nguyên nhân nh° thái tiÁt, n¿m mác, mái, mát, cháy nổ.

Thực tÁ tháng kê cho th¿y, di sÁn mác bÁn TriÃu Nguyßn để l¿i h¢n 50.000 t¿m nh°ng hián nay chỉ cịn 34.619 t¿m đang đ°ÿc l°u trữ và bÁo tồn t¿i Trung tâm L°u trữ quác gia IV, trong đó nhiÃu t¿m là chỉ là mát phÁn còn l¿i cÿa mác bÁn và đái mặt vßi hián tr¿ng vÁt lý u, khó bÁo tồn. Hình 1.2 Những t¿m mác bÁn bß h° h¿i, chúng ta có thể th¿y có những t¿m mác bÁn ó bò mt hÂn mỏt na tm hoc ch cũn l¿i mát phÁn ba hay thÁm chí cịn l¿i mát góc so vßi ngun bÁn cÿa t¿m mác bÁn.

<i>Hình 1.2 Những tấm mộc bÁn bị hư h¿i. </i>

Tă những v¿n đà nêu trên, chúng ta cÁn có mát ph°¢ng án, cách thāc l°u trữ bÃn vững và phāc hồi l¿i những t¿m mác bÁn đã bß th¿t l¿c, h° hßng hoặc khơng tồn vẹn.

<b>1.1.3 Khơi phāc mác bÁn tă bÁn in </b>

V¿n đà bÁo tồn và l°u trữ mác bÁn mát cách có hiáu quÁ đã đ°ÿc nghiên cāu và công bá trong mát vài t¿p chí [3,5]. Năm 2019, nhóm nghiên cāu cÿa PGS. TS. Lê Thanh Hà t¿i phịng thí nghiám T°¢ng tác Ng°ái máy, Tr°áng Đ¿i hác Cơng nghá, đã chÿ trì và thực hián thành công đà tài <Nghiên cāu, lựa chán cơng nghá

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

sá hóa và in 3D tài liáu mác bÁn TriÃu Nguyßn – Di sÁn t° liáu thÁ gißi=. Nhóm nghiên cāu đã khÁo sát h¢n sáu trăm t¿m mác bÁn, sá hóa 3D thą nghiám m°ái mác bÁn và in 3D thą nghiám năm mác bÁn và kÁt quÁ đ°ÿc đánh giá cao [10]. ĐÁu vào cÿa quy trình này là các t¿m mác bÁn vÁt lý đang đ°ÿc l°u trữ t¿i Trung tâm L°u trữ qc gia IV, đÁu ra là mơ hình 3D cÿa các t¿m mác bÁn kể trên.

<i>Hình 1.3 Mộc bÁn gốc, số hóa 3D và in từ bÁn số. </i>

Nh° đã đà cÁp ã Māc 1.1.2. sá l°ÿng mác bÁn thực tÁ h¢n 50.000 t¿m nh°ng hián t¿i còn l°u trữ t¿i Trung tâm L°u trữ quác gia IV chỉ cịn 34.619 h¢n thÁ nữa có r¿t nhiÃu t¿m không nguyên vẹn. Tuy nhiên, các bÁn in tă những t¿m mác bÁn bß th¿t l¿c h° hßng kể trên chúng ta v¿n đang l°u trữ l¿i. Qua đó, v¿n đà cÿa bài tốn là tìm đ°ÿc ph°¢ng thāc có thể khơi phāc l¿i các mác bÁn bß th¿t l¿c hoặc khơng ngun vẹn tă những bÁn in cịn l°u trữ l¿i. Hay nói cách khác, chúng ta đi tìm ph°¢ng pháp khơi phāc l¿i mơ hình 3D cÿa mác bÁn (những t¿m đã đ°ÿc sá hóa thành mơ hình 3D) tă Ánh 2D bÁn in t°¢ng āng cÿa mác bÁn.

Có hai h°ßng tiÁp cÁn chính để giÁi qut bài tốn khơi phāc mơ hình 3D tă bÁn in 2D mác bÁn. Cách thā nh¿t là trực tiÁp khôi phāc các điểm dữ liáu trong miÃn dữ liáu 3D cÿa mác bÁn (point clouds), đÁu vào cÿa ph°¢ng pháp này là bāc Ánh 2D bÁn in cÿa mác bÁn và đÁu ra là mơ hình 3D mác bÁn vßi các điểm point clouds c¿u thành lên t¿m mác bÁn 3D, tuy nhiên cho tßi nay kÁt quÁ cÿa các nghiên cāu và viác khôi phāc trực tiÁp tă 2D sang 3D còn ch°a đ°ÿc khÁ quan. Cách thā hai là thực hián khôi phāc l¿i đái t°ÿng trung gian đ¢n giÁn có thể hián h¢n và có khÁ năng tái t¿o l¿i mơ hình 3D cÿa mác bÁn. Ành đá sâu depthmap là mát d¿ng trung gian nh° vÁy, nó là mát Ánh 2D nh°ng thể hián chiÃu sâu cÿa Ánh và có khÁ năng thể hián đ°ÿc các đặc trung 3D theo mát góc nhìn cā thể. Ph°¢ng pháp tiÁp

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

cÁn gián tiÁp đ°ÿc tác giÁ áp dāng trong luÁn văn này. Gißi h¿n nghiên cāu cÿa

<b>ln văn là khơi phāc depthmap tă bÁn in 2D mác bÁn. </b>

<i>Hình 1.4 Tổng qt xử lý khơi phục mộc bÁn </i>

Hình 1.4 Tổng quát xą lý khôi phāc mác bÁn khi khôi phāc l¿i mát t¿m mác bÁn đã bß th¿t l¿c hoặc khơng tồn vẹn (đã m¿t). Trong đó ph°¢ng pháp tiÁp cÁn mà tác giÁ są dāng là khôi phāc l¿i ã māc ký tự cÿa t¿m mác bÁn đã m¿t, do vÁy trong ln này s¿ gißi h¿n khơi phāc l¿i t¿m mác bÁn ã māc <b>ký tự depthmap. </b>

<b>1.2 Cơng nghá số hóa 3D mác bÁn </b>

Viác sá hóa 3D mác bÁn là cơng viác cÁn thiÁt và tiên qut trong q trình khơi phāc Deptmap cho mác bÁn. Nó văa trÿ giúp cho viác bÁo tồn, tr°ng bày, triển lãm tát h¢n khi khơng Ánh h°ãng đÁn các t¿m mác bÁn gác mà còn là đÁu vào cho q trình khơi phāc depthmap cÿa mác bÁn.

Hián nay có nhiÃu cơng nghá có thể đ°ÿc są dāng để sá hóa 3D các đái t°ÿng thể khái bao gồm mác bÁn. Những cơng nghá sá hóa phổ biÁn bao gồm: cơng nghá qt 3D có tiÁp xúc (contact – based); công nghá quét 3D są dāng Ánh chāp tă các góc cÿa vÁt (photogrammetry); cơng nghá qt 3D są dāng ánh sáng la-de (laser); công nghá quét 3D są dāng ánh sáng có c¿u trúc (structed light); cơng nghá quét są dāng xung laser (LASER pulse-based). Các đặc tr°ng đ°ÿc mô tÁ trong BÁng 1.1

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

<i>BÁng 1.1 Đặc trưng của các kỹ thuật số hóa 3D </i>

<b>STT K* tht số hố 3D <sup>V</sup><sup>Ãt </sup>nhỏ </b>

2 <sup>K</sup>ỹ tht sá hố 3D

Cơng nghá cÁn có thiÁt bß máy tính hiáu năng cực m¿nh.

3

Kỹ thuÁt sá hoá 3D LASER triangula-tion

Quét đ°ÿc các bà mặt khó nh° bóng, tái màu, &

4

Kỹ thuÁt sá hoá 3D są dāng ánh sáng có c¿u trúc

Đa dāng, có nhiÃu áng kính để quét các chi tiÁt nhß tßi lßn trong cùng vÁt quét.

5

Kỹ thuÁt sá hoá 3D LASER pulse-based

X

Đá chi tiÁt không cao, phù hÿp để quét các vÁt thể lßn.

Kỹ thuÁt quét 3D dựa trên tiÁp xúc są dāng mát vÁt mÃm nhß hoặc mát đÁu dò để áp vào bà mặt vÁt cÁn quét, kỹ thuÁt są dāng phÁn mÃm hß trÿ để tính tốn vß trí vÁt trong mơi tr°áng 3D. Kỹ thuÁt quét 3D są dāng Ánh chāp s¿ dùng các Ánh chāp tă các góc cÿa vÁt, áp dāng các tht tốn tính tốn hình hác phāc t¿p và thß giỏc mỏy xỏc ònh cỏc im ca vt tÂng đ°¢ng trên Ánh, các thơng sá đo cÿa vÁt trong Ánh để tính tốn và xây dựng mơ hình 3D sá cÿa vÁt. Kỹ thuÁt quét 3D są dāng xung laser là các kỹ thuÁt quét tÁm xa, phù hÿp cho những vÁt to nh° toà nhà, máy bay, & Các cÁm biÁn và phÁn mÃm hß trÿ có thể dựa vào thái gian phÁn x¿ cÿa tia laser hoặc dựa vào góc thay đổi cÿa tia laser để tính toán và

</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">

sá hoá vÁt đ°ÿc quét. Kỹ thuÁt quét 3D są dāng ánh sáng có c¿u trúc chiÁu mơ hình ánh sáng gồm các hình thanh và khái sáng lên vÁt đ°ÿc quét. Kỹ thuÁt bao gồm mát hoặc nhiÃu cÁm biÁn <nhìn= vào góc, c¿nh cÿa thanh/khái sáng để xác đßnh hình d¿ng 3D cÿa vÁt. Kỹ thuÁt quét 3D LASER triangulation cũng t°¢ng tự nh° kỹ thuÁt są dāng ánh sáng có c¿u trúc đó là dựa vào góc thay đổi cÿa tia sáng để tính tốn hình d¿ng bà mặt cÿa vÁt thể.

Qua thÁo luÁn và khÁo sát hián tr¿ng cÿa mác bÁn và kích th°ßc và khái l°ÿng; màu sắc; nái dung t¿m và tình tr¿ng mác bÁn nhằm lựa chán cơng nghá qt cũng nh° thực hián qui trình qt hÿp lý. NhÁn th¿y hai dịng thiÁt bß qt 3D GOM ATOS và PRINCE có kỹ thuÁt quét ánh sáng są dāng c¿u trúc và công nghá quét la-de tÂng ng l phự hp vòi viỏc quột mỏc bn, vì yêu cÁu kỹ thuÁt quét các t¿m mác bÁn đßi hßi đá chính xác cao đồng thái cÁn h¿n chÁ tiÁp xúc vßi mác bÁn để tránh tác đáng khơng mong mn vào mác bÁn. Vßi những °u điểm trên, Phịng thí nghiám T°¢ng tác Ng°ái - Máy, Khoa CNTT, Tr°áng ĐHCN, ĐHQG HN đã są dāng 2 máy quét cā thể GOM ATOS III Triple Scan và PRINCE335 vßi thơng sá kỹ tht t°¢ng đ°ÿc mơ tÁ trong (BÁng 1.2 và BÁng 1.3) để thực hián quét thą nghiám.

<i>BÁng 1.2 Thông số kỹ thuật thiết bị GOM ATOS III Triple Scan </i>

Sá l°ÿng điểm Ánh 2 x 8.000.000 pixel

Dián tích vùng đo 38 x 29 - 2000 x 1500 mm Đá phân giÁi (Tùy theo cąa sổ đo

và khoÁng cách tßi vÁt đo) <sup>0.01 - 0.61 mm </sup>KhoÁng cách đo 490 – 2.000 mm Bá điÃu khiển sensor Tích hÿp

Đá dài cáp nái Lên tßi 30m

CÁm biÁn đßnh vß CÁm biÁn công nghiáp tự đáng

</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">

Nguồn laser <sup>3 c</sup><sup>ặp tia laser đß chéo </sup>

nhau <sup>5 tia laser xanh song song </sup>Tác đá quét 265.000 phép đo/giây 320.000 phép đo/giây

</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">

<b>1.3 Tổng quan depthmap </b>

Trong đồ háa máy tính 3D và thß giác máy tính, depthmap (bÁn đồ đá sâu) là mát hình Ánh hoặc kênh hình Ánh chāa thơng tin liên quan đÁn khoÁng cách bà mặt cÿa các đái t°ÿng cÁnh tă mát điểm nhìn (viewpoint). Có nghĩa là vßi mát depthmap, chúng ta có thể °ßc l°ÿng ra đ°ÿc mát vÁt thể gÁn hay xa so vßi mát điểm nhìn (th°áng là mát áng kính cÿa máy Ánh) theo đá sâu màu cÿa hình Ánh.

Hình 1.5 Minh háa mát bāc Ánh depthmap cÿa mát ký tự trong mác bÁn. Ta th¿y phÁn chữ nổi gÁn vòi im nhỡn hÂn thỡ s cú mu m hÂn, ng°ÿc l¿i phÁn đi và phÁn rßng trong ký tự xa điểm nhìn h¢n thì màu sáng h¢n. Nh° vÁy qua bāc hình ta có thể hình dung đ°ÿc hình dáng (gÁn, xa) cÿa mát ký tự. Trong thực tÁ Ánh nhiÃu Ánh depthmap vßi các điểm nhìn khác nhau (multi-viewpoints) cũng đ°ÿc są dāng để tái t¿o l¿i mô hình 3D cÿa đái t°ÿng [6,8,17].

<i>Hình 1.5 Ành depthmap. </i>

Bãi depthmap là mát đái t°ÿng 2D có thể biểu dißn mát phÁn đái t°ÿng 3D theo mát điểm nhìn nên h°ßng tiÁp cÁn są dāng dāng depthmap làm đái t°ÿng trung gian nhằm khơi phāc l¿i mơ hình 3D cÿa mác bÁn đã đ°ÿc tác giÁ áp dāng trong ln văn.

<b>1.4 Mơ hình sinh depthmap tă Ánh 2D </b>

Vßi những nghiên cāu, āng dāng và kÁt quÁ khÁ quan cÿa m¿ng n¢-ron tích chÁp trong viác xą lý Ánh trong những năm gÁn đây, nh¿t là sự ra đái cÿa m¿ng đái lÁp

<b>t¿o sinh [4] (Generative Adversarial Network - GAN) vào năm 2014 bãi Ian </b>

Goodfellow cùng cáng sự, mơ hình GAN đã nhÁn đ°ÿc sự quan tâm, đÁu t°, cÁi

</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">

tiÁn liên tāc cÁ và mơ hình, āng dāng và kÁt quÁ đ¿t đ°ÿc cÿa gißi khoa hác. Tác giÁ đã quyÁt đßnh lựa chán cách tiÁp cÁn są dāng m¿ng GAN để giÁi qut bài tốn khơi phāc Deptmap tă Ánh 2D.

M¿ng GAN hián nay có khá nhiÃu biÁn thể và tùy vào āng dāng cā thể để áp dāng những biÁn thể đó để giÁi quyÁt bài toán. Trong bài toán mà luÁn văn đang giÁi qut là d¿ng dßch tht hình Ánh sang hình Ánh (Image to image trans-lation), trong đó mát hình Ánh 2D s c dòch sang mỏt nh depthmap tÂng ng.

Trong lĩnh vực dßch tht hình Ánh sang hình Ánh đ°ÿc chia làm hai ph°¢ng pháp tiÁp cÁn là dßch hình Ánh sang hình Ánh có ghép cặp (pair) và dßch hình Ánh sang hình Ánh khơng ghép cặp (un-pair). Ành ghép cặp có nghĩa chúng ta có thể xõy dng c bỏ d liỏu tÂng ng mỏt-mỏt, vòi mát Ánh đÁu vào s¿ có t°¢ng āng mát Ánh đÁu ra cÿa chính bāc Ánh đó.

<i>Hình 1.6 Ành ghép cặp. </i>

Hình 1.6 minh háa Ánh ghép cặp, trong đó bên trái là mát bāc Ánh phác thÁo, ch°a đ°ÿc tô màu; bên phÁi là mát bāc Ánh cÿa chính bāc Ánh bên trái nh°ng đ°ÿc tơ thêm màu. Đa phÁn những bāc Ánh có thể ghép cặp là những dữ liáu khơng hoặc ít thay đổi và có thể ánh x¿ l¿n nhau trong thực tÁ. Mát vài ví dā có thể xây dựng đ°ÿc tÁp dữ liáu ghép cặp nh° Ánh phác thÁo - Ánh tô màu, Ánh đen trắng - Ánh màu, Ánh đßa hình - Ánh vá tinh, &

Ành không ghép cặp là viác chúng ta khơng thể hoặc khó để có thể xây dựng đ°ÿc bá dữ liáu mát-mát nh° tr°áng hÿp cÿa Ánh ghép cặp. Đa phÁn trong

</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">

thực tÁ chúng ta khó có thể xây dựng đ°ÿc các cặp Ánh do sự thay đổi hoặc tính duy nh¿t cÿa đái t°ÿng. Mát vài dữ liáu không thể hoặc khó có trong thực tÁ để xây dựng Ánh ghép cặp nh° ngựa th°áng – ngựa vằn, mùa đông – mùa hè, Ánh – tranh v¿ (Van Gogh, Monet, Cezanne, &). Hình 1.7 minh háa mát cách rõ ràng sự khác nhau giữa Ánh ghép cặp và không ghép cặp, bên trái là tÁp dữ liáu ghép cặp và bên phÁi và tÁp dữ liáu không ghép cặp.

Hián nay có nhiÃu nghiên cāu trong lĩnh vực dßch tht Ánh sang Ánh (đác thêm chi tiÁt trong [18]). Trong sá đó kể đÁn nh° pix2pix, CycleGAN, StarGAN, BicycleGAN là những mơ hình đ°ÿc biÁt đÁn nhiÃu trong lĩnh vực này. Để giÁi quyÁt bài toán cÿa luÁn văn, tác giÁ đã thą nghiám, đi sâu vào tìm hiểu ba mơ hình đã đ°ÿc thą nghiám và áp dāng vào nhiÃu āng dāng thực tißn là pix2pix, CUT và Fast-CUT. Pix2pix là mơ hình dßch Ánh ghép cặp, tă khi bài báo cÿa Phillip Isola và cáng sự công bá vào năm 2017 đã nhÁn đ°ÿc nhiÃu sự quan tâm cÿa cáng đồng và có r¿t nhiÃu āng dāng khác nhau dựa trên mơ hình này [13]. T°¢ng tự pix2pix, CycleGAN là mơ hình khơng ghép cặp đ°ÿc cáng đồng quan tâm và są dāng nhiÃu trong khoÁng thái gian 2018 sau khi nó đ°ÿc cơng bá bãi Jun-Yan Zhu và cáng sự [7]. Tác giÁ lựa chán thą nghiám hai mơ hình khơng ghép cặp CUT, Fast-CUT bãi nó chính là mơ hình đ°ÿc nhóm tác giÁ cÿa CycleGAN cơng bá năm 2020 và khun nghß thay thÁ mát cách có hiáu q cÿa mơ hình CycleGAN (xem chi tiÁt trong [19]).

<i>Hình 1.7 Ành ghép cặp và khơng ghép cặp. </i>

</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">

<b>1.4.1 Mơ hình pix2pix </b>

<b>1.4.1.1 Tổng quan mơ hình pix2pix </b>

Mơ hình pix2pix (chi tiÁt bài báo gác tham khÁo [13]) mát mô hình GAN [4] hay cā thể là GAN có điÃu kiên (conditional GAN- cGAN) [9], nó bao gồm hai thành phÁn Generator (G) để sinh Ánh giÁ và Discriminator (D) để phân biát Ánh thÁt và Ánh giÁ. Tuy nhiên, khác vßi m¿ng cGAN bình th°áng khi đÁu vào cÿa Generator là nhißu, trong mơ hình pix2pix đÁu vào cÿa Generator là Ánh và đÁu ra cÿa Gen-erator cũng là Ánh.

Hình 1.8 minh háa qui trình xą lý cÿa mơ hình pix2pix, đÁu vào cÿa criminator là Ánh x (đÁu vào cÿa Generator) và G(x) (ĐÁu ra cÿa Generator). Hai Ánh này cùng kích th°ßc đ°ÿc xÁp lên nhau rồi cho vào Discriminator. Discrimi-nator hác bằng cách phân biát x và G(x) là Ánh giÁ (fake). Ng°ÿc l¿i Generator s¿ hác bằng cách cho x và G(x) là Ánh thÁt.

<i>Dis-Hình 1.8 Mơ hình pix2pix. </i>

<b>1.4.1.2 Generator </b>

Tính năng chính cÿa các v¿n đà dßch tht (Translation) tă Ánh sang Ánh là chúng ánh x¿ ma trÁn đÁu vào có đá phân giÁi cao sang ma trÁn đÁu ra có đá phân giÁi cao. Ngồi ra, đÁu vào và đÁu ra khác nhau và hình thāc bà mặt, nh°ng cÁ hai đÃu là kÁt xu¿t cÿa cùng mát c¿u trúc c¢ bÁn. Do đó, c¿u trúc trong đÁu vào gÁn đúng vßi c¿u trúc trong đÁu ra.

NhiÃu giÁi pháp cho các v¿n đà trong lĩnh vực này đã są dāng m¿ng coder-decoder [2]. Trong mát m¿ng nh° vÁy, đÁu vào đ°ÿc chuyển qua mát lo¿t các lßp giÁm dÁn, cho đÁn khi mát lßp tắc ngh¿n (bottleneck layer), t¿i đó q trình đ°ÿc đÁo ng°ÿc. Mát m¿ng nh° vÁy địi hßi t¿t cÁ các luồng thơng tin đi qua

</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">

en-t¿t cÁ các lßp, bao gồm cÁ nút cổ chai. Đái vßi nhiÃu v¿n đà dßch tht Ánh, có r¿t nhiÃu thơng tin c¿p th¿p đ°ÿc chia sẻ giữa đÁu vào và đÁu ra, và chúng ta kỳ váng đ°a thông tin này trực tiÁp qua m¿ng. Ví dā, trong tr°áng hÿp tơ màu hình Ánh, đÁu vào và đÁu ra chia sẻ vß trí cÿa các c¿nh nổi bÁt.

<i>Hình 1.9 Encoder-decoder và U-Net. </i>

Để cung c¿p cho Generator ph°¢ng tián để v°ÿt qua nút ngh¿n cổ chai cho những thông tin nh° thÁ, pix2pix thêm các kÁt nái bß qua (skip connections), theo hình d¿ng chung cÿa mát U-Net [12]. Cā thể, pix2pix thêm các kÁt nái bß qua giữa mßi lßp i và lßp n - i, trong đó n là tng sỏ lòp. Mòi kt nỏi bò qua ch Ân giÁn là nái t¿t cÁ các kênh ã lßp i vßi các kênh ã lßp n - i. Hình 1.9 bên trái minh háa c¿u trúc encoder-decoder, bên phÁi minh háa c¿u trúc U-Net.

<b>1.4.1.3 Discriminator </b>

Discriminator s¿ có đÁu vào là hai Ánh: mát cÿa Generator và còn l¿i là Ánh đÁu ra cÿa Generator hoặc Ánh thÁt, (đÁu vào cÿa Generator, đÁu ra cÿa Generator) hoặc (đÁu vào cÿa generator, Ánh đÁu ra thÁt). Điểm khác ã đây là input cÿa Dis-criminator cịn có cÁ Ánh đÁu vào nữa. Vì m¿ng GAN thơng th°áng đÁu vào là nhißu (noise z), còn pix2pix đÁu vào là Ánh nên còn đ°ÿc gái là condition GAN (cGAN), tāc là Ánh đÁu ra phā thuác vào Ánh đÁu vào. Viác cho cÁ nh u vo vo giỳp Discriminator dò phõn biỏt hÂn Ánh nào là Generator sinh ra và Ánh nào trong dataset.

<b>PatchGAN </b>

Ý t°ãng Discriminator truyÃn tháng đÁu ra s¿ là mát node và là bài tốn binary classification. Cịn ý t°ãng patchGAN s¿ thực hián binary classification trên tăng vùng Ánh nhß (70*70) trên Ánh (224*224) thay vì làm tồn bá trên Ánh. Hình 1.10 vùng khoanh 7*7 thể hián các PatchGAN, kÁt quÁ là mát ma trÁn 2*2.

</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">

<i>Hình 1.10 PatchGan. </i>

Hình trên ví dā Ánh đÁu vào kích th°ßc 10*10, chúng ta mn thực hián patch trên tăng vùng nhß 7*7 và muán output là 2*2. Ta th¿y các vùng 7*7 s¿ bß chồng lên nhau, nh°ng nó khơng Ánh h°ãng. Māc tiêu l mòi ụ ó output tÂng ng vòi bi toỏn binary classification xem patch 7*7 ã đÁu vào là Ánh thÁt hay Ánh giÁ.

PatchGAN Discriminator s¿ phân lo¿i tăng patch nhß mát thay vì cÁ Ánh nên kÁt q s tỏt hÂn. Khi train Discriminator vòi nh tht ta mong muán đÁu ra cÿa t¿t cÁ các patch là 1, cịn vßi Ánh giÁ là 0. Ng°ÿc l¿i khi hu¿n luyán Generator ta mong muán vßi Ánh giÁ t¿t cÁ các patch là 1.

</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">

Hàm m¿t mát có điÃu kián cÿa mơ hình pix2pix t°¢ng tự nh° hàm m¿t mát cÿa cGAN bình th°áng. Khác biát mát chút so vßi cGAN thơng th°áng là cGAN cÿa pix2pix có Discriminator quan sát thêm Ánh đÁu vào x.

Chúng ta có thể so sánh vßi hàm m¿t mát mà không quan sát x trong công thāc (2)

(3) KÁt hÿp (1) và (3) chúng ta có hàm māc tiêu ci cùng cÿa mơ hình pix2pix thể hián trong cơng thāc 4 nh° sau:

(4) Khơng có z, m¿ng v¿n có thể hác ánh x¿ tă x đÁn y, nh°ng s¿ t¿o ra các đÁu ra xác đßnh và do đó khơng khßp vßi b¿t kỳ phân phái nào ngồi hàm delta. Các GAN có điÃu kián trong quá khā đã thăa nhÁn điÃu này và cung c¿p nhißu Gaussian z làm đÁu vào cho Generator, ngồi x.

</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">

cÿa khung cÁnh đó vào ban đêm hoặc ng°ÿc l¿i. Hình 1.11 mơ tÁ mát vài ví dā và āng dāng chuyển đổi ngày-đêm, Ánh đÁu vào là mát khung cÁnh ban ngày và Ánh đÁu ra là khung cÁnh ban đêm, <Ground truth= là bāc Ánh thÁt vào ban đêm cÿa khung cÁnh ban ngày.

<i>Hình 1.11 Ành ngày – đêm. </i>

Ành phác thÁo - Ánh tô màu, đÁu vào cÿa āng dāng này là những bāc Ánh mà ã đó s¿ chỉ có những bāc hình đ°ÿc phác háa theo mát khung, nó có thể là các đồ vÁt ngoài đái nh° túi xách, ba-lô, đáng vÁt, giày, dép, quÁn áo, & đÁu ra t°¢ng āng là những đồ vÁt s¿ đ°ÿc tơ màu. Hình 1.12 minh háa āng dāng chuyển đổi Ánh phác thao sang Ánh tô màu. ĐÁu vào là các lo¿i túi xách đ°ÿc v¿ phác thÁo và đÁu ra là những chiÁc túi đ°ÿc tô màu, <Ground truth= là những bāc Ánh thÁt t°¢ng āng cÿa các hình phác thÁo.

<i>Hình 1.12 Ành phác thÁo - tơ màu. </i>

Ành đßa hình - Ánh vá tinh, āng dāng này có đÁu vào là những bāc Ánh đßa hình (trên google map hoặc open street map) và đÁu ra t°¢ng āng là những bāc

</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">

Ánh vá tinh cÿa bÁn đồ đßa hình hoặc ng°ÿc l¿i. Hình 1.13 mơ tÁ āng dāng chuyển tă Ánh vá tinh - Ánh đßa hình. Ta th¿y nó có thể dßch đ°ÿc vùng màu xanh lá cây ã Ánh đßa thể hián vùng có cây cái, cịn vùng chāa hồ hoặc biển thể hiỏn mu xanh dÂng trờn nh òa hỡnh.

<i>Hỡnh 1.13 Ành bÁn đồ - vệ tinh. </i>

<b>1.4.2 Mơ hình CLUT </b>

Mơ hình Contrastive Learning for Unpaired Image-to-Image Translation (CLUT) (chi tiÁt bài báo gác tham khÁo [14]) là mô hình khơng ghép cặp dßch hình Ánh sang hình Ánh. Ý t°ãng chính cÿa mơ hinh này là tái đa hóa thơng tin l¿n nhau giữa tÁp đÁu vào và tÁp đÁu ra. Māc này s¿ trình bày và hác mâu thu¿n (Contras-tive learning), kiÁn trúc và hàm māc tiêu cÿa mơ hình.

<b>1.4.2.1 Contrastive learning </b>

Hác mâu thu¿n là mát kỹ thuÁt hác máy mà ã đó māc tiêu là tìm những thā t°¢ng tự và khác nhau trong mát tÁp dữ liáu khơng có nhãn. Ví dā, nó có thể đ°ÿc są dāng trên c¢ sã dữ liáu hình Ánh để tìm các hình Ánh giáng nhau. Hình 1.14 minh háa kÁt quÁ cÿa hác mâu thu¿n, ta cú th thy s tÂng t vòi hỏc cú giỏm sát (supervised learning) khi phân lßp các Ánh chó mèo.

Hác mâu thu¿n thuác d¿ng tự giám sát (self- supervised learning), tāc tÁp dữ liáu ch°a đ°ÿc gán nhãn, tác vā gán nhãn s¿ đ°ÿc tự hác trong quá trình hu¿n luyán dữ liáu. Tác vā gán nhãn này s¿ cá gắng hác những đặc tr°ng b¿t biÁn cÿa Ánh gác tă Ánh đã biÁn đổi trong khi v¿n phân biát đ°ÿc vßi các Ánh khác trong tÁp dữ liáu.

</div>

×