Tiểu luận công nghệ tri thức Công nghệ giác quan thứ sáu và ứng dụng trong đời sống

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
_____  _____
Học Viên: NGUYỄN THỊ PHÚC TRIÊM Mã số: CH1101051
BÁO CÁO CHUYÊN ĐỀ
CÔNG NGHỆ TRI THỨC
Chuyên ngành: KHOA HỌC MÁY TÍNH
Mã số: 60 48 01.01
KHÓA LUẬN TỐT NGHIỆP THẠC SĨ
CÔNG NGHỆ GIÁC QUAN THỨ SÁU VÀ ỨNG
DỤNG TRONG ĐỜI SỐNG
Tp. Hồ Chí Minh – năm 2015
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
_____  _____
Học Viên: NGUYỄN THỊ PHÚC TRIÊM Mã số: CH1101051
BÁO CÁO CHUYÊN ĐỀ
CÔNG NGHỆ TRI THỨC
Chuyên ngành: KHOA HỌC MÁY TÍNH
Mã số: 60 48 01.01
KHÓA LUẬN TỐT NGHIỆP THẠC SĨ
GVPT: GS.TSKH. HOÀNG VĂN KIẾM
Tp. Hồ Chí Minh – năm 2015
MỤC LỤC
DANH MỤC CÁC HÌNH VẼ
Xã hội ngày nay khác với xã hội nhiều năm trước đây, xã hội của chúng ta liên tục
thay đổi. Các đặc tính quan trọng nhất của thời đại chúng ta là sự chuyển đổi, truyền tải
và thống trị của thông tin. Chúng ta đang sống trong một xã hội thông tin nơi mà vai trò
của các công nghệ mới chiếm vị trí quan trọng hàng đầu. Công nghệ hiện đại đã cách
mạng thông tin liên lạc của người dân như Radio, điện thoại, thông tin vệ tinh, công nghệ
di động, Internet không dây Trong đó Internet là nguồn cơ sở thông tin rất lớn. Bước

vào thế giới công nghệ, có rất nhiều thiết bị công nghệ mới đã được phát minh, trong đó
có công nghệ Sixth Sense mang lại ấn tượng mạnh mẽ.
Trong một thời gian dài, chúng ta đã phụ thuộc rất nhiều vào năm giác quan để
cảm nhận thế giới xung quanh chúng ta, để thu thập thông tin và lựa chọn hành động
đúng. Nhưng trong thời đại kỹ thuật số này thì điều đó là không đủ để dẫn đến những
quyết định đúng. Những thông tin mà có thể giúp đưa ra quyết định tốt phần lớn là có sẵn
trên Internet. Mặc dù các thông tin có thể được thu thập bằng cách kết nối các thiết bị như
máy tính và điện thoại di động nhưng họ bị hạn chế vào màn hình và không có sự tương
tác trực tiếp giữa thế giới vật chất hữu hình và thế giới kỹ thuật số vô hình. Công nghệ
Sixth Sense cho chúng ta sự tự do tương tác với thế giới kỹ thuật số với cử chỉ tay.
Công nghệ giác quan thứ sáu có ý nghĩa là một loại thiết bị công nghệ mới nhất
mà chúng ta không cần phải mang theo bất kỳ thiết bị công nghệ nặng như máy ảnh,
đồng hồ, máy tính vv. Khi muốn chụp hình chúng ta không cần máy ảnh, nếu bạn muốn
nói chuyện với bạn bè không cần phải mang theo điện thoại di động và nếu muốn xem
thời gian không cần phải đieo đồng hồ. Lý do chính là tất cả mọi thứ chúng ta đều có thể
làm với công nghệ giác quan thứ 6.
Tóm lại, chuyên đề này giới thiệu sự triển khai của tính toán hiện năng cao trong
điện toán đám mây để thực hiện các tính toán khoa học. Nội dung chính của báo cáo gồm
các phần sau:
Chương 1: Các công nghệ đáng chú ý trong năm 2013
Giới thiệu các công nghệ đáng chú ý trong năm 2013 bao gồm công nghệ giác
quan thứ 6, công nghệ thay đổi hình dạng robot và người máy ASIMO
Chương 2: Tìm hiểu về Sixth Sense
Tìm hiểu khái niệm về công nghệ giác quan thứ 6 (Sixth Sense), các thành phần
cần thiết tạo nên thiết bị Sixth Sense và các thức hoạt động của các thiết bị này. Đồng
thời tìm hiểu khái quát một số kỹ thuật liên quan đến công nghệ này cũng như các úng
dụng có thể có khi sử dụng công nghệ giác quan thứ sáu.
Chương 3: Ứng dụng lớp học ảo sử dụng công nghệ Sixth Sense
Giới thiệu ứng dụng hữu ích của công nghệ giác quan thứ sáu là tạo ra lớp học ảo
hỗ trợ việc dạy và học. Các thiết bị cần thiết cũng như những ứng dụng có thể có khi sử

dụng công nghệ này theo khía cạnh hỗ trợ việc dạy và học.
Để hoàn thành được chuyên đề này, em xin chân thành cảm ơn GS.TSKH Hoàng
Văn Kiếm đã định hướng và truyền đạt những kiến thức vô cùng quý báu và cần thiế
trong môn học này. Xin chân thành cám ơn ban cố vấn học tập và ban quản trị chương
trình đào tạo thạc sĩ Công nghệ thông tin và tất cả quý thầy cô của Đại Học Quốc Gia
TPHCM đã tạo điều kiện học tập cho chúng em. Tuy nhiên, bài tìm hiểu vẫn còn nhiều
thiếu sót, em kính mong nhận được ý kiến đóng góp và nhận xét của Thầy. Xin chân
thành cảm ơn Thầy!
Chương 1 – CÁC CÔNG NGHỆ ĐÁNG CHÚ Ý TRONG NĂM 2013
1.1. The Sixth Sense technology
Đây không phải là về công nghệ giác quan thứ sáu trong máy giặt. Mà là về một
“giao diện cử chỉ mặc được" cho phép chúng ta sử dụng cử chỉ tay tự nhiên để tương tác
với các thông tin kỹ thuật số. Trong một thời gian dài, chúng ta đã phụ thuộc rất nhiều
vào năm giác quan để cảm nhận thế giới xung quanh chúng ta, để thu thập thông tin và
lựa chọn hành động đúng. Nhưng trong thời đại kỹ thuật số này, chỉ cần biết rằng lá xanh
hoặc bầu trời là màu xanh là không đủ. Người ta phải biết giao thông trên địa bàn, tăng
giá xăng gần đây và điều luật mới nhất. Mặc dù thu nhỏ các thiết bị máy tính đã cho phép
chúng ta tạo ra điện thoại thông minh hoặc máy tính bảng, không có liên kết giữa các
thiết bị kỹ thuật số và tương tác của chúng ta với thế giới vật chất. Đây là nơi mà Mistry
Pranav, một tiến sĩ học giả MIT, Hoa Kỳ đã làm việc trong một thời gian dài để cung cấp
cho chúng ta một cảm giác về những gì Tony Stark đã làm trong những bộ phim người
đàn ông sắt. Công nghệ giác quan thứ sáu của mang thông tin kỹ thuật số vào thế giới
hữu hình. Trong từ đơn giản nó làm cho thế giới máy tính xung quanh chúng ta không có
bàn phím, chuột vv
Hình 1: Sixth Sense Technology
Nguyên mẫu SixthSense bao gồm một máy chiếu bỏ túi, một tấm gương và một
máy ảnh. Máy chiếu chiếu thông tin thị giác lên bức tường và các đối tượng vật chất xung
6
quanh chúng ta sẽ được sử dụng như giao diện trong khi máy ảnh theo dõi ngón tay của
người dùng. Mẫu thử nghiệm này nhận ra cử chỉ bằng tay của người dùng. Ví dụ nếu một

nhiếp ảnh gia cùng với công nghệ này có thể làm công việc vủa mình chỉ đơn giản là bắt
đầu nhấp đi chỉ với hai bàn tay trần của mình, sau đó dừng lại trước một bức tường để
chiêu các bức ảnh ông đã chụp, chọn những cái tốt nhất, vẽ một biểu tượng "@" trong
không khí và mail chúng đi để biên tập. Một khách du lịch có thể mở một bản đồ trên tay,
bắt chước các cử chỉ tay phóng to và có thể dễ dàng tìm ra thị trấn, thành phố gần nhất.
Dùng công nghệ SixthSense trên một bài báo và trong vòng vài phút các hình ảnh sẽ đi
vào cuộc sống, gia tăng công nghệ này lên đối tượng vật lý mà người sử dụng tương tác
bằng cách chiếu thêm thông tin về chúng. "Việc chỉ đưa các máy tính đến các ngôi làng
sẽ không làm nên một sự khác biệt Tiếp cận những nhu cầu thực tế của họ - giúp một
nông dân thích nghi với chu kỳ để cải thiện hiệu quả của máy cày, chạy máy bơm nước
từ xa hoặc nhận được dự báo thời tiết chính xác - sẽ làm nên sự khác biệt thực sự. "-
Pranav Mistry
1.2. Transformers and Terminators
Hình 2: Transformer terminator hybrid
7
Trí tưởng tượng của James Cameroon đang ở đỉnh cao của nó trong Terminator 2:
phim Judgement day khi ông miêu tả một hình dạng thay đổi của robot trên màn hình.
Các T1000 là một người máy "bằng kim loại lỏng" có thể thay đổi hình thức của nó để
đáp ứng nhu cầu của tình hình từ một hồ kim loại nóng chảy. Theo yêu cầu do quân đội
cao cấp Cơ quan dự án (DARPA), nhà khoa hàng đầu đang làm thay đổi hình dạng robot
có thể lách qua khe hở nhỏ hơn so với kích thước cấu trúc của chúng. Những chương
trình có thể chui qua lỗ nhỏ, thoát vào cống hoặc nối lại với nhau thành một lực điện từ.
Một bầy đàn của chương trình như vậy có thể làm nên một nhóm điệp viên tuyệt vời.
Hiện nay một nguyên mẫu đã được thiết kế mà không có cấu trúc cứng nhắc và có thể di
chuyển bởi một cái gì đó gọi là "gây nhiễu khái niệm ' (‘jamming concept’).
Một vài năm sau đó, Hollywood đã thực hiện bởi cơn bão của Transformers. Công
nghệ tiên tiến người ngoài hành tinh cũng có khả năng chuyển đổi hình thức. Một chiếc
xe màu vàng không nghi ngờ có thể biến thành một chiến binh máy cao lớn 20 chân như
bánh răng nghiền, trượt trên nhau và bánh xe được hút trong để nhường đường cho hai
chân và cánh tay nạp vũ khí. Các nhà khoa học cũng đã có những bước hướng tới xây

dựng một robot có thể gập tương tự như origami với các hình thức khác nhau. Hiện nay,
một robot nhỏ, chỉ dày hơn một mảnh giấy có thể gập mình thành một chiếc thuyền hay
một chiếc tàu lượn giấy đã được phát triển. Trong tương lai công nghệ này có thể cung
cấp cho chúng ta những chiếc xe có thể biến hình thành máy bay, và đồng phục quân sự
có thể thích ứng với môi trường khác nhau. Trong thế giới đơn giản, tương lai là không
thiếu những bất ngờ!
8
1.3. ASIMO
Hình 3: ASIMO
Advanced Step in Innovative Mobility(ASIMO) đã có khoảng 20 năm nay. Các kỹ
sư của Honda đã cải tiến liên tục động vật hai chân này với một tầm nhìn mới để cung
cấp cho thế giới một trợ lý con người mạnh mẽ và thông minh. Với 34 bậc tự do nó có
thể làm hầu hết những hành động chung của con người như mở cửa, mang theo một khay,
bật đèn, đổ dung dịch của chai vào cốc, vv
ASIMO sử dụng thị giác, thính giác và xúc giác cảm giác đầu vào để đánh giá môi
trường của nó. Nếu ASIMO đi vào một căn phòng với bốn người, nó có thể xác định mỗi
một với tiếng nói của họ. Nếu một người đi bộ, nó sẽ dự đoán nơi người đó sẽ tới trong
vòng vài giây tiếp theo và nếu cần thiết, nó sẽ thay đổi đường đi của nó để tránh va chạm.
Các cảm biến xúc giác trên ngón tay đưa nó thêm thông tin về kết cấu và độ cứng của bề
mặt.
ASIMO là trợ lý hoàn hảo cho các người bị tật khác nhau. Nó có thể hỗ trợ họ với
một vài nhu cầu cơ bản của họ. Khả năng ASIMO để đi thông suốt, leo lên cầu thang,
mang đồ vật, giao tiếp, và nhận biết giọng nói sẽ cho phép nó dễ dàng hoạt động trong
thế giới chúng ta và thực sự hỗ trợ con người.
9
Chương 2 – TÌM HIỂU VỀ SIXTH SENSE
2.1. Giới thiệu về Sixth Sense
2.1.1. Tổng quan
"Sixth Sense" (“Giác quan thứ sáu”) là một giao diện cử chỉ có thể mặc được và
gia tăng thế giới vật chất xung quanh chúng ta với thông tin kỹ thuật số và cho phép

chúng ta sử dụng cử chỉ tay để tương tác với thông tin đó. Hay nói cách khác SixthSense
là một thiết bị giao diện cử chỉ có thể sử dụng bao gồm một mặt dây chuyền neckworn
(đeo cổ) có chứa một máy chiếu dữ liệu và máy ảnh. Các neckworn chiếu và kết hợp máy
ảnh lần đầu tiên được đề xuất bởi sinh viên Steve Mann tại MIT Media Lab. Steve Mann
được coi là cha đẻ của công nghệ Sixth Sense người đã làm cho máy tính có thể mặc
được vào năm 1990. Ông thực hiện công nghệ Sixth Sense là một máy chiếu đeo cổ với
một hệ thống camera. Sau đó, tác phẩm của ông đã được phát triển tiếp bởi Pranav, trong
khi ông còn là một sinh viên tại MIT Media Lab. Mistry giờ là một nhà lãnh đạo nhóm
nghiên cứu trong văn phòng Thung lũng Silicon Samsung Electronics. Công nghệ Sixth
Sense có thể thay đổi mãi mãi cách mà chúng ta nhìn vào thế giới. Chắc chắn, nó là một
hệ thống các dự án thông tin về những gì xung quanh bạn trên bề mặt đối tượng , nhưng
nó nhiều hơn thế. Bằng cách sử dụng một máy ảnh và một máy chiếu nhỏ, Sixth Sense
nhìn thấy những gì bạn nhìn thấy vàmở rộng trực quan bất kỳ bề mặt hoặc đối tượng mà
chúng ta đang tương tác.
10
Hình 4: Mann and Mistry
Máy ảnh và máy chiếu được kết hợp với một chiếc điện thoại thông minh hoạt
động như máy tính và được kết nối với Cloud (điện toán đám mây), tất cả các thông tin
được lưu trữ trên các trang web. Nó chiếu thông tin trên bề mặt, tường và các đối tượng
vật chất xung quanh chúng ta, và cho phép chúng ta tương tác với các thông tin được
chiếu qua những cử chỉ tay tự nhiên, chuyển động cánh tay, hoặc sự tương tác của chúng
ta với các đối tượng chính nó. Giao diện cử chỉ có thể mặc này cố gắng để giải phóng
thông tin từ giới hạn của nó bằng cách liên tục tích hợp nó với thực tế, và do đó tạo ra
toàn bộ thế giới máy tính của chúng ta. Với một giáo dân, nó sẽ là một cái gì đó siêu
nhiên. Một số có thể xem xét nó như là một mê tín dị đoan hoặc một cái gì đó về tâm lý.
Nhưng sự phát minh ra công nghệ Sixth Sense đã làm thế giới hoàn toàn bị sốc. Mặc dù
bay giờ nó không được biết đến rộng rãi nhưng công nghệ này sẽ thay đổi nhận thức của
chúng ta về thế giới trong thời gian không xa.
11
Chúng ta đã tiến hóa qua hàng triệu năm để cảm nhận thế giới xung quanh chúng

ta. Khi chúng ta gặp phải một cái gì đó, một ai đó hoặc một số nơi, chúng ta sử dụng năm
giác quan tự nhiên của chúng ta bao gồm mắt, tai, mũi, lưỡi, tâm trí và cơ thể để cảm
nhận thông tin, thông tin này giúp chúng ta đưa ra quyết định và lựa chọn các hành động
đúng. Nhưng người ta có thể cho rằng thông tin hữu ích nhất có thể giúp chúng ta đưa ra
quyết định đúng là không cảm nhận một cách tự nhiên với năm giác quan của chúng ta,
cụ thể là các dữ liệu, thông tin và kiến thức mà nhân loại đã tích lũy được về tất cả mọi
thứ và ngày càng gia tăng số lượng thông tin có sẵn trực tuyến.
Mặc dù việc thu nhỏ của các thiết bị tính toán cho phép chúng ta mang các máy
tính trong túi của chúng ta, giữ chúng liên tục kết nối với thế giới kỹ thuật số, không có
liên kết giữa các thiết bị kỹ thuật số của chúng ta và các tương tác của chúng ta với thế
giới vật chất. Thông tin được giới hạn truyền thống trên giấy hoặc kỹ thuật số trên một
màn hình. SixthSense là cầu nối khoảng cách này, mang lại sự vô hình, thông tin kỹ thuật
số vào thế giới hữu hình, và cho phép chúng ta tương tác với thông tin này thông qua cử
chỉ tay tự nhiên. 'SixthSense' giải phóng thông tin từ hạn chế của nó bằng cách liên tục
tích hợp nó với thực tế, và do đó tạo ra toàn bộ thế giới máy tính của bạn.
"Sixth Sense Technology ", đó là thuật ngữ mới nhất đã tuyên bố sự hiện diện của
nó trong lĩnh vực kỹ thuật. Công nghệ này đã xuất hiện trong đó có mối quan hệ của nó
với sức mạnh của sáu giác quan. Máy tính thông thường của chúng ta sẽ sớm có thể cảm
nhận được cảm xúc khác nhau tích lũy trong môi trường xung quanh.
SixthSense là một thiết bị "dựa trên cử chỉ" có thể mặc được và gia tăng thế giới
vật chất với các thông tin kỹ thuật số và cho phép con người sử dụng cử chỉ tay tự nhiên
để tương tác với thông tin đó. Nó được phát triển bởi Pranav Mistry, một nghiên cứu sinh
trong Fluid Interfaces Group tại MIT Media Lab, ông đã gây ra một cơn bão với sự sáng
tạo SixthSense của mình. Ông nói rằng phim "Robocop" và "Minority Report" cho ông
cảm hứng để tạo ra quan điểm của ông về một thế giới không bị chi phối bởi các máy
12
tính, thông tin kỹ thuật số và người máy, mà là một nơi mà các máy tính và các thiết bị
kỹ thuật số khác nâng cao hưởng thụ của người dân của thế giới vật chất.
Ngay bây giờ, chúng ta sử dụng "các thiết bị" của chúng ta (máy tính, điện thoại di
động, máy tính bảng, vv) để đi vào Internet và nhận được thông tin mà chúng ta muốn.

Với SixthSense chúng ta sẽ sử dụng một thiết bị không lớn hơn điện thoại di động hiện
nay và có lẽ cuối cùng nhỏ như một nút trên áo sơ mi của mình và mang internet đến cho
chúng ta để tương tác với thế giới!
SixthSense sẽ cho phép chúng ta tương tác với thế giới của chúng ta hơn bao giờ
hết. Chúng ta có thể nhận được thông tin về bất cứ điều gì chúng ta muốn từ bất cứ nơi
nào trong một vài phút! Chúng ta sẽ không chỉ có thể tương tác với những thứ trên một
cấp độ hoàn toàn mới mà còn với mọi người! Một phần lớn của thiết bị là khả năng quét
các đối tượng hoặc thậm chí là người và dự án để ra thông tin về những gì bạn đang tìm
kiếm.
2.1.2. Khái niệm
Hình 5: Six Senses
Thuật ngữ Sixth Sense trong khoa học (hoặc không khoa học) được định nghĩa là
thêm giác quan nhận thức (Extra Sensory Perception) hoặc ngắn gọn là ESP. Nó liên
13
quan đến việc tiếp nhận thông tin mà không thông qua bất kỳ năm giác quan. Nó cũng
không phải là lấy từ bất kỳ kinh nghiệm nào của quá khứ hay đã biết. Sixth Sense nhằm
mục đích liên tục hơn tích hợp thông tin trực tuyến và công nghệ vào cuộc sống hàng
ngày. Bằng cách tạo thông tin có sẵn cần thiết để ra quyết định xa hơn những gì chúng ta
có thể truy cập với năm giác quan, nó mang lại lợi ích cho người sử dụng một giác quan
thứ sáu.
2.1.3. Mẫu thử nghiệm Sixth Sense trước đây
Hình 6: Thiết bị thử nghiệm Sixth Sense trước đây
Nhóm Maes’ MIT, trong đó bao gồm bảy sinh viên tốt nghiệp, đã suy nghĩ về cách
một người có thể được tích hợp nhiều hơn vào thế giới xung quanh họ và tiếp cận thông
tin mà không cần phải làm điều gì đó như là lấy một điện thoại ra. Ban đầu họ tạo ra một
dây đeo cổ tay mà có thể đọc một thẻ nhận dạng tần số vô tuyến được gắn để biết, ví dụ
một cuốn sách người dùng đang giữ trong một cửa hàng.
14
Họ cũng đã có một chiếc nhẫn mà sử dụng tia hồng ngoại để giao tiếp bằng bằng
đèn hệu cho các kệ thông minh trong siêu thị để cung cấp cho bạn thông tin về sản phẩm.

Như khi chúng ta lấy một gói mì ống, nhẫn sẽ phát sáng màu đỏ hoặc màu xanh lá cây để
cho chúng ta biết nếu sản phẩm hữu cơ hoặc không có đậu phộng - bất cứ tiêu chí nào
chúng ta lập trình vào hệ thống.
Họ muốn làm cho thông tin hữu ích hơn cho người dân trong thời gian thực với nỗ
lực tối thiểu trong một cách mà không yêu cầu bất kỳ thay đổi hành vi nào. Dây đeo cổ
tay đã đến gần với mục đích đó, nhưng chúng ta vẫn phải lấy điện thoại di động ra để
xem thông tin.
Đó là khi họ tiếp cận trên ý tưởng của việc truy cập thông tin từ Internet và chiếu
nó. Vì vậy, một người nào đó đeo dây đeo cổ tay có thể lấy một cuốn sách trong hiệu
sách và ngay lập tức gọi lên nhận xét về cuốn sách, chiếu chúng lên một bề mặt trong cửa
hàng hoặc làm một từ khóa tìm kiếm thông qua các cuốn sách bằng cách truy cập trang số
hóa trên Amazon hoặc sách của Google.
Họ bắt đầu với một máy chiếu lớn hơn được đặt trên một chiếc mũ bảo hiểm.
Nhưng điều đó lại rườm rà nếu một người nào đó chiếu dữ liệu vào một bức tường sau đó
quay sang nói chuyện với người bạn - dữ liệu sẽ chiếu trên khuôn mặt của bạn.
15
2.1.4. Mẫu thử nghiệm hiện tại
Hình7: Thiết bị thử nghiệm Sixth Sense hiện tại
Hiện nay họ đã chuyển sang một máy chiếu nhỏ hơn và tạo ra thiết bị dạng mặt
dây chuyền có thể đeo được đeo quanh cổ.
Nguyên mẫu SixthSense bao gồm một máy chiếu bỏ túi, một tấm gương và một
máy ảnh. Các thành phần phần cứng được kết hợp trong một mặt dây chuyền giống như
thiết bị đeo điện thoại di động. Cả hai máy chiếu và máy ảnh được kết nối với các thiết bị
điện toán di động trong túi của người dùng.
Chúng ta có thể xem công nghệ Sixth Sense như một sự pha trộn của máy tính và
điện thoại di động. Hoạt động như là thiết bị được kết hợp với nó và được treo quanh cổ
của một người nên do đó việc chiếu bắt đầu bằng máy chiếu cực nhỏ gắn vào thiết bị. Vì
vậy, tất nhiên, bạn thành một máy tính di chuyển chính bản thân và các ngón tay hành
động như con chuột và bàn phím.
Các mẫu thử nghiệm được xây dựng từ một webcam thông thường và một pin

chiếu 3M, với một gương kèm theo - tất cả được kết nối với một điện thoại di động cho
phép truy cập internet. Việc thiết lập chỉ tốn chi phí ít hơn $ 350, cho phép người sử dụng
16
chiếu thông tin từ điện thoại lên bất kỳ bề mặt - tường, cơ thể của người khác hoặc thậm
chí bàn tay của bạn.
Mistry mang các thiết bị trên một dây buộc quanh cổ, và đội màu Magic Maker
trên bốn ngón tay (đỏ, xanh dương, xanh lá cây và màu vàng) giúp máy ảnh phân biệt
bốn ngón tay và nhận ra cử chỉ tay của mình với phần mềm mà Mistry tạo ra.
2.2. Làm việc với Sixth Sense
2.2.1. Các thành phần
Hình 8: Các thành phần Sixth Sense
Các thành phần phần cứng được kết hợp trong một thiết bị như mặt dây chuyền
đeo điện thoại di động.:
• Máy ảnh
• Máy chiếu
• Gương
• Thành phần di động
• Các đánh dấu màu
17
Máy ảnh
Hình 9: Máy ảnh
Một webcam chụp và nhận ra một đối tượng và theo dõi các cử chỉ tay của người
dùng, sử dụng các kỹ thuật dựa trên tầm nhìn máy tính (computer-vision).
Nó sẽ gửi dữ liệu đến điện thoại thông minh. Chiếc máy ảnh này, trong một nghĩa
nào đó, hoạt động như một con mắt kỹ thuật số, nhìn thấy những gì người dùng thấy.
Chiếc máy ảnh này nhận diện cá nhân, hình ảnh, tranh ảnh, cử chỉ mà người dùng thực
hiện với bàn tay của mình. Chiếc máy ảnh này sau đó gửi dữ liệu này đến một chiếc điện
thoại thông minh để xử lý. Về cơ bản các máy ảnh tạo thành một mắt kỹ thuật số kết nối
với thế giới thông tin kỹ thuật số. Nó cũng theo dõi các chuyển động của ngón tay cái và
ngón trỏ của cả hai bàn tay của người dùng. Chiếc máy ảnh này nhận đối tượng xung

quanh bạn ngay lập tức, với các vi chiếu (micro-projector) đè các thông tin trên bất kỳ bề
mặt nào, bao gồm cả các đối tượng chính nó hoặc bàn tay của bạn.
18
Máy chiếu
Hình 10: Máy chiếu
Máy chiếu mở ra sự tương tác và chia sẻ. Chúng ta muốn sáp nhập với thế giới vật
lý trong một ý nghĩa vật lý thực sự. Bạn đang chạm vào đối tượng và chiếu thông tin vào
đối tượng đó. Các thông tin này sẽ trông giống như nó là một phần của các đối tượng
Các thông tin được diễn dịch thông qua điện thoại thông minh có thể được chiếu
vào bề mặt bất kỳ nào. Máy chiếu chiếu thông tin thị giác lên bề mặt cho phép và các đối
tượng vật lý được sử dụng như giao diện. Máy chiếu bao gồm pin có vòng đời của pin là
3 giờ. Một máy chiếu Tiny LED hiển thị các dữ liệu được gửi từ điện thoại thông minh
lên trên bất kỳ bề mặt nào theo quan điểm nhìn của đối tượng, tường hoặc người. Máy
chiếu hướng xuống dưới chiếu hình ảnh trên một tấm gương.
Gương
19
Hình 11: Gương
Gương phản chiếu hình ảnh chiếu ra từ máy chiếu và giúp chiếu vào vị trí mong
muốn trên các bức tường hoặc các bề mặt. Người sử dụng có thể tự thay đổi tit của gương
để thay đổi vị trí chiếu. Ví dụ như trong ứng dụng mà người dùng muốn chiếu trên mặt
đất thay vì bề mặt ở phía trước, người dùng có thể thay đổi độ nghiêng của gương để thay
đổi chiếu. Do đó, các gương trong SixthSense giúp khắc phục các hạn chế của không
gian chiếu hạn chế của máy chiếu. Gương phản chiếu hình ảnh trên một bề mặt mong
muốn. Vì vậy, cuối cùng là hình ảnh kỹ thuật số được giải thoát khỏi hạn chế của nó và
được đặt trong thế giới vật chất.
Thành phần di động
20
Hình 12: Di động
Hệ thống SisthSense sử dụng một thiết bị điện toán di động trong túi của người sử
dụng như là thiết bị xử lý. Các chương trình phần mềm cho phép tất cả các tính năng của

thiết bị máy tính này. Thiết bị này có thể là một điện thoại di động hoặc máy tính latop
nhỏ. Máy ảnh, máy chiếu được kết nối với thiết bị này sử dụng kết nối có dây hoặc không
dây. Các thiết bị điện toán di động cũng được kết nối với Internet thông qua mạng 3G
hoặc kết nối không dây
Các đánh dấu màu
Hình 13: Các đánh dấu màu
Các dấu hiệu màu được đặt ở đầu các ngón tay của người dùng. Đánh dấu ngón
tay của người dùng với màu đỏ, màu vàng, màu xanh lá cây và màu xanh, giúp webcam
nhận ra những cử chỉ tay. Các chuyển động và sắp xếp các điểm đánh dấu được diễn dịch
vào các cử chỉ và hoạt động như một hướng dẫn tương tác cho các giao diện ứng dụng
được chiếu.
21
2.2.2. Hoạt động
Hình 14: Hoạt động Sixth Sense
Kỹ thuật Sixth Sense làm việc như sau:
1. Máy ảnh thu nạp hình ảnh của các đối tượng trong tầm nhìn và theo dõi cử
chỉ tay của người dùng.
2. Có các dấu hiệu màu được đặt ở đầu mút ngón tay của người dùng. Đánh
dấu ngón tay của người dùng với màu đỏ, màu vàng, màu xanh lá cây và
màu xanh giúp webcam nhận ra những cử chỉ tay. Sự chuyển động và sắp
xếp của các điểm đánh dấu được giải thích vào cử chỉ và hành động như
một hướng dẫn tương tác cho các giao diện ứng dụng được chiếu.
3. Thông tin được gửi cho điện thoại thông minh để xử lý. Điện thoại thông
minh tìm kiếm các trang web và diễn giải các cử chỉ tay với sự giúp đỡ của
các dấu hiệu màu được đặt ở trên đầu ngón tay.
4. Các thông tin được giải thích thông qua các điện thoại thông minh có thể
được chiếu vào bề mặt bất kỳ. Thông tin được gửi quan máy chiếu, máy
chiếu hướng xuống dưới và chiếu hình ảnh đầu ra vào một tấm gương.
22
5. Gương phản chiếu hình ảnh trên một bề mặt mong muốn. Vì vậy, thông tin

kỹ thuật số được giải thoát khỏi hạn chế của nó và được đặt trong thế giới
vật chất.
Toàn bộ bộ máy phần cứng được tích hợp vào trong một thiết bị đeo điện thoại di
động hình mặt dây chuyền. Về cơ bản máy ảnh nhận ra cá nhân, hình ảnh, bức ảnh, cử
chỉ bằng tay của một người và máy chiếu hỗ trợ trong việc chiếu bất kỳ thông tin nào trên
bất cứ loại bề mặt hiện diện trước mặt người dùng. Ttrong đoạn video giới thiệu được
phát sóng để giới thiệu sản phẩm mẫu cho thế giới, Mistry sử dụng mũ màu trên ngón tay
của mình để nó trở nên đơn giản cho các phần mềm để phân biệt giữa các ngón tay, yêu
cầu ứng dụng khác nhau.
Các chương trình phần mềm phân tích dữ liệu video bắt bởi máy ảnh và cũng truy
vết vị trí của các đánh dấu màu màu bằng cách sử dụng kỹ thuật thị giác máy tính đơn
(single computer vision). Ta có thể có bất kỳ số lượng cử chỉ tay và các chuyển động
miễn là chúng có lý do để được nhận ra và được phân biệt cho hệ thống để giải thích nó,
tốt hơn nên là duy nhất và có giá trị chuẩn. Điều này có thể vì thiết bị của Sixth Sense hỗ
trợ tương tác cảm ứng đa điểm và nhiều người sử dụng.
Về cơ bản MIT có kế hoạch để tăng cường tính thực tế với một mặt dây chuyền
máy chiếu nhỏ (picoprojector): giữ một đối tượng ở cửa hàng và thiết bị chiếu thông tin
liên quan vào nó (ví dụ: như số liệu thống kê môi trường), mà có thể được duyệt và thao
tác với những cử chỉ tay. “Sixth Sense” là mạng Internet, cung cấp các dữ liệu một cách
tự nhiên, và có thể được chỉ về bất cứ điều gì - MIT biểu diễn thông tin được chiếu bằng
thiết bị về một người mà bạn gặp tại một bữa tiệc trên thực tế người đó (ảnh), chiếu tình
trạng chuyến bay trên một thẻ lên máy bay, cùng với toàn bộ một giao diện không theo
ngữ cảnh cho việc đọc email hoặc thực hiện cuộc gọi.
Ý tưởng là Sixth Sense cố gắng xác định không những cái mà ai đó đang tương tác
với mà còn làm cách nào anh ấy hoặc cô ấy đang tương tác vối đó. Phần mềm tìm kiếm
thông tin internet có liên quan đến tình trạng này và máy chiếu làm nhiệm vụ còn lại.
23
Tất cả các công việc là trong phần mềm , tiến sĩ Maes nói." Hệ thống này liên tục
cố gắng tìm ra những gì xung quanh bạn, và những gì bạn đang cố gắng làm. Nó phải
nhận ra những hình ảnh mà bạn nhìn thấy, theo dõi cử chỉ của bạn, và sau đó liên kết nó

với tất cả các thông tin có liên quan cùng một lúc. "
Phần mềm nhận dạng 3 loại cử chỉ:
• Cử chỉ cảm ứng đa điểm, như những gì bạn nhìn thấy trong Microsoft
Surface hoặc iPhone - nơi mà bạn chạm vào màn hình và làm cho bản đồ di
chuyển bằng cách nhéo và kéo.
• Cử chỉ tự do, giống như khi bạn chụp ảnh, hoặc làm một động tác để chiếu
lên tường
• Cử chỉ mang tính biểu tượng, vẽ một biểu tượng trong không khí. Như là
bất cứ khi nào tôi vẽ một ngôi sao, hãy chỉ cho tôi thời tiết. Khi tôi vẽ một
kính lúp, cho tôi xem bản đồ. Bạn có thể muốn sử dụng các cử chỉ khác mà
bạn sử dụng trong cuộc sống hàng ngày. Hệ thống này là rất tùy chỉnh.
Công nghệ này chủ yếu dựa trên sự nhận dạng cử chỉ tay, thu nạp hình ảnh, xử lý,
và thao tác, vv ứng dụng bản đồ cho phép người dùng di chuyển một bản đồ hiển thị trên
một bề mặt gần đó bằng cử chỉ tay, tương tự như cử chỉ được hỗ trợ bởi hệ thống dựa trên
cảm ứng đa điểm, cho phép người sử dụng phóng to, thu nhỏ hoặc pan sử dụng động tác
tay trực quan. Các ứng dụng vẽ cho phép người dùng vẽ trên bất kỳ bề mặt bằng cách
theo dõi các chuyển động ngón tay của ngón tay trỏ của người dùng.
2.3. Kỹ thuật liên quan
Công nghệ SixthSense có cách tiếp cận khác nhau để tính toán và cố gắng làm cho
các khía cạnh kỹ thuật số của cuộc sống trực quan hơn, tương tác, và trên hết là tự nhiên
hơn. Chúng ta không cần phải suy nghĩ về nó một cách riêng biệt. Đó là rất nhiều công
nghệ phức tạp tích hợp vào một thiết bị cầm tay đơn giản. Khi được kết nối chúng ta có
thể có được thông tin hình ảnh có liên quan ngay lập tức chiếu lên bất kỳ đối tượng mà ta
24
cầm lên hoặc tương tác với công nghệ này chủ yếu dựa trên tay tăng cường thực tế, nhận
dạng cử chỉ, dựa trên thuật toán tầm nhìn máy tính, vv
2.3.1. Augmented reality (tăng cường thực tế)
Augmented reality (AR) là một thuật ngữ cho một cái nhìn sống động trực tiếp
hoặc gián tiếp của một môi trường vật lý thế giới thực nơi mà các thành phần được tăng
cường bởi hình ảnh ảo do máy tính tạo ra. Nó có liên quan đến một khái niệm tổng quát

hơn được gọi là thực tế qua trung gian, trong đó cái nhìn thực tế được sửa đổi (thậm chí
có thể giảm bớt chứ không phải tăng cường) bằng máy tính. Việc gia tăng là thông
thường trong thời gian thực và trong bối cảnh ngữ nghĩa với các yếu tố môi trường.
Công nghệ Sixth sense trong đó sử dụng khái niệm AR để áp đặt các thông tin kỹ
thuật số lên trên thế giới vật chất. Với sự giúp đỡ của công nghệ AR tiên tiến (ví dụ như
thêm tầm nhìn máy tính và nhận dạng đối tượng) các thông tin về xung quanh thế giới
thực của người sử dụng trở nên có thể tương tác và có thể sử dụng kỹ thuật số. Thông tin
nhân tạo về môi trường và các đối tượng trong nó có thể được lưu trữ và truy xuất như
một lớp thông tin trên quan điểm thế giới thực.
Các thành phần phần cứng chính cho AR là: màn hình hiển thị, theo dõi, thiết bị
đầu vào, và máy tính. Sự kết hợp của CPU mạnh mẽ, máy ảnh, gia tốc, GPS và la bàn
trạng thái rắn thường xuất hiện trên điện thoại thông minh hiện đại, làm cho chúng trở
thành nền tảng tiềm năng. Có ba kỹ thuật màn hình hiển thị chính cho Augmented
Reality:
• Màn hình đội đầu (Head Mounted Displays)
• Màn hình cầm tay (Handheld Displays)
• Màn hình không gian (Spatial Displays)
Head Mounted Displays (HMD): đặt hình ảnh của thế giới vật lý và đăng ký đối
tượng đồ họa ảo trên quan điểm của người sử dụng trên thế giới. HMD là một trong hai:
quang học trong suốt hoặc video trong suốt tự nhiên.
Handheld Displays: AR cầm tay sử dụng một thiết bị máy tính nhỏ với một màn
hình hiển thị phù hợp trong tay của người dùng. Tất cả các giải pháp cầm tay AR cho đến
25