Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------------------------------------Lê Hữu Toàn

NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG
TRUY VẤN ẢNH Y SINH THEO NỘI DUNG

Chuyên ngành : Kỹ thuật y sinh

LUẬN VĂN THẠC SĨ KĨ THUẬT
KỸ THUẬT Y SINH

NGƯỜI HƯỚNG DẪN KHOA HỌC :
1. PGS.TS. Nguyễn Tiến Dũng

Hà Nội – Năm 2016


MỤC LỤC
DANH MỤC HÌNH VẼ....................................................................................................1
DANH MỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT ..............................................3
LỜI CAM ĐOAN ..............................................................................................................4
LỜI MỞ ĐẦU.....................................................................................................................5
CHƢƠNG 1. TỔNG QUAN VỀ TRUY VẤN ẢNH Y SINH THEO NỘI
DUNG ...................................................................................................................................7
1.1 Động lực của đề tài ...................................................................................................7
1.1.1 Hệ thống dựa trên khái niệm (Concept-base) .................................................8
1.1.2 Tiêu chuẩn hình ảnh y tế....................................................................................9
1.1.3 Những hạn chế của truy vấn concept -based................................................ 10
1.2 Truy vấn ảnh theo nội dung (CBIR) .................................................................... 12
1.3 CBIR trong các ứng dụng y tế .............................................................................. 13

CHƢƠNG 2. THÔNG TIN NỀN TẢNG CỦA HÌNH ẢNH KỸ THUẬT SỐ .. 16
2.1 Ảnh kỹ thuật số ....................................................................................................... 16
2.2 Xử lý ảnh kỹ thuật số ............................................................................................. 17
2.2.1 Biểu diễn ảnh .................................................................................................. 20
2.2.2 Tăng cường ảnh – khôi phục ảnh .................................................................. 21
2.2.3 Biến đổi ảnh ..................................................................................................... 22
2.2.4 Phân tích ảnh .................................................................................................... 22
2.2.5 Nhận dạng ảnh ................................................................................................. 23
2.3 Đặc tính ảnh số ....................................................................................................... 23
2.3.1 Màu sắc ............................................................................................................. 23
2.3.2 Hình dạng ......................................................................................................... 24


2.3.3 Cấu trúc ............................................................................................................. 25
2.4 Kết hợp các đặc tính............................................................................................... 26
2.5 Lập chỉ mục đặc tính (Feature Indexing) ............................................................ 27
2.6 Truy vấn ảnh tương tác .......................................................................................... 28
CHƢƠNG 3. CÁC ĐẶC TÍNH ỨNG DỤNG TRONG TRUY VẤN ẢNH
THEO NỘI DUNG ......................................................................................................... 32
3.1 Đặc tính màu ........................................................................................................... 32
3.1.1 Khơng gian màu............................................................................................... 32
3.1.2 Lượng tử hóa màu ........................................................................................... 35
3.1.3 Mơ tả màu ......................................................................................................... 36
3.2 Đặc tính bất biến..................................................................................................... 38
3.3 Ma trận đồng xuất hiện (Co-occurence Matrix ) ................................................ 40
3.4 Đặc tính Gabor........................................................................................................ 41
3.5 Đặc tính Tamura ..................................................................................................... 42
3.6 Mơ tả cấu trúc tồn bộ ........................................................................................... 45
3.7 Đặc tính cục bộ ....................................................................................................... 46
3.8 Đặc tính dựa trên vùng .......................................................................................... 48

3.9 Các đặc điểm biến đổi PCA .................................................................................. 49
3.10 Tương quan giữa các đặc tính............................................................................. 50
CHƢƠNG 4. KHOẢNG CÁCH ĐẶC TÍNH TRONG HỆ THỐNG TRUY
VẤN ẢNH THEO NỘI DUNG .................................................................................... 51
4.1 Phương pháp so sánh lược đồ ............................................................................... 51
4.1.1 So sánh từng thành phần một ( bin-by-bin).................................................. 51
4.1.2 Phương pháp so sánh chéo thành phần lược đồ:.......................................... 54


4.2 So sánh ảnh ............................................................................................................. 59
4.2.1 Khoảng cách Euclidean .................................................................................. 59
4.2.2 Khoảng cách tiếp tuyến................................................................................... 59
4.2.3 Mơ hình méo ảnh ............................................................................................. 60
4.3 So sánh ảnh dựa trên đặc tính cục bộ ................................................................... 60
4.3.1 Chuyển trực tiếp (Direct Tranfer).................................................................. 60
4.3.2 Mô hình méo ảnh đặc tính cục bộ ( Local Feature Image Distortion
Model)......................................................................................................................... 61
4.4 So sánh mô tả dựa trên vùng ................................................................................. 61
4.4.1 So sánh vùng kết hợp ( Integrated Region Matching) ................................ 62
4.4.2 So sánh vùng Hungarian lượng tử (Quantized Hungarian Region
Matching) ................................................................................................................... 62
4.5 Các đặc tính khác ................................................................................................... 64
CHƢƠNG 5. ĐÁNH GIÁ CHẤT LƢỢNG TRUY VẤN ẢNH VÀ MÔ PHỎNG
NHẬN DẠNG ẢNH SIÊU ÂM .................................................................................... 65
5.1 Đánh giá chất lượng truy vấn ảnh ........................................................................ 65
5.2 Mô phỏng nhận dạng ảnh siêu âm........................................................................ 68
5.2.1 Giới thiệu về chương trình mơ phỏng ........................................................... 68
5.2.2 Sơ đồ khối chương trình ................................................................................. 74
5.2.3 Giao diện chương trình ................................................................................... 75
5.2.4 Kết quả nhận dạng ảnh và đánh giá............................................................... 76

KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI....................................... 80
TÀI LIỆU THAM KHẢO ............................................................................................ 81


DANHMỤC HÌNH VẼ
Hình 1.1 Loại và kích cỡ của một số hình ảnh y tế kỹ thuật số thường được sử
dụng. ......................................................................................................................................7
Hình 1.2 - Một sơ đồ cơ bản đại diện cho hệ thống truy vấn ảnh theo khái niệm ......9
Hình 1.3 Sơ đồ khối hệ thống truy vấn ảnh theo nội dung.......................................... 13
Hình 2.1 Các bước trong xử lý ảnh số ........................................................................... 19
Hình 2.2 Ảnh biến dạng do nhiễu................................................................................... 21
Hình 2.3 Hệ thống truy vấn có tương tác ...................................................................... 30
Hình 3.1 Biến đổi TCHSV từ RGB thành HSV và lượng tử hóa QC166 cung cấp 166 màu
HSV. ................................................................................................................................... 36
Hình 3.2 Biểu diễn màu phân bố cục bộ ........................................................................ 38
Hình 3.3 Ví dụ về đặc tính cấu trúc: (a) độ thô lớn, (b) độ thô nhỏ, (c) độ tương
phản cao, (d) độ tương phản thấp, (e) có tính hướng, (f) khơng có tính hướng . ...... 43
Hình 3.4 Trích chọn đặc tính cục bộ .............................................................................. 47
Hình 3.5 Các phân vùng của các ảnh với số lượng các vùng và k khác nhau .......... 49
Hình 4.1 Ba lược đồ với khoảng cách thành phần giống nhau tứng đơi một. .......... 51
Hình 4.2 So sánh lược đồ : Dạng bình phương và EMD............................................. 57
Hình 4.3 Time warp disance T(Ha ,H b) = 6; ................................................................... 58
Hình 4.4 Ví dụ về biểu đồ căn chỉnh.............................................................................. 58
Hình 4.5 Căn vùng để tìm vùng phù hợp bởi lượng tử hóa Hungarian ..................... 63
Hình 5.1 Tương quan giữa các phép đo chất lượng theo phạm vi [-100,100] .......... 68
Hình 5.2 Ảnh siêu âm Gallbladder ................................................................................. 69
Hình 5.3 Ảnh siêu âm Kidney......................................................................................... 69
Hình 5.4 Ảnh siêu âm Liver ............................................................................................ 70
Hình 5.5 Ảnh siêu âm Pancreas ...................................................................................... 70
Hình 5.6 Ảnh siêu âm Spleen.......................................................................................... 71

Hình 5.7 Ảnh siêu âm Heart 4 Chamber........................................................................ 71
Hình 5.8 Ảnh siêu âm Heart Parasternal View ............................................................. 71

1


Hình 5.9 Ảnh siêu âm Heart Short Axis View Papillary ............................................. 72
Hình 5.10 Ảnh siêu âm Heart Short Axis View Mitral Valve .................................... 72
Hình 5.11 Ảnh siêu âm LT.THY.TRANS..................................................................... 72
Hình 5.12 Ảnh siêu âm RT.CCA.LONG....................................................................... 73
Hình 5.13 Ảnh siêu âm RT.THY.LONG....................................................................... 73
Hình 5.14 Ảnh siêu âm RT.THY.TRANS .................................................................... 73
Hình 5.15 Sơ đồ khối mơ tả hoạt động của chương trình............................................ 74
Hình 5.16 Giao diện chương trình mơ phỏng ............................................................... 75
Hình 5.17 Chương trình nhận dạng đúng Gallbladder................................................. 76
Hình 5.18 Chương trình nhận dạng sai Gallbladder thành Kidney ............................ 77
Hình 5.19 Chương trình nhận dạng đúng Heart Parasternal View............................. 77
Hình 5.20 Chương trình nhận dạng đúng RT.THY.TRANS ...................................... 78
Hình 5.21: Chương trình nhận dạng sai Liver thành RT.CCA.LONG ...................... 78

2


DANHMỤC CÁC KÍ HIỆU, CÁC CHỮ VIẾT TẮT

DICOM - Digital Image and Communications System
MRI - magnetic resonance imaging
PACS - Picture Archive and Communications Systems
CBIR - Content Based Image Retrieval
IRMA - Image Retrieval for Medical Applications –

SPIRS - Spine Pathology & Image Retrieval System –
CCD - Charge Coupled Device

3


LỜI CAM ĐOAN
Tơi là Lê Hữu Tồn, học viên lớp Cao họcKỹ thuật Y sinhkhóa CH2013B Trường Đại học Bách khoa Hà Nội.
Đề tài luận văn: Nghiên cứu phát triển hệ thống truy vấn ảnh y sinh theo nội
dung.
Nay tôi xin cam đoan:
Tất cả những nội dung trong luận văn này đều do tôi thực hiện và chưa từng
được ai cơng bố trong bất kỳ một cơng trình nào khác.
Tất cả những phần thơng tin được trích dẫn từ các tài liệu của các tác giả
khác đều được chú thích rõ ràng.
Tôi xin chịu mọi trách nhiệm đối với nội dung luận văn này.

CÁN BỘ HƢỚNG DẪN

TÁC GIẢ LUẬN VĂN

PGS.TS Nguyễn Tiến Dũng

Lê Hữu Toàn

4


LỜI MỞ ĐẦU
Những tiến bộ trong cơng nghệ hình ảnh kỹ thuật số và tỷ lệ ngày càng tăng

của các hệ thống lưu trữ hình ảnh đã dẫn đến một sự tăng trưởng theo cấp số nhân
trong số các hình ảnh được tạo ra và lưu trữ trong các bệnh viện trong những năm
gần đây. Vì vậy, tự động chú thích và phân loại ảnh y tế là rất hữu ích cho các mục
đích quản lý cơ sở dữ liệu hình ảnh.
Hệ thống truy xuất hình ảnh thơng thường được dựa trên văn bản chú thích
các thơng tin quan trọng về hình ảnh được lưu trữ. Trong hình ảnh y tế nó tạo thành
một thành phần thiết yếu trong hồ sơ của bệnh nhân. Tuy nhiên, trong nhiều trường
hợp thông tin này là r ất thường bị mất như hậu quả của việc nén hình ảnh hoặc lỗi
của con người. Ngoài ra, với nhiều tiêu chuẩn khác nhau áp dụng cho việc chú thích
hình ảnh y tế, việc xây dựng một bản thể luận toàn diện liên quan đến thuật ngữ y tế
khơng phải ln ln có sự đồng thuận. Gần đây, những tiến bộ trong truy vấn ảnh
theo nội dung nhắc nhở các nhà nghiên cứu theo hướng tiếp cận mới trong truy vấn
thông tin trong cơ sở dữ liệu hình ảnh. Trong các ứng dụng y tế nó đã gặp một số
mức độ thành cơng nhưng cịn nhiều hạn chế.
Luận văn này với đề tài: Nghiên cứu phát triển hệ thống truy vấn ảnh y
sinh theo nội dung, gồm các phần chính như sau:
-

Chương 1:Tổng quan về truy vấn ảnh dựa trên nội dung: Trình bày tổng
quan về các vấn đề cơ bản trong truy vấn ảnh dựa trên nội dung.

-

Chương 2:Thơng tin nền tảng của hình ảnh kỹ thuật số: Trình bày Tổng
quan về xử lý ảnh số và các đặc tính của ảnh số.

-

Chương 3:Các đặc tính ứng dụng trong truy vấn ảnh theo nội dung: Trình
bày các đặc tính khác nhau được trích chọn từ ảnh để phục vụ cho việc so

sánh ảnh.

5


-

Chương 4: Khoảng cách đặc tính trong hệ thống truy vấn ảnh theo nội
dung: Trình bày các phương pháp đánh giá mức độ khác biệt giữa các đặc
tính của ảnh trong hệ thống truy vấn.

-

Chương 5: Đánh giá chất lượng truy vấn ảnh theo nội dung và mô phỏng
nhận dạng ảnh siêu âm: Trình bày các phương pháp đ ánh giá chất lượng
truy vấn ảnh; giới thiệu một chương trình nhận dạng ảnh siêu âm (một
chức năng quan trọng trong một hệ thống truy vấn ảnh) bằng ngơn ngữ lập
trình C++

Truy vấn ảnh dựa trên nội dung là vấn đề vẫn còn đang được nhiên cứu để
đáp ứng các yêu cầu khác nhau trong các lĩnh vực áp dụng khác nhau. Trong tương
lai, tơi hy vọng có cơ hội để nghiên cứu , tìm hiểu đầy đủ và chi tiết hơn. Trong
phạm vi của một luận văn tốt nghiệp và khả năng hiểu biết cịn có nhiều hạn chế,
luận văn này khơng thể tránh khỏi những thiếu sót, tơi rất mong nhận được những ý
kiến đóng góp của các thầy cơ và bạn bè để có thể hồn thiện hơn nữa trong những
nghiên cứu sau này.
Tôi xin chân thành cảm ơn PGS.TS. Nguyễn Tiến Dũng đã giúp đỡ tơi hồn
thành được luận văn tốt nghiệp của mình.

6

CHƢƠNG 1. TỔNG QUAN VỀ TRUY VẤN ẢNH Y SINH THEO NỘI
DUNG
1.1 Động lực của đề tài
Hình ảnh là một trong những công cụ quan trọng nhất trong y học vì nó cung
cấp cơ sở để chẩn đốn, theo dõi đáp ứng điều trị và quản lý bệnh của bệnh nhận
với lợi thế thường là thủ thuật không xâm lấn rất nhanh, có rất ít tác dụng phụ với
mối quan hệ chi phí –hiệu quả tuyệt vời.
Định dạng bản cứng của ảnh, ví dụ như phim là điều thường thấy trong giai
đoạn ban đầu của ảnh y tế nhưng giờ đây đã trở nên hiếm hơn. Chi phí bảo quản,
khơng gian lưu trữ và lượng vật tư phim, giấy khổn lồ khiến nó trở nên lỗi thời.
Ngày nay với sự phát triển của hình ảnh kỹ thuật số, các định dạng mềm có thể sao
chép đã giải quyết được các tồn tại của dạng bản cứng, kèm theo khả năng đính kèm
chú thích văn bản ở dạng siêu dữ liệu. Hình 1.1 cho thấy cái nhìn tổng thể về các
loại ảnh số, kích thước và số lượng ảnh trong mỗi thủ thuật tạo ảnh y tế. Điều kì lạ
là quá trình chuyển giao từ ảnh cứng sang ảnh mềm vẫn là trọng tâm của một cuộc
tranh luận thú vị liên quan đến phân tích và cảm nhận của bác sỹ trong q trình
chẩn đốn.
Kỹ thuật

Kích thƣớc 1 ảnh

Số ảnh/ lần

Tổng dung
lƣợng ảnh

(bit)
Y học hạt nhân

128x128x12

30-60

1-2MB

Cộng hưởng tử (MRI)

256x256x12

60-3000

8MB trở lên

Siêu âm

512x512x8

20-240

5-60MB

Chụp mạch xóa nền

512x512x8

15-40

4-10MB

Soi hiển vi kỹ thuật số

512x512x8

1

0.25MB

Soi hiển vi màu kỹ thuật số

512x512x24

1

0.75MB

Cắt lớp vi tính

512x512x12

40-3000

20MB trở lên

2048x2048x12

2

16MB

X-quang kỹ thuật số

Hình1.1 Loại và kích cỡ của một số hình ảnh y tế kỹ thuật số thường được sử dụng.
7


Với sự gia tăng khả năng lưu trữ dữ liệu và sự phát triển của các thiết bị hình
ảnh kỹ thuật số, để tăng cường hiệu quả và tạo ra thơng tin chính xác hơn, một sự
tăng trưởng ổn định về số lượng các hình ảnh y tế được tạo ra có thể dễ dàng hiểu
được. Một ví dụ điển hình của xu hướng này là Khoa Chẩn đốn hình ảnh của Bệnh
viện Đại học Geneva đã tạo ra từ 12.000 hình ảnh y tế một ngày vào năm 2002 đến
50.000 hình ảnh y tế một ngày năm 2007. Đóng góp chính cho những con số này là
các khung hình từ video từ đặt ống thông tim và nội soi. Ngồi những hữu dụng của
hình ảnh y khoa trong việc chẩn đoán và điều trị bệnh nhân, lượng dữ liệu rất lớn
này cũng cung c ấp nguồn tài nguyên tuyệt vời cho các nhà nghiên c ứu trong lĩnh
vực y tế.
1.1.1 Hệ thống dựa trên khái niệm (Concept-base)
Với sự gia tăng theo cấp số nhân của các dữ liệu y tế trong các thư viện kỹ thuật số,
việc phân tích và tìm kiếm các dữ liệu liên quan đến một cơng việc cụ thể ngày
càng trở nên khó khăn. Vì việc truy vấn dựa vào thông tin bằng văn bản đã là một
kỹ thuật phổ biến, một cách để khắc phục vấn đề này là sử dụng siêu dữ liệu cho
hình ảnh để mơ tả về nội dung chính và bối cảnh của nó có thể được lưu trữ. Đối
với hình ảnh y tế, ta có thể lưu trữ, ví dụ, xác định bệnh nhân, lo ại bài kiểm tra và
các chi tiết kỹ thuật của nó hoặc thậm chí một văn bản nhận xét nhỏ liên quan đến
thông tin lâm sàng có liên quan. Với thơng tin này được chú thích, kỹ thuật văn bản
phù hợp có thể được áp dụng để lấy hình ảnh đáp ứng một câu tìm kiếm được trung
gian bởi một từ điển đồng nghĩa, thực hiện bằng cách đánh giá sự tương tự giữa câu
tìm kiếm và các siêu dữ liệu. Đánh giá đầu ra có thể thúc đẩy sự mở rộng từ điển
đồng nghĩa sau đó, quy định mới để xác nhận và phù hợp hoặc một tuyên bố tìm

kiếm mới. Điều này được gọi là dựa trên văn bản hoặc truy vấn ảnh theo văn bản
(text-base) hay theo khái niệm (concept-base). Một lược đồ này cho các loại hệ
thống được mô tả trong hình 1.2.

8


Hình 1.2 - Một sơ đồ cơ bản đại diện cho hệ thống truy vấn ảnh theo khái niệm
Hệ thống Concept-base có thể truy ngược trở lại, trong một miền rộng lớn hơn
nhiều, và vẫn được sử dụng trong các trang web chia sẻ ảnh và video như Flickr,
Google image search hay YouTube.
1.1.2 Tiêu chuẩn hình ảnh y tế
Để thúc đẩy phương pháp tiếp cận Concept-base, một danh mục các thuật
ngữ y tế cùng kèm theo một mơ hình quan hệ hoặc cấp bậc - một chuẩn - là cần
thiết để bắc cầu giữa nội dung của hình ảnh y tế và bối cảnh của nó. Ngồi ra, các
tiêu chuẩn liên quan đến các định dạng nén hình ảnh, ngơn ngữ lập trình cơ sở dữ
liệu và các giao thức mạng là rất cần thiết, vì chúng cung cấp sự hiểu biết lẫn nhau
giữa người sử dụng với những nền tảng khác nhau trong mơi trường người-thuật
tốn cũng như khả năng hốn đổi dữ liệu thơng qua giao thức thuật tốn-thuật tốn.
Bộ tiêu chuẩn ARC-NEMA cho hình ảnh y tế được phát triển đầu tiên vào
những năm 1980 bởi một liên doanh giữa American College of Radiology (ACR)
và Hiệp hội các nhà sản xuất điện quốc gia Hoa Kỳ (NEMA). Sau đó, vào năm
1992, sau khi bao quát cả các giao thức mạng và nhiều phiên bản chú giải thuật ngữ,
ARC-NEMA được đổi tên thành Digital Image and Communications System
(DICOM) và là tiêu chuẩn phổ biến nhất được sử dụng để xác định các thành phần

9


của một hệ thống hình ảnh y tế. Các tiêu chuẩn khác như SNOMED, MeSH, HL7,

Galen, ICD-10 và UMLS cũng được phát triển song song với các giải pháp khác để
xác định khả năng tương tác giữa chúng: các IHE sử dụng DICOM / HL7 cho thông
tin liên lạc nội bộ / bên ngồi mà khơng là một tiêu chuẩn riêng của mình. Các vấn
dề "đơn hàng", liên quan đến thông tin c ụ thể theo yêu cầu của pháp luật và chỉ là
một phần tùy chọn của tiêu đề DICOM, cũng dẫn đến sự phát triển của tiêu chuẩn
Nhật Bản JJ1017. Ở Nhật Bản, môi trường y tế làm việc với các thông tin chi tiết
không được bao quát đ ầy đủ bởi tiêu chuẩn DICOM. Sau khi thất bại trong cố gắng
để thay đổi tiêu chuẩn DICOM cho phù hợp với những nhu cầu này, Nhật Bản đã
phát triển hệ thống của mình như là một phần mở rộng của DICOM.
Mức độ mà các bản thể luận của bất kì tiêu chuẩn nào có thể là một đại diện
rõ ràng của nội dung cơ bản hình ảnh y tế là một vấn đề. Có thể hiểu ontology như
một cách thức quy chuẩn hệ thống hóa ngữ nghĩa để miêu tả cho một lý luận, chúng
ta phải đối mặt với những khó khăn để lựa chọn một thuật ngữ thích hợp để mơ tả ý
nghĩa của các hình ảnh. Rất thường khi vấn đề được đảo ngược khi thuật ngữ đã
được xác định rõ nhưng những khái niệm mà chúng cố gắng đại diện lại trở thành
đối tượng của sự chú ý. Điều này đặc biệt rõ ràng trong Emotional Information
Retrieval (EmIR). Hơn nữa, ý nghĩa không phải là một thuộc tính được định lượng
rõ ràng, nhưng, như Heidorn định nghĩa, một thuộc tính được gán bằng các phân
tích của con người bao gồm sự kết hợp giữa các kiến thức khách quan và chủ quan
trong một quá trình nhận thức xã hội. Sau đó, một mặt, từ ngữ có thể được sử dụng
để diễn tả nội dung hình ảnh nếu ý nghĩa của sẽ là đơn giản và theo nghĩa đen, điều
không phải quá thường xuyên. Mặt khác, nếu các nội dung hình ảnh bao hàm các
lớp khác nhau của kiến thức thì những từ ngữ có lẽ khơng đủ để mơ tả ý nghĩa của
nó .
1.1.3 Những hạn chế của truy vấn concept -based
Trong thực hành các khái niệm của một từ điển đồng nghĩa chung của thuật
ngữ y tế tiêu thụ nhiều tài nguyên và đòi hỏi những nỗ lực hợp tác rộng lớn nơi sự

10

đồng thuận là khó tiếp cận. Có lý do để sử dụng phương pháp quy nạp bằng cách
bắt đầu với các tiêu chuẩn cụ thể hơn và nỗ lực tổng quát sau. Trong các kết hợp
SNOMED-DICOM vi-thuật ngữ một chiến lược như vậy đã được sử dụng. Tuy
nhiên, tất cả các tiêu chuẩn được trình bày là khơng hiệu quả kể từ khi chúng được
sử dụng trong một số Hệ thống lưu trữ và truyền thơng hình ảnh (Picture Archive
and Communications Systems - PACS). Đối mặt với số lượng hình ảnh trong một
cơ sở dữ liệu, chú thích bởi bàn tay con người có thể là một thời gian và nhiệm vụ
nặng nề mà nhận thức chủ quan có thể dẫn đến sai sót khơng thể khơi phục. Một
nghiên cứu về hình ảnh y tế sử dụng các header DICOM tiết lộ 15% lỗi chú thích
xuất xứ từ cả con người và thuật tốn. Số lượng của các ngơn ngữ khác nhau có thể
được sử dụng để chú thích là rộng lớn và có thể dẫn đến sai sót dịch / phiên dịch
trong một yêu cầu tìm kiếm hoặc khi cơ sở dữ liệu được sáp nhập. Rất dễ để nhận
thấy tương lai phải chú thích lại các hình ảnh lại chỉ do sự hiện diện của một sự kiện
làm thay đổi tầm quan trọng của một khía cạnh cụ thể, hoặc cần thiết để liên kết các
nội dung của hình ảnh vào một khả năng tự tìm kiếm mới, ví dụ như, kỹ thuật tìm
kiếm của Seloff cho một khung gắn lệch đang có chỉ trong một chương trình hình
ảnh đào tạo phi hành gia được chú thích. Từ những điều trên thì rõ ràng việc truy
vấn hình ảnh dựa trên khái niệm đặt ra quá nhiều vấn đề cả từ quan điểm bản thể
luận của quan điểm, như đã nói ở phần trước, và từ quan điểm thực tế. Một trở ngại
lớn cho hệ thống truy vấn ảnh dựa trên khái niệm là sự tồn tại của từ đồng có cùng
cách đánh vần nhưng ý nghĩa khác nhau (Homograph) và thực tế là câu tìm kiếm,
hoặc truy vấn, không cho phép người dùng chuyển đổi và kết hợp các mơ hình
tương tác trong khi văn bản được gửi đi. Hệ thống lý tưởng sẽ làm giảm các yếu tố
con người từ các cơng việc chú thích, bằng cách làm nó tự động, và cho phép truy
xuất hình ảnh bởi nội dung của nó ở dạng tinh khiết nhất của nó, chứ khơng phải
bằng văn bản mơ tả. Đây là truy vấn ảnh theo nội dung (Content Based Image
Retrieval - CBIR).

11

1.2 Truy vấn ảnh theo nội dung (CBIR)
Sự phát triển nhanh chóng của cơng nghệ máy tính và viễn thơng đã dẫn đến
việc phải lưu trữ một khối lượng khổng lồ các dữ liệu đa phương tiện trong nhiều
lĩnh vực khác nhau như y tế, viễn thám, giải trí hay giáo dục,... Điều này cũng giống
như sự phát triển nhanh chóng khối lượng các dữ liệu số liệu trong thời kỳ đầu phát
triển của cơng nghệ máy tính dẫn đến việc phát triển hệ thống quản lý dữ liệu
(DBMS). Các hệ thống quản lý dữ liệu truyền thống được thiết kế để tổ chức các dữ
liệu số liệu thành các nhóm dữ liệu liên quan để việc lưu trữ và truy vấn có thể thực
hiện một cách tiện lợi và hiệu quả. Tuy nhiên, kỹ thuật này không phù hợp để quản
lý các dữ liệu đa phương tiện do sự đa dạng về kiểu và định dạng dữ liệu, kích
thước lớn của các đối tượng, sự khó khăn khi trích chọn ngữ nghĩa từ dữ liệu. Để có
thể sử dụng các thông tin đa phương tiện một cách hiệu quả cần phải có một
phương pháp để lưu trữ, sắp xếp và truy vấn.Các dữ liệu đa phương tiện khác nhau
có thể yêu cầu các công cụ và phương tiện khác nhau.
Từ những năm 1970, truy vấn ảnh đã là lĩnh vực nghiên cứu thực sự trong hai
cộng đồng nghiên cứu chính là quản lý dữ liệu và ảnh máy tính. Các nghiên cứu về
truy vấn ảnh từ hai góc độ khác nhau. Góc độ thứ nhất chủ yếu dựa trên văn bản
(text) cịn góc độ thứ hai dựa trên các đặc tính ảnh của dự liệu.
Truy vấn ảnh dựa trên văn bản (text-based image retrieval) xuất hiện từ
những năm cuối thập kỹ 1970. Tại thời điểm đó, hình ảnh được chú thích bằng các
từ khóa và được lưu trữ như là từ khóa truy vấn trong các cơ sở dữ liệu truyền
thống. Có hai vấn đề khiến việc chú thích thủ cơng khơng hiệu quả khi kích thước
cơ sở dữ liệu ảnh trở nên quá lớn. Thứ nhất là giới hạn về số lượng nhân cơng để
thực hiện chú thích cho ảnh. Thứ hai là khó khăn trong việc mơ tả nội dung phong
phú của hình ảnh khi chỉ sử dụng số lượng từ khóa hạn chế.
Vào những năm đầu của thập kỷ 1990, do sự phát triển của các bộ sưu tập ảnh
có kích thước lớn, phương pháp truy vấn ảnh dựa trên nội dung (Content-based
image retrieval- CBIR) được đề xuất để khắc phục những khó khăn trên. Trong hệ

thống CBIR, hình ảnh được tự động lập chỉ mục (indexing) bằng việc tổng kết các

12


nội dung ảnh của chúng thơng qua các đặc tính được trích chọn như màu sắc, cấu
trúc, hình dạng. Như vậy, các đặc tính được trích chọn sẽ thay thế cho các chú thích
bằng văn bản hay từ khóa. Hệ thống CBIR điển hình thường tự động trích chọn (và
lập chỉ mục) nội dung hình ảnh để đáp ứng yêu cầu của lĩnh vực áp dụng cụ thể.
Một hệ thống truy vấn ảnh theo nội dung điển hình được mơ tả trong Hình 1.3.

Phản hồi

Người
sử dụng

Hình thành
u cầu

Mơ tả nội
dung ảnh

Các vector
đặc tính

So sánh tính
tương tự

Cơ sở dữ
liệu ảnh

Mơ tả nội
dung

Cơ sở dữ liệu
đặc tính

Tra chỉ mục
và truy vấn

Đầu ra

Kết quả truy
vấn

Hình 1.3 Sơ đồ khối hệ thống truy vấn ảnh theo nội dung
1.3 CBIR trong các ứng dụng y tế
CBIR trong lĩnh vực y tế cũng trình bày một xu hướng ngày càng tăng trong
các ấn phẩm. Mặc dù số lượng các thuật toán thực nghiệm nhận thức những vấn đề

13


cụ thể và cơ sở dữ liệu phải đối mặt với một sự tăng trưởng của nó phản ánh trên số
lượng các ứng dụng y tế và các khuôn khổ vẫn cịn rất hạn chế. Chỉ có một vài hệ
thống tồn tại với tương đối thành công. Hệ thống Cervigram Finder đã được phát
triển để nghiên cứu bệnh ung thư cổ tử cung. Sẽ là một khung thuật tốn tính hỗ trợ
mà các tính năng địa phương từ một khu vực người dùng định nghĩa trong một hình
ảnh được tính tốn và sử dụng các biện pháp tương tự, hình ảnh tương tự được lấy
ra từ một cơ sở dữ liệu. Các Bệnh cột sống& Hệ thống truy vấn ảnh (Spine

Pathology & Image Retrieval System - SPIRS) là một hệ thống truy vấnlai dựa trên
web, làm việc với cả hai tính năng trực quan hình ảnh và thơng tin dựa trên văn bản.
Nó cho phép người sử dụng để trích xuất hình ảnh x-quang cột sống từ một cơ sở
dữ liệu bằng cách cung cấp một phác họa / hình ảnh của những phác thảo sống. Quá
trình truy vấn dựa trên một thuật tốn cho sự phân biệt hình dạng dựa trên đường
nét tích cực
Hệ thống truy vấn hình ảnh cho ứng dụng y tế (Image

Retrieval

for

Medical Applications - IRMA) là một hệ thống chung truy vấn ảnh x-quang trên
nền web. Nó cho phép người sử dụng để trích xuất hình ảnh từ một cơ sở dữ liệu
cho một truy vấn hình ảnh x-ray. Tính năng địa phương và các biện pháp tương tự
được sử dụng để tính tốn các hình ảnh gần nhất. Các hệ thống SPIRS và IRMA đã
được sáp nhập để tạo thành hệ thống SPIRS-IRMA, với các chức năng của cả hai.
Gần đây hơn một khung mẫu CBIR đã được đề xuất để truy vấn các hình ảnh từ
một miền rộng lớn hơn, bao gồm cả Xquang, CT và US. Trong hệ thống này nhiều
tính năng từ các hình ảnh, dựa vào cường độ, hình dạng và kết cấu, được trích xuất
từ một truy vấn được và được sử dụng để lấy hình ảnh tương tự dựa trên các biện
pháp tương tự.
Ứng dụng y tế là một trong những lĩnh vực ưu tiên, nơi CBIR có thể đáp ứng
được nhiều thành cơng ngồi phạm vi thử nghiệm do lão hóa dân số ở các nước
đang phát triển. Mặc dù có những tiến bộ đã đạt được trong vài khung có sẵn ở đây
vẫn cịn rất nhiều việc phải được thực hiện để phát triển một hệ thống thương mại

14

có thể thực hiện truy vấn hình ảnh / chẩn đốn nhận thức một miền hình ảnh rộng
hơn.

15


CHƢƠNG 2. THƠNG TIN NỀN TẢNG CỦA HÌNH ẢNH KỸ THUẬT SỐ
2.1 Ảnh kỹ thuật số
Việc sử dụng các hình ảnh kỹ thuật số bắt đầu từ năm 1920, khi dịch vụ cáp
truyền hình Bartlane được sử dụng để chuyển hình ảnh giữa London và New York.
Chúng được hệ thống hóa trong 5 mức độ xám và tái tạo bằng cách sử dụng một
thuật toán in điện báo. Việc sử dụng các hình ảnh kỹ thuật số như chúng ta biết
ngày nay xuất hiện trong năm 1960, khi những cải tiến về công nghệ và sự khởi đầu
của cuộc đua khơng gian tính tốn dẫn đến một sự đột biến trong xử lý hình ảnh kỹ
thuật số, đặc biệt là trong việc nâng cao hình ảnh của mặt trăng chụp bởi Ranger và
Apollo. Trong lĩnh vực y tế kỹ thuật số hình ảnh xuất hiện trong năm 1970 và t ầm
quan trọng của nó được cơng nhận vào năm 1979, khi Sir Godfrey Hounsfield N. và
Giáo sư Allan M. Cormack đã chia sẻ giải Nobel về y học cho các sáng chế của
chụp cắt lớp, các phát minh phía sau tr ục Computerized Chụp cắt lớp. Nhưng một
hình ảnh là gì? Các hình ảnh, trong một định nghĩa đen, là một đại diện bằng hình
ảnh hai chiều. Những hình ảnh kỹ thuật số là một xấp xỉ của một hình ảnh hai chiều
bằng cách tập hợp các giá trị gọi là điểm ảnh hoặc textals. Mỗi điểm ảnh được mô tả
bằng các màu sắc của nó, cường độ / độ sáng hoặc giá trị. Mỗi hình ảnh kỹ thuật số
có một mức độ hạn chế, khung ảnh, là quy mô bên ngồi, và độ phân giải hạn chế,
quy mơ bên trong.
Ảnh tĩnh trong không gian 2 chiều được định nghĩa là một hàm hai biến
S(x,y), với S là giá trị biên độ ( được biểu diễn bằng màu sắc) tại vị trí khơng gian
(x,y). Phân loại ảnh:
+ Ảnh tương tự S(x,y): (x,y) liên tục, S liên tục.
+ Ảnh số S(m,n): (m,n) rời rạc, S rời rạc.

Xử lý ảnh số là xử lý các tấm ảnh 2D bằng máy tính, hay nói cách
khác là xử lý số các số liệu 2 chiều. Ảnh số là ma trận của các số thực và số phức
được biểu diễn bới số bit hữu hạn.

16


Trong việc biểu diễn ảnh mức xám (gray- level images), ảnh được biểu diễn
bởi mảng các con số hai chiều. Mỗi con số thể hiện cường độ hoặc mức xám của
ảnh tại vị trí tương đối. Nếu mỗi mức xám được biểu diễn bởi 8 bit thì số mức xám
được biểu diễn là 28 = 256 giá trị. Các mức này thông thường được gán các giá trị
nguyên từ 0 đến 255, với 0 đặc trưng cho mức tối thấp nhất và 255 đặc trưng cho
mức xám cao nhất. Mỗi phần tử trong ma trận được gọi là pixel hoặc PEL. Trong
ảnh màu, cách biểu diễn cũng tương tự, nhưng tại mỗi vị trí của ma trận con số sẽ
biểu diễn 3 màu cơ bản: red, green và blue (RGB). Đối với việc biểu diễn màu của
8bit*3 = 24 bit trên một pixel thì con số chia làm 3 segment* 8bit. Mỗi segment
biểu diễn cường độ của một trong 3 màu cơ bản.
Trích chọn đặc tính là cơ sở của hệ thống truy vấn ảnh theo nội dung CBIR.
Các đặc tính này có thể được đưa ra thành đặc tính chung hay đặc tính riêng. Các
đặc tính chung điển hình bao gồm màu sắc, cấu trúc hình dạng, quan hệ khơng gian,
ngồi ra cịn có các đặc tính riêng được áp dụng cho các lĩnh vực cụ thể như nhận
dạng khn mặt hoặc nhận dạng vân tay. Mỗi đặc tính có thể có một vài thể hiện.
2.2 Xử lý ảnh kỹ thuật số
Xử lý ảnh số có nhiều ứng dụng trong thực thế. Các nghiên cứu về xử lý ảnh số bắt
đầu từ những năm đầu của thập kỷ 60 tại phịng thí nghiệm Jet Propulsion. Do có sự
hạn chế về kích thước và khối lượng của các hệ thống chụp hình gắn trên tàu vũ trụ
nên ảnh nhận được từ các hệ thống này bị suy giảm chất lượng như bị mờ, méo hình
học và nhiễu nền. Do đó các ảnh này phải được xử lý để đạt được chất lượng tốt
hơn. Hình ảnh mặt trăng và sao hỏa mà ta thường gặp trong các tạp chí đều được xử
lý bằng máy tính số.

Ứng dụng của xử lý ảnh có tác động mạnh mẽ đến nhiều lĩnh vực khác như:
viễn thám qua vệ tinh hay tàu vũ trụ, truyền ảnh, lưu trữ cho các ứng dụng nội vụ,
hành chính, xử lý y học, radar, somar, xử lý ảnh acoustic, robotics, giám định tự
động trong các ngành công nghiệp…

17


Trong ứng dụng y học, xử lý ảnh liên quan đến xử lý các tia X, các ảnh cắt
lớp và các ảnh y học khác từ chụp điện (radiology), cộng hưởng từ tính hạt nhân
(nuclear magnetic retonance), quét siêu âm (ultrasonic scanning). Các kỹ thuật này
được dùng để phát hiện các khối u hoặc các bệnh khác của bệnh nhân.
Một ứng dụng khác gần gũi hơn với cuộc sống là cải tiến ảnh tivi. Hình ảnh
hiển thị trên màn hình tivi có độ phân giải hạn chế, có bóng mờ, nhiễu nền, trượt
hình do xen dịng ở những mức độ khác nhau. Hiện nay, tivi số đang có những bước
phát triển dần thay thế tivi truyền thống tương tự và xử lý ảnh số sẽ có tác động
quyết định đến việc cải thiện chất lượng hình ảnh của những hệ truyền hình hiện tại
và làm phát triển hệ truyền hình mới như truyền hình có độ phân giải cao HDTV.
Ứng dụng của xử lý ảnh trong truyền thông là nén dữ liệu ảnh, giảm thời gian
kênh truyền và tiết kiệm khơng gian lưu trữ.Ví dụ như trong hội nghị video, điện
thoại video, yêu cầu cần có dải tần rộng. Việc mã hóa thẳng chương trình video chất
lượng quảng bá u cầu cần đến 100 triệu bit/sec. Nếu hy sinh một phần chất lượng
và dùng các sơ đồ mã hóa ảnh số thì có thể đạt được chất lượng đủ rõ với nhịp bit
chỉ dưới 100 nghìn bit/sec.
Các ứng dụng khác như: trong sinh học, phân tích ảnh của các mẫu xương,
mơ, tế bào, kiểu AND…, trong an ninh, quốc phịng xử lý ảnh trinh thám để phát
hiện ra các mục tiêu như: phi trường, tàu chiến, dàn phóng hỏa trên các vệ tinh. Xử
lý vân tay, nhận dạng nhân thể…, trong nhiếp ảnh, điện ảnh, thay thế các kỹ thuật
phòng tối trong một số trường hợp tạo hiệu quả đặc biệt trong phim ảnh, trong viễn
thám, trắc địa, tái tạo và tăng cường độ rõ, độ sáng cho các ảnh số vệ tinh, lập bản

đồ, phát hiện tài nguyên, quản lý mơi trường, theo dõi biến động khí quyển, phát
hiện cháy rừng, trong tự động hóa thì kiểm tra chất lượng sản phẩm tự động bằng hệ
thống giúp loại bỏ phế phẩm, xây dựng hình ảnh máy cho các robot.
Việc xử lý ảnh có thể được thực hiện thơng qua hệ thống xử lý ảnh chuyên
dùng hoặc hệ thống ảnh dùng trong xử lý, dào tạo. Hình 2.1 mơ tả các bước cơ bản
cần thiết trong xử lý ảnh số.

18


Lưu trữ

Thiết bị thu
nhận ảnh

Thu nhận
ảnh

Số hóa

Phân tích
ảnh

Nhận
dạng

Hệ quyết
định

Hình 2.1 Các bước trong xử lý ảnh số

Trước hết là quá trình thu nhận ảnh. Ảnh có thể thu nhận qua camera. Thường
ảnh thu nhận qua camera là tín hiệu tương tự (loại camera ống kiểu CCIR), nhưng
cũng có thể là tín hiệu số hóa (loại CCD – Charge Coupled Device).
Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng (sensor), hay ảnh,
tranh được quét trên scanner. Tiếp theo là q trình số hóa (Digitalizer) để biến đổi
tín hiệu tương tự sang tín hiệu rời rạc (lấy mẫu) và số hóa bằng lượng tử hóa, trước
khi chuyển sang giai đoạn xử lý, phân tích hay lưu trữ lại.
Q trình phân tích ảnh thực chất bao gồm nhiều công đoạn nhỏ. Trước hết là
công việc tăng cường ảnh để nâng cao chất lượng ảnh. Do những nguyên nhân khác
nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh
có thể bị suy biến. Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật
một số đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốctrạng thái trước khi ảnh bị biến dạng. Giai đoạn tiếp theo là phát hiện các đặc tính
như biên, phân vùng ảnh, trích chọn các đặc tính,v.v…
Cuối cùng, tùy theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phân
lớp hay các quyết định khác.

19


Đối với một hệ thống xử lý ảnh thu nhận qua camera, camera như là con mắt
của hệ thống. Có hai loại camera: camera ống loại CCIR và camera CCD. Loại
camera ứng với chuẩn CCIR quét ảnh với tần số 1/25 và mỗi ảnh gồm 625 dòng.
Loại CCD gồm các photo diot và làm tương ứng một cường độ sáng tại một điểm
ảnh ứng với một phần tử ảnh (pixel). Như vậy, ảnh là tập hợp các điểm ảnh. Số
pixel tạo nên một ảnh gọi là độ phân giải (resolution).
Bộ xử lý tương tự ( analog processor). Bộ phận này thực hiện các chức năng
sau:
-

Chọn camera thích hợp nếu hệ thống có nhiều camera.

-

Chọn màn hình hiển thị tín hiệu.

-

Thu nhận tín hiệu video thu nhận bởi bộ số hóa (digitalizer). Thực hiện lấy
mẫu và mã hóa.

-

Tiền xử lý ảnh khi thu nhận: Dùng kỹ thuật bảng tra (Look Up TableLUT).

Bộ xử lý ảnh số. Gồm nhiều bộ xử lý chuyên dụng: xử lý lọc, trích chọn
đường bao, nhị phân hóa ảnh. Các bộ xử lý này làm việc với tốc độ 1/25 giây.
Máy chủ. Đóng vai trị điều khiển các thành phần mơ tả ở trên.
Bộ nhớ ngồi: Dữ liệu ảnh cũng như các kiểu dữ liệu khác, để có thể chuyển
giao cho các q trình khác, nó cần được lưu trữ. Để có một ước lượng, xét thí dụ
sau: một ảnh đen trắng kích cỡ 512 x 512 với 256 mức xám chiếm 256Kbytes. Với
một ảnh màu cùng kích thước thì dung lượng sẽ tăng 3 lần.
2.2.1 Biểu diễn ảnh
Trong biểu diễn ảnh, người ta thường dùng các phần tử đặc trưng của ảnh là
pixel. Nhìn chung có thể xem một hàm hai biến chứa các thông tin như biểu diễn
của một ảnh. Các mơ hình biểu diễn ảnh cho ta một mô tả logic hay định lượng các
tính chất của hàm này. Trong biểu diễn ảnh cần chú ý đến tính trung thực của ảnh
hoặc các tiêu chuẩn ”thơng minh” để đo chất lượng ảnh hoặc tính hiệu quả của các
kỹ thuật xử lý.

20

Việc xử lý ảnh số yêu cầu ảnh phải được mẫu hóa và lượng tử hóa. Thí dụ
một ảnh ma trận 512 dòng gồm 512 x 512 pixel. Việc lượng tử hóa ảnh là
x

chuyển đổi tín hiệu tương tự sang tín hiệu số (Analog Digital Convert) của một
ảnh đã lấy mẫu sang một số hữu hạn mức xám.
Một số mô hình thường được dùng trong biểu diễn ảnh : mơ hình tốn, mơ
hình thống kê. Trong mơ hình tốn, ảnh hai chiều được biểu diễn nhờ các hàm hai
biến trực giao gọi là các hàm cơ sở. Với mơ hình thống kê, một ảnh được coi như
một phần tử của một tập hợp đặc trưng bởi các đại lượng như: kỳ vọng toán học,
hiệp biến, phương sai, moment.
2.2.2 Tăng cƣờng ảnh – khôi phục ảnh
Tăng cường ảnh là bước quan trọng, tạo tiền đề cho xử lý ảnh. Nó gồm một
loạt các kỹ thuật như: lọc độ tương phản, khử nhiễu, nổi màu...
Khôi phục ảnh là nhằm loại bỏ hoặc tối thiểu hóa các xuống cấp trong ảnh.
Với một hệ thống tuyến tính, ảnh của một đối tượng có thể biểu diễn bởi:

g ( x, y)

h( x, y; , ) f ( , )d d (

( x, y))

(2.1)

Trong đó:
-

η(x,y) là hàm biểu diễn nhiễu cộng.

-

f(α,β) là hàm biểu diễn đối tượng.

-

g(x,y) là ảnh thu nhận.

-

h(x,y ;α,β) là hàm tán xạ điểm ( Point Spread Function – PSF).

f(α,β)

g(x,y)

Ảnh đầu vào

β
α

f(α,β)

Hệ thống thu
nhận ảnh

Ảnh đầu ra
g(x,y)

Hình 2.2 Ảnh biến dạng do nhiễu
21

y
x