QUẢN Lý d6cntt epu dai

LỜI MỞ ĐẦU
Ngày nay việc ứng dụng công nghệ kĩ thuật cao vào đời sống đang là một đòi hỏi
bức thiết.Một trong những lĩnh vực đó là trí tuệ nhân tạo, mà một phần quan trọng của nó
là Hệ chuyên gia. Hệ chuyên gia là một hệ thống chương trình máy tính chứa các thông
tin tri thức và các quá trình suy diễn về một lĩnh vực cụ thể nào đó dể giải quyết các bài
toán khó màđòi hỏi sự uyên bác của các chuyên gia trong ngành.
Hiện nay hệ chuyên gia được ứng dụng trong nhiều lĩnh vực khác nhau: ví dụ như
công nghệp, nông nghiệp, khoa học máy tính, thương mại khí tượng, y học, quân sự, hoá
học.....Đặc biệt trong giai đoạn gần đây việc ứng dụng hệ chuyên gia vào xây dựng hệ
thống trích rút thực thể ứng dụng trong phân tích kinh tế đang được phát triển mạnh.
Thông tin kinh tế là yếu tố cực kỳ quan trọng cho doanh nghiệp để nắm bắt được
tin tức thị trường, xu thế kinh tế giúp bắt kịp với các doanh nghiệp khác. Hiện nay có rất
nhiều website đăng tải rất nhiều các thông tin, tin tức về kinh tế và các tin tức khác.Nhiều
nguồn tin có thể gây lẫn với nhau hoặc có thể trùng lặp tin. Với nguồn thông tin vô cùng
phong phú như vậy cần phải có một phương thức hoặc công cụ nào đó có khả năng tìm
kiếm, trích xuất thông tin trên web và lưu trữ lại thông tin đó theo ý muốn của con người,
một cách tự động và hiệu quả. Vì thế chúng em đã lựa chọn đề tài này.
Tên đề tài :“Hệ thống trích rút các thông tin kinh tế, thời sự trong ngày”
Trong quá trình làm đề tài,do chúng em còn ít kinh nghiệm nên không tránh khỏi
nhiều sai sót.Kính mong các thầy,cô giáo thông cảm và bổ sung,đóng góp ý kiến để cho
đề tài của chúng em được hoàn thiện hơn, nhóm chúng em xin chân thành cảm ơn !

1

HỆ CHUYÊN GIA


NHẬN XÉT
(của giảng viên hướng dẫn)
...........................................................................................................................................
...........................................................................................................................................

...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
............................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................

2

HỆ CHUYÊN GIA


MỤC LỤC

3

HỆ CHUYÊN GIA


DANH MỤC HÌNH ẢNH

4

HỆ CHUYÊN GIA


DANH MỤC BẢNG BIỂU

5

HỆ CHUYÊN GIA


CHƯƠNG 1: TỔNG QUAN VỀ HỆ CHUYÊN GIA
1.1. Hệ chuyên gia là gì?
Theo E. Feigenbaum : «Hệ chuyên gia (Expert System) là một chương trình máy
tính thông minh sử dụng tri thức (knowledge) và các thủ tục suy luận (inference
procedures) để giải những bài toán tương đối khó khăn đòi hỏi những chuyên gia mới giải
được».
Hệ chuyên gia là một hệ thống tin học có thể mô phỏng (emulates) năng lực quyết
đoán (decision) và hành động (making abilily) của một chuyên gia (con người). Hệ chuyên
gia là một trong những lĩnh vực ứng dụng của trí tuệ nhân tạo (Artificial Intelligence)
Hệ chuyên gia sử dụng các tri thức của những chuyên gia để giải quyết các vấn đề
(bài toán) khác nhau thuộc mọi lĩnh vực.
Tri thức (knowledge) trong hệ chuyên gia phản ánh sự tinh thông được tích tụ từ sách
vở, tạp chí, từ các chuyên gia hay các nhà bác học. Các thuật ngữ hệ chuyên gia, hệ
thống dựa trên tri thức (knowledge−based system) hay hệ chuyên gia dựa trên tri thức
(knowledge−based expert system) thường có cùng nghĩa.
Một hệ chuyên gia gồm ba thành phần chính là cơ sở tri thức (knowledge base), máy
suy diễn hay môtơ suy diễn (inference engine), và hệ thống giao tiếp với người sử dụng
(user nterface). Cơ sở tri thức chứa các tri thức để từ đó, máy suy diễn tạo ra câu trả lời
cho người sử dụng qua hệ thống giao tiếp.
Người sử dụng (user) cung cấp sự kiện (facts) là những gì đã biết, đã có thật hay
những thông tin có ích cho hệ chuyên gia, và nhận được những câu trả lời là những lời
khuyên hay những gợi ý đúng đắn (expertise).

6

HỆ CHUYÊN GIA


Hoạt động của một hệ chuyên gia dựa trên tri thức được minh họa như sau :

Hình 1. :Hoạt động của hệ chuyên gia
Mỗi hệ chuyên gia chỉ đặc trưng cho một lĩnh vực vấn đề (problem domain) nào đó,
như y học, tài chính, khoa học hay công nghệ, v.v..., mà không phải cho bất cứ một lĩnh
vực vấn đề nào.
Tri thức chuyên gia để giải quyết một vấn đề đặc trưng được gọi là lĩnh vực tri thức
(knowledge domain).

Hình 1. Quan hệ giữa lĩnh vực vấn đề và lĩnh vực tri thức
Chú ý rằng lĩnh vực tri thức hoàn toàn nằm trong lĩnh vực vấn đề. Phần bên ngoài
7

HỆ CHUYÊN GIA


lĩnh vực tri thức nói lên rằng không phải là tri thức cho tất cả mọi vấn đề.
Tùy theo yêu cầu người sử dụng mà có nhiều cách nhìn nhận khác nhau về một hệ
chuyên gia.
Loại người sử

Vấn đề đặt ra

Người quản trị
Kỹ thuật viên
Nhà nghiên cứu
Người sử dụng cuối

Tôi có thể dùng nó để làm gì ?
Làm cách nào để tôi vận hành nó tốt nhất ?
Làm sao để tôi có thể mở rộng nó ?
Nó sẽ giúp tôi cái gì đây ?
Nó có rắc rối và tốn kém không ?
Nó có đáng tin cậy không ?

dụng

1.2. Đặc trưng và ưu điểm của hệ chuyên gia
Có bốn đặc trưng cơ bản của một hệ chuyên gia :
•
Hiệu quả cao (high performance). Khả năng trả lời với mức độ tinh thông
bằng hoặc cao hơn so với chuyên gia (người) trong cùng lĩnh vực.

• Thời gian trả lời thoả đáng (adequate response time). Thời gian trả lời hợp lý, bằng
hoặc nhanh hơn so với chuyên gia (người) để đi đến cùng một quyết định. Hệ chuyên
gia là một hệ thống thời gian thực (real time system).

• Độ tin cậy cao (good reliability). Không thể xảy ra sự cố hoặc giảm sút độ tin cậy
khi sử dụng.

• Dễ hiểu (understandable). Hệ chuyên gia giải thích các bước suy luận một cách dễ
hiểu và nhất quán, không giống như cách trả lời bí ẩn của các hộp đen (black box).
Những ưu điểm của hệ chuyên gia :

• Phổ cập (increased availability). Là sản phẩm chuyên gia, được phát triển không
ngừng với hiệu quả sử dụng không thể phủ nhận.

• Giảm giá thành (reduced cost).
• Giảm rủi ro (reduced dangers). Giúp con người tránh được trong các môi trường rủi
ro, nguy hiểm.
•

Tính thường trực (Permanance).

Bất kể lúc nào cũng có thể khai thác sử

dụng trong khi con người có thể mệt mỏi, nghỉ ngơi hay vắng mặt.
•
Đa lĩnh vực (multiple expertise). chuyên gia về nhiều lĩnh vực khác nhau và
8

HỆ CHUYÊN GIA


được khai thác đồng thời bất kể thời gian sử dụng.
•
Độ tin cậy (increased relialility). Luôn đảm bảo độ tin cậy khi khai thác.
•
Khả năng giảng giải (explanation). Câu trả lời với mức độ tinh thông được
giảng giải rõ ràng chi tiết, dễ hiểu.
•
Khả năng trả lời (fast reponse). Trả lời theo thời gian thực, khách quan.
•
Tính ổn định, suy luận có lý và đầy đủ mọi lúc mọi nơi
(steady, une motional, and complete response at all times).
•
Trợ giúp thông minh như một người hướng dẫn (intelligent-tutor).

•
Có thể truy cập như là một cơ sở dữ liệu thông
minh (intelligent database)
1.3. Các lĩnh vực trong hệ chuyên gia
Cho đến nay, hàng trăm hệ chuyên gia đã được xây dựng và đã được báo cáo
thường xuyên trong các tạp chí, sách, báo và hội thảo khoa học. Ngoài ra còn các hệ
chuyên gia được sử dụng trong các công ty, các tổ chức quân sự mà không được công bố
vì lý do bảo mật. Bảng dưới đây liệt kê một số lĩnh vực ứng dụng diện rộng của các hệ
chuyên gia.
Lĩnh vực
Cấu hình
(Configuration)
Chuẩn
đoán
(Diagnosis)
Truyền đạt
Mở
(Instruction)

đầu

Giải thích
(Interpretation)
Kiểmtra
(Monitoring)
Lập kế hoạch
(Planning)
Dự đoán
(Prognosis)
Chữa trị

(Remedy)

Ứng dụng diện rộng
Tập hợp thích đáng những thành phần
của một hệ thống theo cách riêng
Lập luận dựa trên những chứng cứ quan
sát được
Dạy học kiểu thông minh sao cho sinh
viên có thể hỏi
vì sao (why?), như thế nào (how?) và cái
gì nếu (what if?) giống như hỏi một người thầy
giáo
Giải thích những dữ liệu thu nhận được
So sánh dữ liệu thu lượm được với dữ
liệu chuyên môn để đánh giá hiệu quả
Lập kế hoạch sản xuất theo yêu cầu
Dự đoán hậu quả từ một tình huống xảy
ra
Chỉđịnh cách thụ lý một vấn đề

9

HỆ CHUYÊN GIA


Điều khiển
(Control)

Điều khiển một quá trình, đòi hỏi diễn
giải, chẩn đoán, kiểm tra, lập kế hoạch, dự

đoán và chữa trị

10

HỆ CHUYÊN GIA


CHƯƠNG 2 :TÌM HIỂU VỀ RÚT TRÍCH THÔNG TIN
2.1 Tổng quan về rút trích thông tin.
Không giống như việc hiểu toàn bộ văn bản, các hệ thống trích chọn thông tin chỉ
cố gắng nhận biết một số dạng thông tin đáng quan tâm. Có nhiều mức độ trích chọn
thông tin từ văn bản như xác định các thực thể (Element Extraction), xác định quan hệ
giữa các thực thể (Relation Extraction), Extraction), xác định và theo dõi các sự kiện
vàcác kịch bản (Event and Scenario Extraction and Tracking), xác định đồng tham
chiếu(Co-reference Resolution) ... Các kĩ thuật được sử dụng trong trích chọn thông tin
gồmcó: phân đoạn, phân lớp, kết hợp và phân cụm.

Hình 2.3:Minh họa một hệ thống trích chọn thông tin.
Kết quả của một hệ thống trích chọn thông tin thường là các mẫu (template) chứa
mộtsốlượng xác định các trường (slots) đã được điền thông tin.
Rút trích thông tin không đòi hỏi hệ thống phải đọc hiểu nội dung của tài liệu văn
bản, nhưng hệ thống phải có khả năng phân tích tài liệu và tìm kiếm các thông tin liên
quan mà hệ thống mong muốn được tìm thấy.
Để có một hệ thống trích chọn thông tin đầu tiên chúng ta phải có một hệthống nhận
dạng thực thể và tiếp sau mới tính đến phân loại quan hệ. Bài toán nhận biết các loại thực
thể là bài toán đơn giản nhất trong số các bài toán trích chọn thông tin, tuy vậy nó lại là
11

HỆ CHUYÊN GIA

bước cơ bản nhất trước khi tính đến việc giải quyết các bài toán phức tạp hơn trong lĩnh
vực này. Ngoài ứng dụng trong hệ thống trích chọn thông tin, nó còn có thể được áp dụng
trong tìm kiếm thông tin (Information Retrieval), dịch máy (machine translation) và hệ
thống hỏi đáp (question answering).
Các kỹ thuật rút trích thông tin có thể áp dụng cho bất kỳ tập tài liệu nào mà chúng
ta cần rút ra những thông tin chính yếu, cần thiết cũng như các sự kiện liên quan. Các kho
dữ liệu văn bản về một lĩnh vực trên internet là ví dụ điển hình, thông tin trên đó có thể
tồn tại ở nhiều nơi khác nhau, dưới nhiều định dạng khác nhau. Sẽ rất hữu ích cho các
khảo sát, ứng dụng liên quan đến một lĩnh vực nếu như những thông tin lĩnh vực liên
quan được rút trích và tích hợp lại thành một hình thức thống nhất và biểu diễn một cách
có cấu trúc. Khi đó thông tin trên internet sẽ được chuyển vào một cơ sở dữ liệu có cấu
trúc phục vụ cho các ứng phân tích và khai thác khác nhau.
Rút trích thông tin trên web là một đề tài quan trọng từ giúp chuyển đổi nội
dungtrang web theo hình thức trình bày phục vụ người duyệt web thành các nguồn
thôngtin được chuẩn hóa phục vụ nhiều nhu cầu đặc biệt như so sánh sản phẩm, tìm kiếm
thông minh, chuyển đổi nội dung phục vụ thiết bị di động, mashup
2.2 Giới thiệu về Rút trích thông tin.
2.2.1 Khái niệm.
Rút trích thông tin (IE – Information Extraction) là quá trình lấy thông tin từ các
nguồn ở những định dạng không đồng nhất và chuyển thành một dạng đồng nhất. Dữ liệu
sau khi rút trích được sử dụng, trình bày trực tiếp cho người dùng, lưu vào cơ sở dữ liệu
để xử lý sau đó hay sử dụng cho những hệ thống tìm kiếm thông tin như một dữ liệu đã
qua bước tiền xử lý.
2.2.2 So sánh rút trích thông tin và tìm kiếm thông tin.
Tìm kiếm thông tin (IR – Information Retreival) là phương pháp tìm kiếm những
tài liệu có thông tin phù hợp với những tiêu chí đặt ra ban đầu trong một khối lượng lớn
tài liệu. IE và IR có điểm chung là đem đến cho người dùng những thông tin cần thiết
nhưng IE và IR hoàn toàn khác nhau :
+ Hệ thống IR tập trung vào việc tìm kiếm những văn bản liên quan và đem đến

cho người dùng.
+ Hệ thống IE là phân tích văn bản và chỉ mang đến cho người dùng những mẫu
tin phù hợp mà người dùng quan tâm.

12

HỆ CHUYÊN GIA


Ví dụ: lấy bối cảnh trong nhà sách, một hệ thống IE sẽ tìm kiếm tất cả các tên và
địa chỉ công ty có trong tất cả những tài liệu trong nhà sách. Thông tin này sẽ được định
dạng rõ ràng theo một cấu trúc nào đó và trình bày cho người dùng. Trong khi đó, hệ
thống IR sẽ tìm kiếm ra những cuốn sách có liên quan đến một công ty nào đó. Thông tin
công ty đưa vào tức là yêu cầu của người dùng và kết quả thu được từ hệ thống IR là tập
hợp những cuốn sách thỏa mãn yêu cầu đó.
Tùy vào từng ngữ cảnh, từng bài toán mà độ phức tạp của hệ thống sẽ khác nhau
nhưng cũng có trường hợp IE kết hợp với IR trong một hệ thống nào đó.
2.2.3 Hệ thống rút trích thông tin từ các trang web.
2.2.3.1 Khái niệm.
Rút trích thông tin từ web là quá trình lấy thông tin từ các trang web và chuyển
thành thành dạng đồng nhất.
Nhiệm vụ chính của các trang web tìm kiếm hiện nay trả về cho người dùng những
tài liệu có sự tương thích cao với những từ khóa mà người dùng đưa vào. Tuy nhiên,
trong khối lượng thông tin vô cùng khổng lồ trên web như hiện nay, tồn tại rất nhiều các
đối tượng trong những trang web nổi hoặc Nn mà người dùng mong muốn như: thông tin
con người, sản phẩm, bài báo, thông tin về tổ chức, các sự kiện,…. Nếu như các đối
tượng này được rút trích ra từ web rồi tổng hợp lại và cho người dùng tìm kiếm theo một
tiêu chí hoặc theo một chủ đề nào đó, người dùng sẽ có được một công cụ tìm kiếm
hướng đối tượng hiệu quả và thỏa mãn hơn.
1.2.3.2Phân loại hệ thống rút trích thông tin từ web.

Ngày nay, có rất nhiều hệ thống rút trích thông tin từ web được các nhà phát triển
nghiên cứu và xây dựng. Các tiêu chí để phân loại một hệ thống rút trích thông tin từ web
như sau :
- Dựa vào mức độ can thiệp của con người trong quá trình rút trích thông tin : các
hệ thống rút trích thông tin có thể được chia ra làm 4 loại: thủ công, có giám sát, bán
giám sát và không giám sát. Trong đó, các hệ thống hoàn toàn tự động, không có sự can
thiệp của con người đang được các nhà nghiên cứu quan tâm nhất
- Dựa vào tầng dữ liệu được rút trích: một trang web sẽ có nhiều trang HTML, một
trang HTML sẽ có nhiều record và một record sẽ có nhiều thuộc tính. Do đó, dựa vào kết
quả thông tin rút trích được ở tầng nào, các hệ thống rút trích được chia ra làm 4 loại:
tầng thuộc tính (attribute), tầng record, tầng trang HTML (page) và tầng trang web (site).
13

HỆ CHUYÊN GIA


Hiện tại các hệ thống xử lý ở tầng thuộc tính và record chiếm đa số. Và cho đến nay, vẫn
chưa thấy xuất hiện các hệ thống rút trích thông tin ở tầng site.
- Dựa vào các phương pháp rút trích thông tin : các hệ thống rút trích thông tin
cũng được chia thành 3 dạng :
+ Các hệ thống dựa trên các phương pháp thủ công: sử dụng các phương
pháp gán nhãn, các cách lấy thông tin trực tiếp từ cơ sở dữ liệu hoặc từ các dịch vụ
web (web service).
+ Các hệ thống dựa trên các phương pháp heuristic: các phương pháp thống
kê, tập luật, sử dụng các mẫu thông tin, dựa vào cấu trúc cây,… được sử dụng để
rút trích thông tin.
+ Các hệ thống dựa trên các phương pháp học: sử dụng các phương pháp
mô hình Markov, ngữ nghĩa, học trên cấu trúc cây,… để giúp cho các hệ thống
hiểu và rút trích thông tin chính xác hơn.
1.2.3.3 Khảo sát một số ứng dụng rút trích thông tin từ web.

Web-Harvest là công cụ mã nguồn mở để rút trích dữ liệu Web. Công cụ cung cấp
một phương pháp để thu thập các trang Web mong muốn và rút trích dữ liệu hữu ích từ
chúng. Đó là sử dụng các kỹ thuật thao tác trên text/xml như XSLT, XQuery và biểu thức
quy tắc. Do các sử dụng một số logic nên cần thiết để mô tả quá trình làm thế nào để lấy
dữ liệu mong muốn từ nội dung hỗn hợp. Tất cả các thủ tục rút trích trong Web-Harvest
là người dùng định nghĩa thông qua các tệp tin cấu hình XML.Mỗi tập tin cấu hình mô tả
các trình tự xử lý thực hiện một số nhiệm vụ để được mục tiêu cuối cùng.
RoadRunner hoạt động dựa trên thuật toán học không giám sát. Mục đích của
công cụ là rút trích được các dữ liệu từ những trang web có lượng lớn dữ liệu và cấu trúc
ít thay đổi.RoadRunner hoạt động bằng cách so sánh cấu trúc HTML của các trang mẫu
cùng loại và tạo ra một lược đồ cho các dữ liệu chứa trong các trang từ những thẻ HTML.
Dynamo nhấn mạnh việc rút trích dữ liệu qua các trang web ở những trang HTML
tĩnh và cung cấp dịch vụ mới. Những công cụ hiện nay khi rút trích hoàn tất thường gặp
nhiều khó khăn để quản lý việc tạo ra các tập dữ 25 liệu có thể hiển thị một cách đơn giản
nhất (RSS feeds) nhưng lại gặp một số hạn chế như nguồn cấp dữ liệu cũ có thể không
được quan tâm và thường bị xóa từ các máy chủ và máy chủ truyền thống không thể thực
hiện các truy vấn trực tiếp. Ngược lại, với Dynamo sẽ :
+ Tự động phát sinh RSS từ những dữ liệu của trang web tĩnh.
14

HỆ CHUYÊN GIA


+ Lưu trữ các nguồn cung cấp dữ liệu theo thứ tự thời gian.
+ Truy vấn và tổng hợp thành các dịch vụ web.
Nhận xét: Các công cụ rút trích thông tin từ web này phần lớn chỉ có thể áp dụng
cho các trang web nổi. Vậy đối với các trang web ẩn, chúng ta có thể sử dụng lại các
công cụ này hay phải xây dựng một hệ thống mới. Nếu các công cụ này có thể tái sử
dụng thì đối với các nhà phát triển, việc tái sử dụng sẽ được tiến hành như thế nào?
2.3 Bài toán cần giải quyết.

Rút trích thông tin từ các trang web dựa trên chủ đề là một trong những hướng
nghiên cứu nhận được nhiều quan tâm. Vấn đề trở nên quan trọng khi các trang web đang
ngày một gia tăng và nhu cầu sử dụng thông tin của người dùng được nâng cao.
Những công cụ phân tích các luồng và các chủ đề thông tin trở nên cần thiết khi
giúp người dùng có một cái nhìn tổng quát và định hướng thông tin tốt hơn. Những nhân
viên làm việc với các tập dữ liệu văn bản lớn như các nhà làm luật, các nhà báo, những
nhà thống kê … có thêm công cụ để duyệt qua các mảng thông tin dễ dàng hơn theo các
chủ đề.
Đối với những trang web ẩn với nội dung động, thông thường người dùng phải sử
dụng các trang tìm kiếm thông tin của trang web đó.Điều này làm cho người dùng phải
tốn rất nhiều thời gian và chi phí để có thể có được thông tin mình muốn đặc biệt là các
thông tin từ các trang web ẩn.
Hiện nay có nhiều công cụ đã được các nhà nghiên cứu phát triển. Tuy nhiên các
công cụ này thường được dùng với 1 chủ đề cụ thể kèm một số ít trang web Nn và một
thuật toán cố định như về “Chuyến bay”, về “Việc làm”… Điều này làm cho các nhà phát
triển rất khó khăn khi mở rộng hay thay đổi các thành phần trong hệ thống. Các nhà phát
triển mong muốn có được một hệ thống có thể dễ dàng bổ sung hay thay đổi các chủ đề,
các trang web, các thuật toán… cũng như dễ dàng cho công tác bảo trì và mở rộng từ các
thành phần trong hệ thống.
So

Máy tìm kiếm liên hợp

Sánh

Giố
ng nhau

Hệ thống xây dựng

Gửi yêu cầu đến các
Gửi yêu cầu đến các đối tượng
đối tượng web và xử lý kết web và xử lý kết quả trả về
quảtrả về
Là thành phần trung
Là thành phần trung gian nên
gian nên không có lưu dữ không có lưu dữ liệu trang web
liệu trang web
15

HỆ CHUYÊN GIA


Khá
c nhau

Dữ liệu trả về được
xử lý có thể hiển thị cho
người dùng hoặc lưu trữ
Tìm kiếm thông tin
Đối tượng gửi yêu cầu
là các trang tìm kiếm
Số lượng đối tượng cần
gửi yêu cầu là ít
Gửi từ khóa tìm kiếm
Tốn ít chi phí cho việc
xây dựng các thuộc tính form
Tập trung vào các
thuật toán xử lí kết quả từ các
máy tìm kiếm khác như tổng

hợp và xếp hạng.

Dữ liệu trả về được xử lý có
thể hiển thị cho người dùng hoặc lưu
trữ
Rút trích thông tin
Đối tượng gửi yêu cầu là các
trang web ẩn
Số lượng các trang web Nn cần
gửi yêu cầu là nhiều
Gửi các thuộc tính ứng với chủ đề
rút trích
Tốn nhiều chi phí và tài
nguyên cho việc xây dựng và lưu trữ
các thuộc tính form
Tập trung vào cách thức xây
dựng các thuộc tính form, gửi các
yêu cầu đến các trang web Nn và rút
trích kết quả trảvề

Bảng .1: So sánh hệ thống xây dựng và máy tìm kiếmliên hợp
2.4 Các kỹ thuật rút trích thông tin.
Dữ liệu đầu vào cho bài toán trích rút thông tin rất đa dạng và phong phú.Dữ liệu
có thể là dạng không cấu trúc, bán cấu trúc hoặc có cấu trúc, dữ liệu có thể được trích rút
trực tuyến (on-line) hoặc ngoại tuyến (off-line). Chi tiết như sau:
Dữ liệu không cấu trúc: Dữ liệu không cấu trúc thường dùng để chỉ dữ liệu ở
dạng tự do và không cần có cấu trúc định nghĩa sẵn ví dụ như ngôn ngữ tự nhiên.


Dữ liệu có cấu trúc: Dữ liệu có cấu trúc thường dùng để chỉ dữ liệu lưu trữ trong

các hệ quản trị cơ sở dữ liệu quan hệ như MS SQL Server hay MySQL, trong đó các
thực thể và các thuộc tính được định nghĩa sẵn.


Dữ liệu bán cấu trúc: Là dữ liệu có cấu trúc nhưng không hoàn toàn tường minh,
nó không tuân theo những cấu trúc, cách thức cấu trúc của bảng và các mô hình dữ liệu
trong cơ sở dữ liệu nhưng nó chứa những thẻ, những đánh dấu tới những phần tử ngữ
nghĩa riêng biệt của các bản ghi và các trường riêng biệt bên trong dữ liệu .Dữ liệu từ
các trang web là một dạng tiêu biểu cho dữ liệu bán cấu trúc. Trong luận văn này tập
trung vào giải quyết bài toán trích rút thông tin từ dữ liệu bán cấu trúc ngoại tuyến (thu
thập dữ liệu về và trích rút thông tin).


16

HỆ CHUYÊN GIA


Có nhiều cách tiếp cận để giải quyết bài toán trích rút thông tin, tuy nhiên nếu dựa
trên đặc trưng dữ liệu thì bài toán trích rút thông tin có thể giải quyết bằng một số kỹ
thuật sau:
Dữ liệu có cấu trúc: Được lưu trữ trong CSDL, việc lấy thông tin thông qua các
truy vấn người dùng (mệnh đề SELECT)


Dữ liệu bán cấu trúc: Các trang web đại diện cho dữ liệu loại này. Có hai kỹ
thuật thường xuyên được dùng để trích rút thông tin trên web đó là sử dụng cấu trúc cây
DOM và sử dụng biểu thức chính quy.


Dữ liệu không có cấu trúc: Với dữ liệu không có cấu trúc, bài toán trích rút
thông tin có thể coi là bài toán nhận dạng và trích rút thực thể như: tên người, tên tổ
chức, vị trí, ngày tháng, số…


17

HỆ CHUYÊN GIA


CHƯƠNG 3 : HỆ THỐNG TRÍCH RÚT THỰC THỂ ỨNG DỤNG TRONG PHÂN
TÍCH KINH TẾ
3.1 Bài toán trích rút thông tin.
Phát biểu bài toán trích rút thông tin:
Trích rút thông tin (Information Extraction – IE) là một lĩnh vực của khai phá dữ
liệu (Data Mining) có nhiệm vụ lấy ra các mẫu thông tin “có ích” đối với người dùng.
Theo Jaeyoung Yang và cộng sự, trích rút/trích xuất thông tin (IE) là bài toán nhận
dạng những thành phần thông tin cụ thể của một văn bản, những thành phần này chính là
hạt nhân tạo nên nội dung ngữ nghĩa của văn bản đó [8].
Nói một cách đơn giản, trích rút/trích xuất thông tin là quá trình xử lý thông tin,
đầu vào là một văn bản và đầu ra là các thông tin “có giá trị” với người dùng. Thông tin
“có giá trị” ở đây có thể hiểu là các thực thể, các thuộc tính mô tả thực thể và mối quan
hệ giữa các thực thể. Dữ liệu được trích rút ra có nội dung và cấu trúc thỏa mãn yêu cầu
người dùng.
Có thể phát biểu bài toán trích rút thông tin như sau:
Đầu vào: Văn bản có cấu trúc bất kỳ.
Đầu ra: Thông tin “có ích” được tổ chức dưới dạng cấu trúc.
3.2 Yêu cầu và mục tiêu của hệ thống
• Yêu cầu:
- Đề tài : Xây dựng hệ thống trích rút thực thể ứng dụng trong phân tích kinh

tế.
• Mục tiêu:
- Xây dựng hệ thống tổng hợp tin kinh tế từ trang web (chỉ lấy những tin về
kinh tế).
- Tổng hợp lại thành bảng bao gồm: tên công ty, địa chỉ, doanh thu trong
từng năm.
3.3 Xây dựng website tổng hợp tin kinh tế.
3.3.1.RSS là gì ?
RSS (Really Simple Syndication) là một dạng thức công nghệ cung cấp và khai
thác mọi thông tin trên Internet theo nhu cầu của người dùng, tạm dịch là “Giao thức
18

HỆ CHUYÊN GIA


cung cấp thông tin đơn giản theo thời gian thực”. Đây là một dạng công nghệ săn tin
“giùm” cho người đọc trên toàn bộ những trang web có tích hợp RSS, thay vì mất thời
gian bật hết trang web này đến trang web khác để đọc tin.
Công nghệ của RSS cho phép người dùng Internet có thể đặt mua thông tin từ các
websites có cung cấp khả năng RSS (RSS feeds).Chúng thường là các site có nội dung
thay đổi và được thêm vào thường xuyên.
Định dạng RSS cung cấp nội dung web và tóm lược nội dụng web cùng với các
liên kết đến phiên bản đầy đủ của nội dung tin đó, và các siêu-dữ-liệu (meta-data) khác.
Thông tin này được cung cấp dưới dạng một tập tin XML được gọi là một RSS feed,
webfeed, RSS stream, hay RSS channel. Cùng với việc hỗ trợ cung cấp chia sẻ thông tin,
RSS cho phép những độc giả thường xuyên của một website có thể theo dõi các cập nhật
của site đó dùng một aggregator.
3.3.2 Hệ thống tổng hợp tin kinh tế.
• Hệ thống của chúng emthực hiện trích rút tin kinh tế từ các website có hỗ trợ
đọc tin thông qua RSS như Dantri, Vnexpress, Vietnamnet,...

• Các bước lấy tin tự động qua RSS :
- Bước 1: Lấy link rss mục kinh tế của website hỗ trợ rss.
- Bước 2: Xem cấu trúc xml.
- Bước 3: Hiển thị trang web theo cấu trúc.
3.4 Trích rút thực thể dựa theo các mẫu biểu thức chính qui .
Trích chọn thông tin là lĩnh vực quan trọng trong khai phá dữ liệu, trong đó trích
chọn thực thể là một bài toán con, cơ bản nhưng đóng vai trò hết sức quan trọng.Nó có
thể được sử dụng để hỗ trợ cho phương pháp tìm kiếm mới – tìm kiếm hướng thực thể, và
góp phần quan trọng cho việc xây dựng web ngữ nghĩa.
Đôi khi bạn cần kiểm tra dữ liệu nhập vào có đúng với cấu trúc và nội dung được
quy định trước hay không hay bạn muốn trích rút nội dung theo một quy chuẩn nào đó
trong văn bản . Ví dụ, bạn muốn bảo đảm người dùng nhập địa chỉ IP, số điện thoại, hay
địa chỉ e-mail hợp lệ. Khi đó, bạn sẽ cần tới Regular Expression (RegEx), hay còn gọi là
'Biểu thức chính quy". Ngoài việc kiểm tra dữ liệu đầu vào biểu thức chính quy còn được
dùng để giải quyết bài toàn rút trích dữ dữ liệu trong dữ liệu bán cấu trúc (các trang web).

19

HỆ CHUYÊN GIA


3.4.1 Biểu thức chính quy.
Biểu thức chính quy (tiếng Anh: regular expression, viết tắt là regexp, regex hay
regxp) là một chuỗi miêu tả một bộ các chuỗi khác, theo những quy tắc cú pháp nhất
định. Biểu thức chính quy thường được dùng trong các trình biên tập văn bản và các tiện
ích tìm kiếm và xử lý văn bản dựa trên các mẫu được quy định.Nhiều ngôn ngữ lập trình
cũng hỗ trợ biểu thức chính quy trong việc xử lý chuỗi, chẳng hạn như Perl có bộ máy
mạnh mẽ để xử lý biểu thức chính quy được xây dựng trực tiếp trong cú pháp của chúng.
Bộ các trình tiện ích (gồm trình biên tập sed và trình lọc grep) đi kèm các bản phân phối
Unix có vai trò đầu tiên trong việc phổ biến khái niệm biểu thức chính quy. Việc sử dụng

Regex sẽ giúp ta loại bỏ được các dữ liệu không hợp lệ trong quá trình nhập liệu.
Khi ứng dụng nhận dữ liệu từ người dùng hoặc đọc dữ liệu từ file, bạn nên giả
định dữ liệu này là chưa chính xác và cần được kiểm tra lại. Một nhu cầu kiểm tra khá
phổ biến là xác định các số điện thoại, số thẻ tín dụng, địa chỉ e-mail có đúng dạng hay
không. Việc kiểm tra cấu trúc và nội dung của dữ liệu không đảm bảo dữ liệu là chính
xác nhưng giúp loại bỏ nhiều dữ liệu sai và đơn giản hóa việc kiểm tra sau này. Biểu thức
chính quy (regular expression) cung cấp một cơ chế rất tốt để kiểm tra một chuỗi có đúng
với cấu trúc quy định trước hay không, do đó bạn có thể lợi dụng tính năng này cho mục
đích kiểm tra dữ liệu nhập.
3.4.2 Xây dựng một biểu thức chính quy.
Trước tiên, bạn phải xác định cú pháp của biểu thức chính quy cho phù hợp với
cấu trúc và nội dung của dữ liệu cần kiểm tra, đây là phần khó nhất khi sử dụng biểu thức
chính quy. Biểu thức chính quy được xây dựng trên hai yếu tố: trực kiện (literal) và siêu
ký tự (metacharacter) :
-

Trực kiện mô tả các ký tự có thể xuất hiện trong mẫu mà bạn muốn so trùng
Siêu ký tự hỗ trợ việc so trùng các ký tự đại diện (wildcard), tầm trị, nhóm,
lặp, điều kiện, và các cơ chế điều khiển khác

Dưới đây là bảng liệt kê các siêu ký tự thường dùng :
Siêu
ký tự
.

Mô tả
Mọi ký tự trừ ký tự xuống dòng (\n)
20

HỆ CHUYÊN GIA

\d
\D
\s

Ký tự chữ số thập phân (digit)
Ký tự không phải chữ số (non-digit)
Ký tự whitespace (như khoảng trắng, tab...)

\S
\w
\W
^
\A
$
\z

Ký tự non-whitespace
Ký tự word (gồm mẫu tự, chữ số, và dấu gạch dưới)
Ký tự non-word
Bắt đầu một chuỗi hoặc dòng
Bắt đầu một chuỗi
Kết thúc một chuỗi hoặc dòng
Kết thúc một chuỗi
Ngăn cách các biểu thức có thể so trùng, ví dụ AAA|ABA|ABB sẽ
|
so trùng với AAA, ABA, hoặc ABB (các biểu thức được so trùng từ trái
sang)
[abc

So trùng với một trong các ký tự trong nhóm, ví dụ [AbC] sẽ so
]
trùng với A, b, hoặc C
[^ab
So trùng với bất cứ ký tự nào không thuộc các ký tự trong nhóm,
c]
ví dụ [^AbC] sẽ không so trùng với A, b, or C nhưng so trùng với B, F,…
So trùng với bất kỳ ký tự nào thuộc khoảng này, ví dụ [A-C] sẽ so
[a-z]
trùng với A, B, hoặc C
Xác định một biểu thức con sao cho nó được xem như một yếu tố
()
đơn lẻ đối với các yếu tố được trình bày trong bảng này
Xác định có một hoặc không có ký tự hoặc biểu thức con đứng
?
trước nó, ví dụ A?B so trùng với B, AB, nhưng không so trùng với AAB
Xác định không có hoặc có nhiều ký tự hoặc biểu thức con đứng
*
trước nó, ví dụ A*B so trùng với B, AB, AAB, AAAB,…
Xác định có một hoặc có nhiều ký tự hoặc biểu thức con đứng trước
+
nó, ví dụ A+B so trùng với AB, AAB, AAAB,… nhưng không so trùng
với B
Xác định có đúng n ký tự hoặc biểu thức con đứng trước nó, ví dụ
{n}
A{2} chỉ so trùng với AA
Xác định có ít nhất n ký tự hoặc biểu thức con đứng trước nó, ví dụ
{n,}
A{2,} so trùng với AA, AAA, AAAA,… nhưng không so trùng với A
{n,

Xác định có từ n đến m ký tự đứng trước nó, ví dụ A{2,4} so trùng
m}
với AA, AAA, và AAAA nhưng không so trùng với A hoặc AAAAA
Bảng 3.2: Bảng liệt kê các siêu ký tự thường dùng.
Khi dữ liệu cần kiểm tra càng phức tạp thì cú pháp của biểu thức chính quy cũng
càng phức tạp.Ví dụ, dễ dàng kiểm tra dữ liệu nhập chỉ chứa số hay có chiều dài tối thiểu,
nhưng kiểm tra một URL khá phức tạp.
21

HỆ CHUYÊN GIA


3.4.3 Sử dụng biểu thức chính quy trong C#.
Một khi đã biết cú pháp của biểu thức chính quy, bạn tạo một đối tượng Regex
(nằm trong namespace System.Text.RegularExpression ) bằng cách truyền cho phương
thức khởi dựng của nó chuỗi chứa biểu thức chính quy. Sau đó, gọi phương thức IsMatch
của đối tượng Regex và truyền chuỗi cần kiểm tra, phương thức này trả về một giá trị
luận lý cho biết chuỗi có hợp lệ không. Cú pháp của biểu thức chính quy sẽ chỉ định
Regex so trùng toàn bộ chuỗi hay chỉ so trùng một phần của chuỗi.
Ta có thể sử dụng đối tượng Regex để kiểm tra nhiều chuỗi, nhưng không thể thay
đổi biểu thức chính quy được gắn cho nó; bạn phải tạo một đối tượng Regex mới tương
ứng với một cấu trúc mới.
3.4.4 Biểu thức chính quy trong trích rút thực thể.
Với một biểu thức chính qui, một otomat hữu hạn trạng thái có thể được xây dựng
và được sử dụng để so khớp sự xuất hiện của nó trong chuỗi tuần tự các trang web.Trong
quá trình này, dữ liệu có thể được trích xuất.
Ví dụ: Với mã HTML như sau:
<head>
<meta http-equiv="Content-Language" content="en-us">
<meta http-equiv="Content-Type" content="text/html; charset=windows-1252">

<title>Tinh Tong cua cac so tu 1->n</title>
</head>
Để lấy được phần tiêu đề của đoạn mã này thì ta có thể xây dựng biểu thức chính
qui như sau: <head>.*?<title>(#text)</title>

22

HỆ CHUYÊN GIA


CHƯƠNG 4: XÂY DỰNG CHƯƠNG TRÌNH
* Một số giao diện chương trình.
- Giao diện tổng hợp về các tin kinh tế.

Hình 3.4:Giao diện tổng hợp về các tin kinh tế.

-

Giao diện trích rút thông tin
23

HỆ CHUYÊN GIA


Hình 3.5: Giao diện trích rút thông tin

24

HỆ CHUYÊN GIA

KẾT LUẬN
Những kết quả đã đạt được :
Xây dựng được hệ thống trích rút thực thể ứng dụng trong phân tích kinh tế đảm
bảo được một số công việc như :
+
+
+

Xây dựng được hệ thống trích rút thông tin.
Tổng hợp tin tức kinh tế từ mộ số trang web có hỗ trợ đọc tin rss
Trích rút các thông tin kinh tế , thời sự trong ngày

Hướng phát triển :
Trong tương lai chúng em sẽ cố gắng phát triển hệ thống nhằm mục đích tổng hợp
được tin tức từ nhiều trang web hơn và trích xuất thông tin một cách chính xác hơn.
Tổng kết :
Mặc dù đã rất cố gắng, xong do kiến thức còn hạn hẹp nên không thể tránh khỏi
những sai sót. Nhìn chung, chương trình đã đáp ứng được yêu cầu đề ra, đó là tổng hợp
được tin tức kinh tế từ một số trang web và trích rút được tên công ty, địa chỉ, doanh thu
xuất hiện trong nội dung bài báo.
Chúng em rất mong nhận được nhiều ý kiến đóng góp, góp ý về đề tài của thầy cô
và các bạn để chúng em rút ra được kinh nghiệm cũng như những kiến thức còn chưa rõ,
để cách nghiên cứu và phát triển có thể hoàn thiện hơn.

25

HỆ CHUYÊN GIA