Tài liệu 5 thách thức lớn của công nghệ tìm kiếm kế tiếp doc

5 thách thức lớn của công nghệ tìm kiếm kế tiếp
Nhu cầu hiện hữu hoặc chưa hiện hữu. Ngày nay, chúng ta khá thỏa mãn với
những gì mà Google mang lại. Nhưng chưa chắc cảm giác này còn tồn tại ở
tương lai. Ngay cả với cha đẻ Google, Search Engine do họ tạo ra sẽ không
dừng ở khả năng hiện tại bởi những nhu cầu sắp tới, sự cạnh tranh dữ dội từ
đối thủ và thách thức phát triển của Internet. Bằng hiểu biết hạn hẹp, người
viết xin được đưa ra 5 vấn đề lớn mà các máy tìm kiếm đã, đang và sẽ cần
giải quyết trong tương lai gần.
Thách thức thứ nhất: Dữ liệu Web 2.0

Không cần phải đề cập nhiều, sự bùng nổ của Web 2.0 kéo theo trào lưu
người dùng tham gia tạo nội dung trên Internet. Sự bùng nổ này là một thách
thức lớn với việc xử lý dữ liệu trong hệ thống máy tìm kiếm.

Khoảng 5 năm trở lại đây, dữ liệu gia tăng đột biến về lượng. Lượng dữ liệu
này tồn tại trên các diễn đàn, blog, wiki, social network, multimedia
service, cùng với một lượng dữ liệu rác khổng lồ đang được tạo ra hàng
ngày. Bằng giải pháp lưu trữ và xử lý phân tán, máy tìm kiếm hiện tại giải
quyết khá hoàn hảo nhiệm vụ này. Tuy nhiên, tốc độ tăng trưởng dữ liệu
chẳng những không ngừng mà thậm chí còn mạnh hơn. Đồng nghĩa với nó,
chi phí băng thông, phần cứng lưu trữ, năng lực phần mềm, năng lượng,
duy trì trung tâm dữ liệu sẽ tăng lên đặt ra những thách thức về giá: giá phát
triển và giá vận hành hệ thống search engine.

Không phải bất cứ nhà quản trị nào cũng muốn Google đánh chỉ mục
Website của họ. Và cũng có rất nhiều trang bắt người dùng đăng ký thành
viên mới cho phép xem nội dung. Mỗi khi Crawler ghé thăm site là một lần
trang Web bị ngốn băng thông rất lớn, có thể vượt xa với lượng người vào
trang mỗi ngày.

Dịch vụ mạng 2.0 bùng nổ, dữ liệu cá nhân được sinh ra và tồn tại trên

Internet ngày càng nhiều. Chúng có thể được bảo vệ bởi sự riêng tư hoặc rất
khó truy vấn theo phương pháp lần liên kết (link) thông thường. Hơn nữa,
nhiều Web 2.0 sử dụng script để sinh URL hoặc chọn phương thức Post
(HTTP Post) khi truy vấn dữ liệu. Vậy làm sao để máy tìm kiếm có thể quét
hết dữ liệu trên Internet? Đây là một thách thức khó khăn đặt ra cho Crawler
của các Search Engine. Dĩ nhiên, không phải đến thời 2.0, Search Engine
mới phải đối mặt với Invisible Web (Web ẩn) nhưng khi mạng dịch vụ dữ
liệu bùng nổ, Invisible web trở nên phức tạp và và rắc rối hơn nhiều.

Cập nhật dữ liệu thời gian thực cũng là một nhu cầu. Bài báo đăng tải trên
CNN có thể dễ dàng tìm thấy ngay khi có truy vấn gửi tới Google. Cập nhật
thời gian thực với một lượng nhỏ dữ liệu thì không quá khó khăn, nhưng các
máy tìm kiếm phải xử lý đến hàng tỉ loại dữ liệu trong một ngày. Đây là
thách thức đặt ra cho việc đánh chỉ mục trong các hệ thống Search Engine.

Thách thức thứ hai: Lọc bỏ dữ liệu rác và trùng lặp

Như đã đề cập ở phần trên, chi phí về mặt lưu trữ phải được tính toán sao
cho rẻ nhất. Do đó, càng ít dữ liệu nháp, ít dữ liệu trùng lặp càng tốt. Những
dữ liệu kiểu này còn ảnh hưởng đến tốc độ tiếp cận và chất lượng kết quả
search trả về cho người dùng. Trong khi vấn nạn thư rác đang hoành hoành
thì vấn nạn dữ liệu rác cũng làm đau đầu các công cụ tìm kiếm