Tóm tắt đề án nghiên cứu và ứng dụng cơ sở dữ liệu đồ thị vào bài toán quản lý khách hàng

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>Trần Thị Kim Lan</b>

<b>NGHIÊN CỨU VÀ ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ VÀO BÀI TỐN QUẢN LÝ KHÁCH HÀNG</b>

<b>Chun ngành: Hệ thống thơng tin</b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<b>HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG</b>

<b>Người hướng dẫn khoa học: GS.TS TỪ MINH PHƯƠNG</b>

<i>(Ghi rõ học hàm, học vị)</i>

Phản biện 1: TS. Lê Quốc Hưng

Phản biện 2: PGS.TS. Nguyễn Mạnh Hùng

Đề án tốt nghiệp sẽ được bảo vệ trước Hội đồng chấm đề án tốtnghiệp thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thơng

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

<b>MỞ ĐẦU</b>

<b>1.Đặt vấn đề</b>

Viễn thơng Hà Nội, chi nhánh tập đồn VNPT cũng đã áp dụng triển khai giải pháp ERP từ rất sớm, tuy nhiên trong quá trình triển khai thực hiện phát sinh rất nhiều vấn đề cần đầu tư nghiên cứu, cải tiến để nâng cao hiệu suất cũng như khả năng mở rộng

Quản lý khách hàng là phân hệ trọng tâm, nắm giữ các thông tin cần thiết ảnh hưởng đến sự phát triển của doanh nghiệp.

Khi lượng khách hàng bùng nổ cùng sự đa dạng của dịch vụ trong những năm gần đây, mơ hình hệ thống đang triển khai đã gặp phải một số khó khăn mặc dù phân hệ được đầu tư rất nhiều cả về công nghệ lẫn thiết kế:

- Tổng hợp dữ liệu chậm dần khi khối lượng dữ liệu trưởng nhanh.

- Khó khăn khi điều chỉnh thường xuyên CSDL về kiến trúc để đáp ứng công tác cung cấp dịch vụ.

- Hệ thống hạ tầng phải tăng cường, mở rộng thường xuyên đáp ứng nhu cầu lưu trữ hoặc tốc độ xử lý.

Các khó khăn trên gây tốn kém cả về nhân lực, thời gian và tài chính. Do đó, cần nghiên cứu giải pháp xử lý, có thể tiếp cận theo từng bước để tiến dần tới thay đổi hoặc chuyển đổi hệ thống sẵn có.

<b>2.Đề xuất nghiên cứu</b>

Luận văn trình bày nội dung nghiên cứu, tìm hiểu giải pháp thử nghiệm giải quyết bài toán Quản lý khách hàng của Viễn thông Hà Nội trên mô hình CSDL đồ thị với phạm vi như sau:

- Nghiên cứu các khái niệm, mơ hình CSDL đồ thị

- Chọn Neo4j – một CSDL đồ thị mạnh và phổ biến để thử nghiệm.

- Phân tích mơ hình dữ liệu của bài tốn trên cả hai mơ hình: quan hệ - đồ thị, đánh giá ưu/nhược điểm của từng mơ hình.

- Nghiên cứu giải pháp chuyển đổi CSDL từ quan hệ sang đồ thị.

- Xây dựng chương trình demo đánh giá khả năng phát triển ứng dụng trên CSDL đồ thị.

- Xây dựng kịch bản và thử nghiệm so sánh hiệu năng (thời gian) truy vấn trên cả hai CSDL với một số câu lệnh thường sử dụng.

<b>3.Bố cục luận văn</b>

Luận văn chia làm các phần:

<i>Mở đầu: Đặt vấn đề, phân tích vấn đề thực tiễn và đề xuất hướng nghiên cứu, nêu các</i>

mục tiêu cần đạt được.

<i>Chương 1: Phát biểu bài tốn, giới hạn phạm vi thực hiện . Trình bày các nghiên cứu về</i>

cơ sở dữ liệu đồ thị và hệ quản trị CSDL đồ thị Neo4j.

<i>Chương 2: Phân tích giải pháp giải quyết bài tốn Quản lý khách hàng trên các mơ hình</i>

cơ sở dữ liệu quan hệ và đồ thị (mơ hình, ưu/nhước điểm). Đề xuất các phép đo kiểm cho phần thử nghiệm.

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<i>Chương 3: Trình bày ngắn gọn thiết kế chương trình demo với mục đích đánh giá khả</i>

năng phát triển ứng dụng trên CSDL đồ thị. Xây dựng kịch bản đánh giá hiệu năng (thời gian) trên cả hai CSDL quan hệ và đồ thị với một số câu truy vấn thường sử dụng.

<i>Kết luận: Tóm tắt lại kết quả nghiên cứu, phân tích đánh giá khả năng áp dụng, mở rộng.Phụ lục: Các câu lệnh thực hiện truy vấn thử nghiệm. </i>

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

<b>CHƯƠNG 1: TỔNG QUAN</b>

<b>1.1.</b>

<b>Bài toán Quản lý khách hàng (VNPT – Hà Nội)</b>

Bài toán Quản lý khách hàng có số lượng thực thể quan hệ khơng nhiều nhưng có các đặc tính phù hợp cho việc phân tích: dữ liệu lớn và tăng trưởng theo thời gian, thuộc tính dữ liệu thay đổi do các nghiệp vụ phát sinh.

Bài toán chỉ là một phân hệ quản lý nhưng lại có vị trí rất quan trọng:

- Quản lý và cung cấp thông tin khách hàng cho các phân hệ khác: chăm sóc khách hàng, tính cước, điều hành phát triển dịch vụ…

Hỗ trợ tổng hợp số liệu các báo cáo phân tích, dự đốn tình hình phát triển hoặc cơ sở quyết định cho các chính sách kinh doanh

<b>Hình 1.1 Mơ hình tổng thể hệ thống quản trị doanh nghiệp</b>

Bài toán quản lý mối quan hệ khách hàng là dạng bài toán quản lý thường được triển khai trên mơ hình Cơ sở dữ liệu quan hệ với độ phức tạp tùy theo từng mô hình kinh doanh. Việc bổ sung thuộc tính mới đáp ứng các yêu cầu nghiệp vụ thường dẫn tới phải chỉnh sửa lại cấu trúc các bảng dữ liệu, đồng thời tốc độ truy vấn giảm khi lượng dữ liệu tăng cao. Triển khai bài tốn trên mơ hình cơ sở dữ liệu đồ thị có thể là một hướng đi đúng đắn có thể khắc phục các hạn chế trên, cụ thể:

- Mơ hình hóa đồ thị thuộc tính rất trực quan dễ tiếp cận - CSDL đồ thị hỗ trợ bổ sung thuộc tính dữ liệu mềm dẻo.

- Thực hiện truy vấn dựa trên phép duyệt đồ thị và dựa vào các mối quan hệ đã định nghĩa sẵn nên tốc độ truy vấn ít biến động khi dữ liệu tăng.

<b>1.2.Cơ sở dữ liệu đồ thị</b>

NoSQL là tên gọi chung cho các CSDL mã nguồn mở nhưng không sử dụng SQL làm ngôn ngữ truy vấn.

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

<i><b>1.2.1.Khái niệm</b></i>

1.2.1.1.Mơ hình hóa

Mơ hình hóa là hoạt động với mục đích đưa các vấn đề cụ thể vào một khơng gian có cấu trúc có thể thao tác được với các vấn đề trong khơng gian đó.

- Nút, quan hệ có các thuộc tính được thể hiện theo key-value - Mối quan hệ: được đặt tên, có nút đầu và nút cuối

Đồ thị thuộc tính thường rất trực quan, có thể mơ tả đa số các trường hợp sử dụng.

1.2.1.3.Mơ hình hóa dữ liệu

Về cơ bản, khi thiết kế CSDL đồ thị cũng tương tự thiết kế CSDL quan hệ, mơ hình đồ thị thuộc tính với sơ đồ thực thể kết hợp cũng khá tương đồng.

Phương pháp thiết kế CSDL đồ thị:

- Xác định đâu là nút, đâu là mối quan hệ rất quan trọng. Nút thường có quan hệ với nhiều nút khác và mối quan hệ thì nó phải có nút đầu, nút cuối.

- Nghiên cứu chi tiết về dữ liệu để xác định các thực thể cũng như các mối quan hệ giữa chúng.

- Sử dụng nút để đại diện cho các thực thể, thuộc tính nút để mơ tả các tính chất của thực thể.

- Mối quan hệ để thể hiện sự kết nối giữa các thực thể, sử dụng các thuộc tính để mơ tả tính quan trọng, chất lượng của một quan hệ.

- Kiểu dữ liệu phức tạp là những kiểu dữ liệu có hơn một trường hoặc thuộc tính thường biểu diễn chúng bằng các node riêng biệt.

1.2.2.1.Tính năng nổi bật

Neo4j có một số tính năng nổi bật được giới thiệu để chúng ta cân nhắc khi áp dụng vào thực tế:

- Dễ dùng và áp dụng cho các API hướng đối tượng - Tối ưu hóa cho dữ liệu có tính kết nối cao

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

- Xác định các mối quan hệ tại thời điểm tạo giúp tối ưu thời gian truy vấn.

- Không u cầu khơng gian lưu trữ lớn và có bộ nhớ đệm cho các đồ thị, có khả năng mở rộng lưu trữ số lượng lớn nút (hàng tỉ) trên một hệ thống phần cứng vừa phải.

- Viết trên các JVM - Java virtual machine.

1.2.2.2.Nút - Nodes:

Nút là đơn vị cơ bản của một đồ thị. Trong Neo4j, các nút có thể chứa các thuộc tính, có thể có mối quan hệ với nút khác hoặc cũng có thể được dán nhãn.

<b>Hình 1.3 Biểu đồ mơ tả Nodes - Nút</b>

Các nút thường được dùng để biểu diễn các thực thể.

1.2.2.3.Mối quan hệ - Relationships:

Quan hệ giữa các nút cho phép tìm kiếm các dữ liệu có liên quan với nhau. Mối quan hệ cũng giống như nút: có thể có thuộc tính. Một mối quan hệ kết nối hai nút với nhau, gồm nút bắt đầu và nút kết thúc có hoặc khơng có thuộc tính, ln xác định hướng được dùng cho phép duyệt đồ thị.

1.2.2.4.Thuộc tính - Properties:

Cả nút và quan hệ đều có thể bổ sung tập các thuộc tính. Thuộc tính là cặp key – value, trong đó key có kiểu là string. Các giá trị của thuộc tính trong Neo4j có thể là: chuỗi, số, luận lý hoặc tập hợp.

1.2.2.5.Nhãn - Labels:

Nhãn là tên một cấu trúc đồ thị được sử dụng để nhóm các nút vào một tập hợp trong đó tất cả các nút có nhãn giống nhau cùng thuộc về một bộ. Một nút có thể được gắn nhãn hoặc không. Truy vấn cơ sở dữ liệu có thể tác động trên các bộ thay vì tồn đồ thị giúp cho việc viết các truy vấn tối ưu.

1.2.2.6.Đường kết nối - Paths:

Một đường đi là một hay nhiều node được kết nối với nhau bởi các quan hệ.

1.2.2.7.Duyệt đồ thị - Traversal:

Duyệt đồ thị là cách truy vấn đồ thị, điều hướng bắt đầu từ một nút đến các nút có liên quan.

1.2.2.7.Ngôn ngữ truy vấn

Cypher là ngôn ngữ truy vấn cho cơ sở dữ liệu đồ thị, có đặc điểm dễ đọc và dễ hiểu đối với cả các nhà phát triển.

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<i><b>1.2.3.Xu hướng ứng dụng</b></i>

Việc ứng dụng mơ hình CSDL đồ thị đã diễn ra hàng chục năm qua trên khắp thế giới. Thông thường, chúng ta hình dung mơ hình dữ liệu này phù hợp với các bài tốn mạng xã hội do tính chất tự nhiên của mối quan hệ đồ thị, tuy nhiên về thực tế mơ hình CSDL đồ thị có thể phù hợp với hầu hết các lĩnh vực xã hội.

<b>1.3.Tổng kết chương</b>

Trong thực tế khi lượng khách hàng tăng trưởng cao hoặc bùng nổ, lượng lớn thông tin lưu trữ trên CSDL quan hệ lại tỉ lệ nghịch với thời gian truy vấn, khai thác hoặc đối với các yêu cầu thường xuyên thay đổi thuộc tính trên các đối tượng quản lý cũng đặt ra thách thức lớn cho mô hình triển khai này.

Với hầu hết các bài tốn thường gặp, việc mơ hình hóa đồ thị thuộc tính cũng dễ dàng chỉ thông qua ba thành phần cơ bản: nút, quan hệ và thuộc tính. Ngơn ngữ Cypher với cú pháp tự nhiên, dễ hiểu là một công cụ mạnh mẽ hỗ trợ chúng ta trong tương tác và khai thác các dữ liệu trên CSDL đồ thị một cách nhanh chóng.

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

<b>CHƯƠNG 2: GIẢI PHÁP TRIỂN KHAI BÀI TỐN QUẢN LÝ</b>

Bài tồn Quản lý khách hàng VNPT – Hà Nội đã được triển khai trên hệ quản trị cơ sở dữ liệu quan hệ: mỗi khách hàng có một tập các mã thanh tốn, mỗi mã thanh toán thực hiện thanh toán cho một hoặc nhiều thuê bao (là các dịch vụ cung cấp). Các dịch vụ mới thường xuyên phát sinh theo nhu cầu thị trường, các thuộc tính dịch vụ khác nhau thường khác

<b>Hình 2.3 Sơ đồ thực thể liên kết Thanh tốn – Th bao – Dịch vụ</b>

2.1.2.1.Ưu điểm

- Phân tích bài toán rõ ràng, rành mạch - Dữ liệu tổ chức gọn gàng, phân loại cụ thể - Dễ dàng xây dựng các truy vấn dữ liệu

- Hầu hết các hệ quản trị cơ sở dữ liệu quan hệ đều tương thích và cài đặt khơng tốn kém thời gian, các nền tảng lập trình cũng hỗ trợ rất tốt khi phát triển, giúp cho việc lựa chọn các hệ quản trị cơ sở dữ liệu cũng phù hợp hơn.

2.1.2.2.Nhược điểm

- Do sử dụng các phép Join khi truy vấn, nên nếu số lượng khách hàng tăng cao cùng số thuê bao dịch vụ tăng cao, có thể dễ nhận thấy truy vấn dữ liệu sẽ cần tối ưu hóa bởi số lượng bản ghi lưu trữ trên cơ sở dữ liệu tăng dần theo chiều dọc. - Để tối ưu hóa trên các hệ quản trị cơ sở dữ liệu quan hệ, khi sử dụng các kỹ thuật

phân vùng dữ liệu, đánh chỉ mục…

- Sự cứng nhắc trong thiết kế của cơ sở dữ liệu quan hệ sẽ khó khăn khi bổ sung các thuộc tính mới hoặc loại bỏ các thuộc tính thực sự dư thừa.

- Lãng phí các khơng gian lưu trữ cho các trường khơng hoặc sử dụng dữ liệu mặc định chỉ để đảm bảo đúng cấu trúc.

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

2.1.2.3.Phương án khắc phục các nhược điểm

- Đối với việc xử lý thuộc tính động: có thể xử lý thơng qua sử dụng một vài thực thể đóng vai trị quản lý các thuộc tính..

- Đối với việc tăng tốc truy vấn dữ liệu khi kích thước tăng cao: sẽ phụ thuộc vào đánh chỉ mục, phân cùng dữ liệu.

<i><b>2.1.3.Kết luận</b></i>

Việc triển khai bài tốn trên mơ hình cơ sở dữ liệu quan hệ là hợp lý, tuy nhiên việc tìm kiếm một mơ hình khác có nhiều ưu điểm hoặc dễ dàng hơn khi khắc phục các nhược điểm là điều cần thiết.

<b>2.2.Giải pháp triển khai trên Cơ sở dữ liệu đồ thị</b>

Chúng ta có thể mơ hình hóa dữ liệu dựa trên các phân tích như khi triển khai trên CSDL quan hệ, với một vài điểm khác biệt:

- Thực thể được mơ hình dưới các node đồ thị

- Quan hệ giữa các thực thể mơ hình hóa dưới quan hệ các node, khơng sử dụng khóa liên kết như trên CSDL quan hệ

- Các thuộc tính thực thể trở thành thuộc tính node

<b>Hình 2.4 Giải pháp triển khai trên CSDL đồ thị</b>

Như vậy, quan hệ trên CSDL đồ thị được biểu diễn dưới quan hệ trực tiếp giữa các node, không phải là quan hệ giữa các thực thể qua thuộc tính dữ liệu như CSDL đồ thị. Để có cái nhìn chi tiết, phần tiếp theo chúng ta sẽ phân tích mơ hình dữ liệu quan hệ tại Chương 2, mục 2.3 khi triển khai trên mơ hình CSDL đồ thị với các bước thực hiện theo giải pháp trên.

Thực hiện chuyển đổi từ mơ hình cơ sở dữ liệu quan hệ sang mơ hình cơ sở dữ liệu đồ thị, chúng ta có mơ hình mới:

a. Khách hàng:

- Mỗi khách hàng sẽ được mô tả bằng một node

- Các thuộc tính của khách hàng sẽ là thuộc tính của node - Các node khách hàng sẽ được gán label phân loại: KhachHang

- Quan hệ có CO_MA_THANH_TOAN sẽ được gán theo chiều từ node khách hàng => mã thanh toán

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

- Dịch vụ thể hiện trên các node và gán nhãn DichVu - Các thơng tin dịch vụ được bổ sung vào thuộc tính node

e. Các thực thể khác: các thực thể khác được phân tích và mơ hình trên cơ sở dữ liệu đồ thị

2.2.2.1.Ưu điểm

- Mơ hình dữ liệu trên cơ sở dữ liệu đồ thị rất tường minh và trực quan - Các mối quan hệ dữ liệu thể hiện rất rõ ràng

- Đựa vào mơ hình, có thể thấy các phép truy vấn là phép duyệt đồ thị không bị lệ thuộc vào quy mô cả đồ thị.

- Các mối quan hệ đã được chuẩn bị và định nghĩa ngay từ đầu, do đó việc truy vấn theo quan hệ mang lại hiệu quả tốc độ

- Các thuộc tính được thêm bớt theo nhu cầu, linh động giúp dễ dàng điều chỉnh cơ cấu dữ liệu, tiết kiệm không gian lưu trữ.

2.2.2.2.Nhược điểm và phương án khắc phục

- Làm rõ mối quan hệ giữa các thực thể, mơ hình hóa theo cơ sở dữ liệu đồ thị từ đầu sẽ đòi hỏi tiêu tốn khá nhiều nguồn lực.

- Các dữ liệu khi lưu trữ chưa có phương án phân tán hiệu quả

- Các nền tảng kỹ thuật hỗ trợ chưa phong phú và cần thời gian để kiểm nghiệm - Các công cụ quản trị chưa nhiều và chuyên sâu như các hệ quản trị cơ sở dữ liệu - Xử lý việc chuyển đổi từ cơ sở dữ liệu quan hệ có sẵn sang đồ thị là tương đối

phức tạp

<i><b>2.2.3.Kết luận</b></i>

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

Đánh giá sơ bộ, việc chuyển đổi mơ hình từ cơ sở dữ liệu quan hệ sang cơ sở dữ liệu đồ thị khơng q khó khăn về mặt lý thuyết. Có thể thấy việc chuyển đổi về cơ bản sẽ mang lại hiệu quả đối với bài tốn phù hợp: có tốc độ tăng trưởng dữ liệu và cần linh động trong việc thay đổi thuộc tính của các thực thể. Việc đánh giá cụ thể kết quả chuyển đổi sẽ được thực hiện trong phần thử nghiệm với các phép đo định lượng, giúp có cơ sở tốt hơn cho đánh giá cuối cùng.

<b>2.3.Chuyển đổi CSDL quan hệ có sẵn sang CSDL đồ thị</b>

<i><b>2.3.1.Giải pháp </b></i>

Dựa vào việc mơ hình hóa đồ thị thuộc tính, xem xét trên các thực thể và quan hệ chúng ta có giải pháp khá dễ thực hiện theo nguyên tắc:

- Các bản ghi dữ liệu là các nút trên đồ thị

- Tên các bảng hay các thực thể được gán cho các nhãn của nút - Tên các cột gán cho thuộc tính của nút với giá trị tương ứng

- Quan hệ giữa các thực thể là các cung của đồ thị, có chiều dựa vào quan hệ trên

<b>Hình 2.6 Lưu đồ chuyển đổi CSDL QH sang CSDL ĐT</b>

Trên cơ sở dữ liệu chuyển đổi, ta có một số đặc tính:

- Số lượng node bằng số bản ghi trên cơ sở dữ liệu quan hệ

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

- Số lượng loại quan hệ bằng số lượng quan hệ hiện có

Áp dụng giải pháp chuyển đổi, thực hiện phân tích CSDL bài tốn Quản lý khách hàng và chuyển đổi từng bước sang CSDL đồ thị.

<i><b>Xét ví dụ chuyển đổi giữa hai thực thể: Khách hàng – Loại khách hàng:</b></i>

 Xác định sơ đồ thực thể liên kết trên CSDL quan hệ có sẵn, mục đích để phân tích rõ mối quan hệ, các thuộc tính dữ liệu cũng như kiểu của chúng:

<b>Hình 2.7 Sơ đồ thực thể liên kết Khách hàng – Loại khách hàng</b>

 Ánh xạ sang mơ hình dữ liệu đồ thị: thực hiện ánh xạ sang mơ hình mới, xác định các nút đồ thị và các thuộc tính tương ứng, chiều quan hệ phù hợp:

<b>Hình 2.8 Đồ thị biểu diễn nút Khách hàng – Loại khách hàng</b>

 Thực hiện với từng bản ghi dữ liệu trên bảng KHACH_HANG và LOAI_KH:  Từng bản ghi khách hàng/Loại khách hàng được chuyển đổi sang từng node cụ

 Node được gán lable là tên bảng, ở đây chúng ta có hiệu chỉnh lại cho tự nhiên: KHACH_HANG  KhachHang, LOAI_KH  LoaiKH

 Các cột trên các bảng được gán thành thuộc tính các node và lấy giá trị trên bản ghi

 Các khóa chính, ngoại đóng vai trị như thuộc tính thơng thường

 Quan hệ giữa hai bảng được chuyển thành quan hệ trên các node:

</div>