Tải bản đầy đủ (.pdf) (25 trang)

Nghiên cứu mạng lưu trữ san và xây dựng mô hình triển khai tại trường cao đẳng nghề cơ điện và xây dựng bắc ninh (tt)

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (828.47 KB, 25 trang )

i
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
----------------------------------------

NGUYỄN ĐĂNG NINH
NGHIÊN CỨU MẠNG LƯU TRỮ SAN VÀ
XÂY DỰNG MƠ HÌNH TRIỂN KHAI TẠI
TRƯỜNG CAO ĐẲNG
NGHỀ CƠ ĐIỆN VÀ XÂY DỰNG BẮC NINH
Chuyên ngành: Truyền dữ liệu và mạng máy tính
Mã số: 60.48.15
Người hướng dẫn khoa học: TS HỒNG XN DẬU

TĨM TẮT LUẬN VĂN THẠC SĨ

HÀ NỘI – 2013


ii

MỞ ĐẦU
Với sự phát triển mạnh mẽ của Internet, mạng Web
toàn cầu và sự xuất hiện ngày càng nhiều ứng dụng và
dịch vụ trên Internet, lượng dữ liệu được tạo ra cần lưu
trữ, quản lý trên mạng ngày càng lớn. Theo thống kê [6],
hiện nay mỗi ngày khoảng 1 exabytes (1018 bytes hay 1 tỷ
gigabytes) được tạo ra trên toàn thế giới. Vì thế, nhu cầu
cần có các giải pháp lưu trữ, quản lý dữ liệu một cách an
toàn và hiệu quả là rất cấp thiết. Một số giải pháp lưu trữ
tiên tiến như RAID (Redundant Array of Independent
Disks), NAS (Network Attached Storage) và SAN


(Storage Area Network) đã ra đời nhằm đáp ứng được nhu
cầu của các công ty, tổ chức về dung lượng lưu trữ lớn,
tốc độ truy nhập cao và tính an tồn, tin cậy cao.
Trong khi RAID thường gắn liền với một hệ thống
máy tính và NAS thường cung cấp dịch vụ lưu trữ cho
một mạng cỡ nhỏ, mạng lưu trữ SAN thường được dùng
để cung cấp dịch vụ quản lý và lưu trữ dữ liệu cho các hệ
thống cỡ vừa và lớn. SAN có khả năng cung cấp dịch vụ
lưu trữ với dung lượng rất lớn, tốc độ truy nhập rất cao và
độ an toàn, tin cậy rất cao.


iii

Mạng lưu trữ SAN là một mạng máy tính chuyên
dùng cho mục đích quản lý và lưu trữ dữ liệu. SAN
thường gồm nhiều máy chủ được kết nối mạng tốc độ cao
với nhau. Gigabit LAN hoặc kết nối sử dụng cáp sợi
quang thường được sử dụng trong mạng lưu trữ SAN.
Ngoài hệ thống phần cứng bao gồm các máy chủ và các
thiết bị mạng, SAN cần có hệ thống các phần mềm phục
vụ quản lý và cung cấp dịch vụ tìm kiếm và truy nhập dữ
liệu. Các hệ thống phần mềm này thường được biết dưới
dạng các hệ thống file phân tán (DFS – Distributed File
System).
Công nghệ SAN đã được nghiên cứu, phát triển và
đã được sử dụng khá rộng rãi trên thế giới. Các hãng công
nghệ và cung cấp dịch vụ nổi tiếng trên Internet như
Google, Yahoo và Amazon đều có các SAN của riêng
mình. Ở Việt Nam, SAN còn khá mới mẻ do các dịch vụ

trực tuyến chưa thực sự phát triển và chi phí đầu tư lớn.
Do vậy, việc nghiên cứu và ứng dụng công nghệ SAN cho
các mạng doanh nghiệp và tổ chức cỡ nhỏ và vừa với chi
phí thấp là điều cần thiết. Đây cũng là mục đích của đề tài
“Nghiên cứu mạng lưu trữ SAN và xây dựng mơ hình


iv

triển khai tại Trường Cao đẳng nghề Cơ điện và Xây
dựng Bắc Ninh” của luận văn này.
Luận văn gồm 3 chương chính với các nội dung
sau:
Chương 1 – Tổng quan về mạng lưu trữ giới thiệu
khái quát về mạng lưu trữ SAN, các đặc trưng, cũng như
ưu và nhược điểm của mạng lưu trữ.
Chương 2 – Công nghệ mạng lưu trữ trình bày các
cơng nghệ truyền thơng trong mạng lưu trữ và hai loại
công nghệ mạng lưu trữ thông dụng là FC SAN và IP
SAN.
Chương 3 – Xây dựng mô hình triển khai SAN tại
trường Cao đẳng nghề cơđiện và xây dựng Bắc Ninh phân
tích hiện trạng hạ tầng mạng và các yêu cầu xây dựng hệ
thống lýu trữ tập trung tại trýờng. Trên cõ sở đó, đưa ra
mơ hình triển khai mạng lưu trữ nhằm phục vụ tốt hơn yêu
cầu lưu trữ dữ liệu hiện tại và tương lai. Luận văn cũng
tiến hành cài đặt thử nghiệm mơ hình hệ thống lưu trữ dựa
trên hệ thống file phân tán và ứng dụng cân bằng tải cho
các máy chủ Web.



1

CHƯƠNG I: TỔNG QUAN VỀ MẠNG LƯU TRỮ
1.1.Khái niệm mạng lưu trữ
Mạng lưu trữ SAN (Storage Area Network) là một
mạng riêng tốc độ cao (thường đạt tốc độ Gigabit/sec)
dùng cho việc truyền dữ liệu giữa các máy chủ tham gia
vào hệ thống lưu trữ cũng như giữa các thiết bị lưu trữ với
nhau. SAN cho phép thực hiện quản lý tập trung và cung
cấp khả năng chia sẻ dữ liệu và tài ngun lưu trữ.

Hình 1.1: Mơ hình mạng lưu trữ SAN

1.2.Lịch sử phát triển của các giải pháp lưu trữ
1.3.Các yêu cầu đối với hệ thống lưu trữ
-Hệthốngcầncókhảnăngmởrộng(Scalability)
Hệthốnglưutrữphảicókhảnăngnângcấptốcđộtruycậpdễdàng


2

:
-Hệthống lưutrữphảicókhảnăngdễdàngcài đặt thêmcác
máy chủ vào hệthống:
-Tínhổnđịnh(Stability):
-Tốcđộ(Speed):
-Khảnăngchiasẻ,dùngchungdữliệu(Shareability):
-Tínhđơngiản(Simplicity):
1.4. Các đặc trưng cơ bản của mạng lưu trữ

1.4.1

Fibre Channel: giải pháp SAN mở.
Bảng 1.1: Các công nghệ SAN, LAN, WAN

Công nghệ

Băng thông

Băng thông

Các ứng

hiện tại

tương lai

dụng

ATM

622 Mbps

1 Gbps

LAN và WAN

Ethernet

100 Mbps


1 Gbps

LAN và WAN

FC-AL

1 Gbps

4 Gbps

SAN

1.4.2

Băng thông cao

Bảng 1.2: So sánh giữa FC-AL và Ultra SCSI
Thuộc tính

UltraSCSI

FC-AL SAN

limit *
Truyền dữ liệu
Băng thơng dữ liệu

40 MB/sec


200 MB/sec


3
hiệu dụng **
Hỗ trợ giao thức

SCSI

SCSI, IP, nhiều
loại khác

Khả năng mở rộng kết

15 drievrs/bus

126 nodes per loop

Khoảng cách kết nối

25m

10km

Khả năng lưu trữ ***

136 Gbytes

9 172 Gbytes


nối

1.4.3 Mở rộng server và thiết bị lưu trữ.

Hình 1.3: Mơ hình hướng mở rộng của Server - Storage
truyền thống

Mơ hình trên làm cho khả năng của server và khả
năng lưu trữ không linh họat và cũng không hiệu quả. Sự
kết hợp này chỉ khoảng từ 4 đến 10 ổ đĩa. Muốn mở rộng
khả năng lưu trữ thì việc thêm nhiều server-storage là cần
thiết.


4

Nhưng với mơ hình mạng SAN thì khả năng mở
rộng này cung cấp tính linh hoạt hơn và chi phí hiệu quả
hơn, giúp cho khả năng lưu trữ cũng như thực hiện trên
server được độc lập mà ở đây mỗi phần có thể mở rộng để
cân bằng việc lưu trữ tốt nhất.

Hình
1.5: Mơ hình mở rộng của SAN

1.4.4 Kết nối theo modular.
1.4.5 Tính khả dụng và khả năng chịu lỗi cao.
1.4.6 Tính dễ điều khiển.
1.4.7 Dễ tích hợp.
1.4.8 Khả năng ứng dụng nâng cao.



5

1.5. Ưu và nhược điểm của SAN với các hệ thống lưu
trữ khác
Ưu điểm:


Có khả năng sao lưu dữ liệu với dung lượng lớn và

thường xuyên mà không làm ảnh hưởng đến lưu lượng
thơng tin trên mạng.


SAN đặc biệt thích hợp với các ứng dụng cần tốc

độ và độ trễ nhỏ ví dụ như các ứng dụng xử lý giao dịch
trong ngành ngân hàng, tài chính.


Dữ liệu ln ở mức độ sẵn sàng cao.



Dữ liệu được lưu trữ thống nhất, tập trung và có

khả năng quản lý cao. Có khả năng khơi phục dữ liệu nếu
có xảy ra sự cố.



Hỗ trợ nhiều giao thức, chuẩn lưu trữ khác nhau

như: iSCSI, FCIP, DWDM...


Có khả năng mở rộng tốt trên cả phương diện số

lượng thiết bị, dung lượng hệ thống cũng như khoảng cách
vật lý.


Mức độ an toàn cao do thực hiện quản lý tập trung

cũng như sử dụng các công cụ hỗ trợ quản lý SAN.


6

Nhược điểm:


Chiphíđầutưcao(thêmserverbackup,sửdụngtapelibr

arycổngquang,phần mềmbackuptrongSAN).


Cần nhân lực có trình độ cao quản trị

1.6. Kết chương

Mạng lưu trữ SAN là một mạng chuyên dụng, được
thiết kế phục vụ cho việc quản lý và lưu trữ các kho dữ
liệu lớn. SAN có nhiều ưu điểm trong việc xây dựng một
hệ thống lưu trữ có hiệu năng cao, dung lượng lớn, tính an
tồn, tin cậy cao và khả năng mở rộng tốt. Mặc dù chi phí
đầu tư cịn khá lớn, nhưng với sự phát triển của công nghệ
truyền thông và đặc biệt là IP SAN, mạng lưu trữ có nhiều
tiềm năng triển khai cho các cơ sở cỡ nhỏ và vừa với mức
đầu tư hợp lý.
CHƯƠNG II: CƠNG NGHỆ MẠNG LƯU TRỮ
2.1. Cơng nghệ truyền thơng trong mạng lưu trữ
2.1.1. Cấu hình điểm-điểm
2.1.2. Cấu hình Arbitrated Loop
2.1.3. Cấu hình SAN Fabric
2.1.3.1 Director-Based Fabric


7

2.1.3.2. Cấu hình chuyển mạch nối tầng (Cascaded
Switch Fabric)
2.1.3.3 Cấu hìnhFabric lưới (Mesh Fabric)
2.1.3.4 Cấu hình SAN Building-Block Fabric
2.1.3.5 Cấu hình SAN Island
2.1.3.6 Cấu hình mạng Metropolitan và Wide Area
SAN
2.1.4. Cấu hình dự phịng
2.1.4.1. Dự phịng cơ bản
2.1.4.2. Cấu hình Remote Mirroring
2.2. Mạng lưu trữ FC SAN

2.2.1. Kiến trúc Fibre Channel.
2.2.1.1. Lớp vật lý (Physical Layer)
Lớp vật lý bao gồm các lớp 0 đến lớp 2:
• FC-0: định nghĩa tốc độ truyền và phương tiện vật
lý gồm cáp, bộ kết nối, ổ đĩa, các bộ phát và thu.
• FC-1: định nghĩa sơ đồ mã hóa, dùng để đồng bộ
dữ liệu khi truyền.
• FC-2: định nghĩa giao thức framing và điều khiển
dòng.
2.2.1.2. Các lớp trên (Upper Layers).


8

• FC-3: định nghĩa các dịch vụ chung cho các node.
• FC-4: định nghĩa sự ánh xạ giao thức lớp trên
cùng. Các giao thức như: FCP (SCSI), FICON và IP có
thể được ánh xạ đến dịch vụ truyền tải Fibre Channel.
2.2.1.3. Topologies (Các cấu trúc liên kết).
• Point-to-point ; Loop ; Switched:
2.2.1.4. Các lớp dịch vụ.
•Lớp

1:

Dịch

vụ

kết


nối



báo

nhận

• Lớp 2: Dịch vụ khơng kết nối có báo nhận:
• Lớp 3: Dịch vụ khơng kết nối khơng có báo nhận:
• Lớp 4: Dịch vụ định hướng kết nối một phần băng
thơng:
• Lớp 5: Dịch vụ kết nối đơn giản:
2.2.2. Các thành phần phần cứng của mạng SAN.
2.2.2.1. Hệ thống RAID.
2.2.2.2 Switches, Hubs và Bridges.
2.2.3. Lợi ích của mạng lưu trữ FC SAN:
Tăng hiệu năng hoạt động, tăng tính linh hoạt của
hệ thống lưu trữ, giảm chi phí sở hữu.


9

2.3. Mạng lưu trữ IP SAN
2.3.1.GiaothứciFCP(
InternetFibreChannelProtocol )
iFCPlàgiaothứctừcổngmạngtớicổngmạng(gatewaytoga
teway),kếtnốicácthiếtbịkênhquanghọcđãcóbằngcáchsửdụn
gmạngIPnhằmcungcấpdịch

vụkênhquanghọc(FibreChannelServices)chocácthiếtbịcuối
cócổnglàkênh quanghọcdựatrênmạngTCP/IP.
2.3.1.1.KiếntrúcmạngiFCP

Hình 2.15 – Kiến trúc iFCP
2.3.1.2.Địa chỉiFCP


10

2.3.1.3.Giảlậpdịchvụkênhquang họccủaiFCP
2.3.1.4.ĐiềukhiểnkếtnốiTCPvàiFCP
2.3.1.5.KiểmsốtlỗicủaiFCP
2.3.1.6.AnninhiFCP
2.3.1.7.CácvấnđềcủaiFCP
2.3.2.GiaothứciSCSI(InternetSCSIProtocol)
2.3.2.1.MơhìnhlớpcủagiaothứciSCSI

Hình 2.22-MơhìnhgiaothứciSCSI
2.3.2.2.Địa chỉiSCSIvàquiướcđặttên
2.3.2.3Quản lýphiêngiaodịchiSCSI


11

2.3.2.4.KiểmsốtlỗiiSCSI
- Lỗikhndạng(formaterror):
- Lỗinộidung(DigestContentError):
2.3.2.5AnninhiSCSI
*DiscoveryDomains(DDSs):

*LUNMasking:
*Danhsáchđiềukhiểnquyềntruycập(AccessControlL
ists-ACL):
*Mạngảo(VLAN):
* IPSec:IPSecgồmhaicơchếchính:
2.4.SosánhFCPSANvàIPSAN
Sosánhcácchỉtiêu:
Khoảngcáchkếtnối:
Khảnăngtươngtác:
Chiphí:
Kếtnối:
Hiệunăng,thơnglượngtruyềntải:

* FCP:


12
256 M B *

1
36 B
*
 4 .3 6 M B
2112 B
1

Trong đó:
+

2112Blàkíchcỡdữliệutốiđacó


thểmangtronggóisốliệuFCP.
+ 4.36MBlàtổngkíchcỡtiêuđề.
*Ethernet:
1
66 B
*
 11.57 MB
1460 B 1
1
66 B
256MB *
*
 37.22 MB
454 B 1
256MB *

Trong đó:
+

1460Blàkíchcỡdữliệutốiđacó

thểmangtronggóisốliệuEthernet.
+ 454B là kích cỡ dữ liệu tối thiểu có thể mang
trong gói số liệuEthernet.
+
11.57MBvà37.22làtổngkíchcỡtiêuđềtươngứngvớitừngtrườ
ng hợp.
2.5. Kết chương
Chương 2 trình bày về các cơng nghệ và các cấu

hình truyền thơng được sử dụng trong mạng lưu trữ SAN,


13

như các cấu hình điểm – điểm, cấu hình Arbitrated Loop
và cấu hình SAN Fabric. Mỗi cấu hình có các ưu và nhược
điểm riêng và có thể được ứng dụng vào từng trường hợp
cụ thể.
Mạng lưu trữ FC SAN là dạng được sử dụng phổ
biến do mạng này dựa trên phương tiện truyền dẫn là hệ
thống mạng cáp quang, có thông lượng lớn và độ trễ nhỏ.
Tuy nhiên, mạng FC SAN thường thích hợp với một
khơng gian hẹp như một tịa nhà hoặc các phịng ban trong
một cơng ty. Ngồi ra, chi phí xây dựng mạng FC SAN
thường khá cao. Mạng lưu trữ IP SAN và đặc biệt là
iSCSI SAN mới được phát triển trong những năm gần
đây, nhưng có nhiều tiềm năng do giá thành thấp và có thể
hỗ trợ khoảng cách xa. iSCSI SAN có thể sử dụng mạng
Internet làm môi trường truyền dẫn mà không phải đầu tư
các kênh riêng. Tuy nhiên, các mạng IP SAN thường có
độ trễ và overhead lớn hơn FC SAN do các gói tin có phần
mào đầu lớn hơn.


14

CHƯƠNG III: XÂY DỰNG MƠ HÌNH TRIỂN KHAI
SAN TẠI TRƯỜNG CAO ĐẲNG NGHỀ CƠ ĐIỆN
VÀ XÂY DỰNG BẮC NINH

3.1. Phân tích yêu cầu lưu trữ dữ liệu tại trường Cao
đẳng nghề Cơ điện và Xây dựng Bắc Ninh
3.1.1 Hiện trạng
Hiện Trường Cao đẳng nghề Cơ điện và Xây dựng
Bắc Ninh ( CĐN CĐXDBN ) phục vụ công tác quản lý và
đào tạo gồm có: 01 Server, 68 máy tính bàn dùng cho cán
bộ phòng, khoa, trung tâm trực thuộc trường; 240 máy
tính bàn dùng giảng dạy; 135 giáo viên sử dụng máy tính
xách tay; khoảng 2600 học sinh - sinh viên có máy tính cá
nhân thường xun kết nối hệ thống mạng; 01 modem
đường truyền cáp quang 1Gbps; 36 Switch; 8 bộ phát
Wireless và nhiều thiết bị thực hành khác .
3.1.2 Nhu cầu
Nhằm khắc phục nhược điểm hiện có trong cơ sở
hạ tầng công nghệ thông tin của Trường CĐN CĐXDBN,
đòi hỏi phải xây dựng một hệ thống lưu trữ tập trung hiện
đại với khả năng mở rộng, độ tin cậy, hiệu suất hoạt động
cao cùng với chi phí đầu tư ban đầu thấp.


15

3.2. Các u cầu của mơ hình triển khai SAN
Hệ thống được thiết kế và triển khai dựa trên công
nghệ SAN hiện đại, đáp ứng được các yêu cầu sử dụng
hiện tại đồng thời có khả năng nâng cấp mở rộng trong
tương lai.
3.3. Xây dựng mơ hình triển khai SAN

Hình 3.4 : Mơ hình kết nối hệ thống lưu trữ SAN dự kiến


Hệ thống lưu trữ mới được xây dựng tách biệt với
cơ sở hạ tầng Công nghệ thông tin hiện có. Hệ thống lưu
trữ chuyên biệt này sử dụng công nghệ SAN cung cấp


16

nhiều tính năng về hiệu quả quản lý thiết bị lưu trữ, tính
sẵn sàng của hệ thống….
3.4. Triển khai thử nghiệm mơ hình mạng lưu trữ SAN
3.4.1. Triển khai thử nghiệm mơ hình hệ thống cung cấp
dịch vụ lưu trữ dựa trên Windows Server 2008
3.4.1.1 Giới thiệu


Phần cứng: 01 máy tính vật lý có dung lượng RAM

4GB; 03 máy chủ ảo chạy Windows Server 2008, mỗi
máy chủ có dung lượng RAM 1GB;


Phần mềm: Phần mềm ảo hóa VMWare Server
1.06, Windows Server 2008.

3.4.1.2 Quá trình cài đặt:
Bước 1: Cài đặt Phần mềm ảo hóa VMWare Server trên
máy tính vật lý.
Bước 2: Tạo 03 máy tính ảo trên VMWare Server và cài
đặt hệ điều hành Windows Server 2008 trên từng máy.

Bước 3: Cấu hình các máy chủ chạy Windows Server
2008.
Bước 4: Cài đặt, cấu hình và thử nghiệm hệ thống file
phân tán DFS trên các máy chủ.


17

Hình 3.5 Giao diện quản lý hệ thống DFS sau khi đã cài đặt

3.4.2 Triển khai thử nghiệm ứng dụng cân bằng tải
chạy trên hệ thống lưu trữ
Bước 1: Cài đặt tính năng Network Load Balancing trong
từng máy chủ.
Bước 2: Cấu hình Network Load Balancing Cluster.


18

Hình 3.6 Giao diện Network Load Balancing Cluster
Bước 3: Cài đặt máy chủ web sử dụng tính năng cân bằng
tải.
3.5. Kết chương
Do nhu cầu phát triển của Trường Cao đẳng nghề
Cơ điện và Xây dựng Bắc Ninh là cần phải tập trung dữ
liệu và phát triển hệ thống ứng dụng tích hợp, nêncác cơ
sở dữ liệu và các ứng dụng trong Trường CĐN CĐXDBN
cần được lưu trữ và quản lý tập trung, nhằm đảm bảo tốc
độ truy nhập, tính an toàn, tin cậy dữ liệu. Mạng lưu trữ



19

SAN là một lựa chọn phù hợp cho giai đoạn trước mắt và
cả lâu dài.
Chương cũng trình bày việc triển khai mơ hình hệ
thống lưu trữ dựa trên hệ thống file phân tán DFS của hệ
điều hành Windows 2008 Server. Hệ thống DFS cho phép
tạo một hệ thống lưu trữ được quản lý tập trung, có tính an
tồn, tin cậy cao với chi phí thấp. Hơn nữa, luận văn cũng
triển khai tính năng cân bằng tải, kết hợp với hệ thống
DFS để cung cấp dịch vụ web có khả năng sẵn sàng cao.
KẾT LUẬN
Xuất phát từ yêu cầu thực tế về yêu cầu quản lý và lưu trữ
dữ liệu của trường Cao đẳng nghề cơ điện và xây dựng
Bắc ninh, luận văn tập trung nghiên cứu các các giải pháp
xây dựng hệ thống lưu trữ theo mơ hình mạng lưu trữ
SAN. Nhìn chung, SAN cho phép xây dựng các mạng lưu
trữ đáp ứng các yêu cầu cao về hiệu năng, dung lượng và
tính an tồn, tin cậy. Cụ thể, luận văn đã đạt được các kết
quả sau:
 Nghiên cứu tổng quan về mạng lưu trữ SAN;


20

 Nghiên cứu về các công nghệ truyền thông sử dụng
trong SAN;
 Nghiên cứu sâu về hai loại SAN thông dụng là FC
SAN dựa trên mạng truyền thông cáp quang và IP SAN

dựa trên bộ giao thức TCP/IP của mạng Internet;
 Phân tích hiện trạng, đề ra các yêu cầu và đề ra mơ
hình SAN cho hệ thống lưu trữ tập trung của trường Cao
đẳng nghề cơ điện và xây dựng Bắc ninh;
 Cài đặt thử nghiệm mơ hình hệ thống lưu trữ dựa
trên hệ thống file phân tán trên Windows 2008 Server;
 Cài đặt thử nghiệm ứng dụng cân bằng tải cho các
máy chủ chạy trên hệ thống file phân tán trên Windows
2008 Server.
Trong tương lai, luận văn có thể được phát triển theo
các hướng sau:
 Nghiên cứu sâu về mạng iSCSI SAN. Đây là mạng
SAN có nhiều triển vọng ứng dụng, do được thiết kế dựa
trên nền mạng Internet, có khả năng giảm chi phí đầu tư
mà vẫn đảm bảo hiệu năng cần thiết, thích hợp với các hệ
thống lưu trữ cỡ nhỏ và vừa.


21

 Triển khai thiết kế và cài đặt mơ hình SAN trên
thực tế tại trường Cao đẳng nghề Cơ điện và Xây dựng
Bắc ninh, phục vụ tốt hơn yêu cầu tin học hóa cơng tác
quản lý và đào tạo của nhà trường.


×