Tải bản đầy đủ (.pdf) (25 trang)

Nghiên cứu mạng lưu trữ SAN và xây dựng mô hình triển khai tại trường cao đẳng nghề cơ điện và xây dựng bắc ninh

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (828.41 KB, 25 trang )

i

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG






NGUYỄN ĐĂNG NINH


NGHIÊN CỨU MẠNG LƯU TRỮ SAN VÀ
XÂY DỰNG MÔ HÌNH TRIỂN KHAI TẠI
TRƯỜNG CAO ĐẲNG
NGHỀ CƠ ĐIỆN VÀ XÂY DỰNG BẮC NINH

Chuyên ngành: Truyền dữ liệu và mạng máy tính
Mã số: 60.48.15

Người hướng dẫn khoa học: TS HOÀNG XUÂN DẬU


TÓM TẮT LUẬN VĂN THẠC SĨ




HÀ NỘI – 2013

ii



MỞ ĐẦU
Với sự phát triển mạnh mẽ của Internet, mạng Web
toàn cầu và sự xuất hiện ngày càng nhiều ứng dụng và
dịch vụ trên Internet, lượng dữ liệu được tạo ra cần lưu
trữ, quản lý trên mạng ngày càng lớn. Theo thống kê [6],
hiện nay mỗi ngày khoảng 1 exabytes (10
18
bytes hay 1 tỷ
gigabytes) được tạo ra trên toàn thế giới. Vì thế, nhu cầu
cần có các giải pháp lưu trữ, quản lý dữ liệu một cách an
toàn và hiệu quả là rất cấp thiết. Một số giải pháp lưu trữ
tiên tiến như RAID (Redundant Array of Independent
Disks), NAS (Network Attached Storage) và SAN
(Storage Area Network) đã ra đời nhằm đáp ứng được nhu
cầu của các công ty, tổ chức về dung lượng lưu trữ lớn,
tốc độ truy nhập cao và tính an toàn, tin cậy cao.
Trong khi RAID thường gắn liền với một hệ thống
máy tính và NAS thường cung cấp dịch vụ lưu trữ cho
một mạng cỡ nhỏ, mạng lưu trữ SAN thường được dùng
để cung cấp dịch vụ quản lý và lưu trữ dữ liệu cho các hệ
thống cỡ vừa và lớn. SAN có khả năng cung cấp dịch vụ
lưu trữ với dung lượng rất lớn, tốc độ truy nhập rất cao và
độ an toàn, tin cậy rất cao.
iii

Mạng lưu trữ SAN là một mạng máy tính chuyên
dùng cho mục đích quản lý và lưu trữ dữ liệu. SAN
thường gồm nhiều máy chủ được kết nối mạng tốc độ cao
với nhau. Gigabit LAN hoặc kết nối sử dụng cáp sợi

quang thường được sử dụng trong mạng lưu trữ SAN.
Ngoài hệ thống phần cứng bao gồm các máy chủ và các
thiết bị mạng, SAN cần có hệ thống các phần mềm phục
vụ quản lý và cung cấp dịch vụ tìm kiếm và truy nhập dữ
liệu. Các hệ thống phần mềm này thường được biết dưới
dạng các hệ thống file phân tán (DFS – Distributed File
System).
Công nghệ SAN đã được nghiên cứu, phát triển và
đã được sử dụng khá rộng rãi trên thế giới. Các hãng công
nghệ và cung cấp dịch vụ nổi tiếng trên Internet như
Google, Yahoo và Amazon đều có các SAN của riêng
mình. Ở Việt Nam, SAN còn khá mới mẻ do các dịch vụ
trực tuyến chưa thực sự phát triển và chi phí đầu tư lớn.
Do vậy, việc nghiên cứu và ứng dụng công nghệ SAN cho
các mạng doanh nghiệp và tổ chức cỡ nhỏ và vừa với chi
phí thấp là điều cần thiết. Đây cũng là mục đích của đề tài
“Nghiên cứu mạng lưu trữ SAN và xây dựng mô hình
iv

triển khai tại Trường Cao đẳng nghề Cơ điện và Xây
dựng Bắc Ninh” của luận văn này.
Luận văn gồm 3 chương chính với các nội dung
sau:
Chương 1 – Tổng quan về mạng lưu trữ giới thiệu
khái quát về mạng lưu trữ SAN, các đặc trưng, cũng như
ưu và nhược điểm của mạng lưu trữ.
Chương 2 – Công nghệ mạng lưu trữ trình bày các
công nghệ truyền thông trong mạng lưu trữ và hai loại
công nghệ mạng lưu trữ thông dụng là FC SAN và IP
SAN.

Chương 3 – Xây dựng mô hình triển khai SAN tại
trường Cao đẳng nghề cơđiện và xây dựng Bắc Ninh phân
tích hiện trạng hạ tầng mạng và các yêu cầu xây dựng hệ
thống lýu trữ tập trung tại trýờng. Trên cõ sở đó, đưa ra
mô hình triển khai mạng lưu trữ nhằm phục vụ tốt hơn yêu
cầu lưu trữ dữ liệu hiện tại và tương lai. Luận văn cũng
tiến hành cài đặt thử nghiệm mô hình hệ thống lưu trữ dựa
trên hệ thống file phân tán và ứng dụng cân bằng tải cho
các máy chủ Web.
1



CHƯƠNG I: TỔNG QUAN VỀ MẠNG LƯU TRỮ
1.1.Khái niệm mạng lưu trữ
Mạng lưu trữ SAN (Storage Area Network) là một
mạng riêng tốc độ cao (thường đạt tốc độ Gigabit/sec)
dùng cho việc truyền dữ liệu giữa các máy chủ tham gia
vào hệ thống lưu trữ cũng như giữa các thiết bị lưu trữ với
nhau. SAN cho phép thực hiện quản lý tập trung và cung
cấp khả năng chia sẻ dữ liệu và tài nguyên lưu trữ.

Hình 1.1: Mô hình mạng lưu trữ SAN
1.2.Lịch sử phát triển của các giải pháp lưu trữ
1.3.Các yêu cầu đối với hệ thống lưu trữ
-Hệthốngcầncókhảnăngmởrộng(Scalability)
-
Hệthốnglưutrữphảicókhảnăngnângcấptốcđộtruycậpdễdàng
2




:
-Hệthống lưutrữphảicókhảnăngdễdàngcài đặt thêmcác
máy chủ vào hệthống:
-Tínhổnđịnh(Stability):
-Tốcđộ(Speed):
-Khảnăngchiasẻ,dùngchungdữliệu(Shareability):
-Tínhđơngiản(Simplicity):
1.4. Các đặc trưng cơ bản của mạng lưu trữ
1.4.1 Fibre Channel: giải pháp SAN mở.
Bảng 1.1: Các công nghệ SAN, LAN, WAN
Công nghệ Băng thông
hiện tại
Băng thông
tương lai
Các ứng
dụng
ATM 622 Mbps 1 Gbps LAN và WAN

Ethernet 100 Mbps 1 Gbps LAN và WAN

FC-AL 1 Gbps 4 Gbps SAN
1.4.2 Băng thông cao
Bảng 1.2: So sánh giữa FC-AL và Ultra SCSI
Thuộc tính UltraSCSI
limit *
FC-AL SAN
Truyền dữ liệu


Băng thông dữ liệu 40 MB/sec 200 MB/sec
3



hiệu dụng **
Hỗ trợ giao thức SCSI SCSI, IP, nhiều
loại khác
Khả năng mở rộng kết
nối
15 drievrs/bus 126 nodes per loop

Khoảng cách kết nối 25m 10km
Khả năng lưu trữ *** 136 Gbytes 9 172 Gbytes
1.4.3 Mở rộng server và thiết bị lưu trữ.

Hình 1.3: Mô hình hướng mở rộng của Server - Storage
truyền thống
Mô hình trên làm cho khả năng của server và khả
năng lưu trữ không linh họat và cũng không hiệu quả. Sự
kết hợp này chỉ khoảng từ 4 đến 10 ổ đĩa. Muốn mở rộng
khả năng lưu trữ thì việc thêm nhiều server-storage là cần
thiết.
4



Nhưng với mô hình mạng SAN thì khả năng mở
rộng này cung cấp tính linh hoạt hơn và chi phí hiệu quả
hơn, giúp cho khả năng lưu trữ cũng như thực hiện trên

server được độc lập mà ở đây mỗi phần có thể mở rộng để
cân bằng việc lưu trữ tốt nhất.
Hình
1.5: Mô hình mở rộng của SAN
1.4.4 Kết nối theo modular.
1.4.5 Tính khả dụng và khả năng chịu lỗi cao.
1.4.6 Tính dễ điều khiển.
1.4.7 Dễ tích hợp.
1.4.8 Khả năng ứng dụng nâng cao.
5



1.5. Ưu và nhược điểm của SAN với các hệ thống lưu
trữ khác
Ưu điểm:
 Có khả năng sao lưu dữ liệu với dung lượng lớn và
thường xuyên mà không làm ảnh hưởng đến lưu lượng
thông tin trên mạng.
 SAN đặc biệt thích hợp với các ứng dụng cần tốc
độ và độ trễ nhỏ ví dụ như các ứng dụng xử lý giao dịch
trong ngành ngân hàng, tài chính.
 Dữ liệu luôn ở mức độ sẵn sàng cao.
 Dữ liệu được lưu trữ thống nhất, tập trung và có
khả năng quản lý cao. Có khả năng khôi phục dữ liệu nếu
có xảy ra sự cố.
 Hỗ trợ nhiều giao thức, chuẩn lưu trữ khác nhau
như: iSCSI, FCIP, DWDM
 Có khả năng mở rộng tốt trên cả phương diện số
lượng thiết bị, dung lượng hệ thống cũng như khoảng cách

vật lý.
 Mức độ an toàn cao do thực hiện quản lý tập trung
cũng như sử dụng các công cụ hỗ trợ quản lý SAN.

6



Nhược điểm:
 Chiphíđầutưcao(thêmserverbackup,sửdụngtapelibr
arycổngquang,phần mềmbackuptrongSAN).
 Cần nhân lực có trình độ cao quản trị
1.6. Kết chương
Mạng lưu trữ SAN là một mạng chuyên dụng, được
thiết kế phục vụ cho việc quản lý và lưu trữ các kho dữ
liệu lớn. SAN có nhiều ưu điểm trong việc xây dựng một
hệ thống lưu trữ có hiệu năng cao, dung lượng lớn, tính an
toàn, tin cậy cao và khả năng mở rộng tốt. Mặc dù chi phí
đầu tư còn khá lớn, nhưng với sự phát triển của công nghệ
truyền thông và đặc biệt là IP SAN, mạng lưu trữ có nhiều
tiềm năng triển khai cho các cơ sở cỡ nhỏ và vừa với mức
đầu tư hợp lý.
CHƯƠNG II: CÔNG NGHỆ MẠNG LƯU TRỮ
2.1. Công nghệ truyền thông trong mạng lưu trữ
2.1.1. Cấu hình điểm-điểm
2.1.2. Cấu hình Arbitrated Loop
2.1.3. Cấu hình SAN Fabric
2.1.3.1 Director-Based Fabric
7




2.1.3.2. Cấu hình chuyển mạch nối tầng (Cascaded
Switch Fabric)
2.1.3.3 Cấu hìnhFabric lưới (Mesh Fabric)
2.1.3.4 Cấu hình SAN Building-Block Fabric
2.1.3.5 Cấu hình SAN Island
2.1.3.6 Cấu hình mạng Metropolitan và Wide Area
SAN
2.1.4. Cấu hình dự phòng
2.1.4.1. Dự phòng cơ bản
2.1.4.2. Cấu hình Remote Mirroring
2.2. Mạng lưu trữ FC SAN
2.2.1. Kiến trúc Fibre Channel.
2.2.1.1. Lớp vật lý (Physical Layer)
Lớp vật lý bao gồm các lớp 0 đến lớp 2:
• FC-0: định nghĩa tốc độ truyền và phương tiện vật
lý gồm cáp, bộ kết nối, ổ đĩa, các bộ phát và thu.
• FC-1: định nghĩa sơ đồ mã hóa, dùng để đồng bộ
dữ liệu khi truyền.
• FC-2: định nghĩa giao thức framing và điều khiển
dòng.
2.2.1.2. Các lớp trên (Upper Layers).
8



• FC-3: định nghĩa các dịch vụ chung cho các node.
• FC-4: định nghĩa sự ánh xạ giao thức lớp trên
cùng. Các giao thức như: FCP (SCSI), FICON và IP có

thể được ánh xạ đến dịch vụ truyền tải Fibre Channel.
2.2.1.3. Topologies (Các cấu trúc liên kết).
• Point-to-point ; Loop ; Switched:
2.2.1.4. Các lớp dịch vụ.
•Lớp 1: Dịch vụ kết nối có báo nhận
• Lớp 2: Dịch vụ không kết nối có báo nhận:
• Lớp 3: Dịch vụ không kết nối không có báo nhận:
• Lớp 4: Dịch vụ định hướng kết nối một phần băng
thông:
• Lớp 5: Dịch vụ kết nối đơn giản:
2.2.2. Các thành phần phần cứng của mạng SAN.
2.2.2.1. Hệ thống RAID.
2.2.2.2 Switches, Hubs và Bridges.
2.2.3. Lợi ích của mạng lưu trữ FC SAN:
Tăng hiệu năng hoạt động, tăng tính linh hoạt của
hệ thống lưu trữ, giảm chi phí sở hữu.
9



2.3. Mạng lưu trữ IP SAN
2.3.1.GiaothứciFCP
(
InternetFibreChannelP
r
o
t
ocol )

iFCPlàgiaothứctừcổngmạngtớicổngmạng(gatewaytoga

teway),kết
nối
cácthiếtbịkênhquanghọcđãcóbằngcáchsửdụn
gmạngIPnhằmcungcấp
dịch
vụkênhquanghọc(FibreChannelServices)chocácthiếtbịcuối
cócổnglà
kênh
quanghọcdựatrênmạngTCP/IP.
2.3.1.1.Kiến
trúc
mạng
i
FCP


Hình 2.15 – Kiến trúc iFCP
2.3.1.2.
Đ

a
chỉ
i
FCP

10



2.3.1.3.Giảlậpdịchvụkênhquang họccủa

i
FCP

2.3.1.4.
Đ
iề
u
khiểnkếtnốiTCPvà
i
FCP

2.3.1.5.Kiểmsoátlỗicủa
i
FCP

2.3.1.6.Anninh
i
FCP

2.3.1.7.Cácvấnđềcủa
i
FCP

2.3.2.GiaothứciSCSI
(Internet
SCSI
P
r
o
t

ocol)

2.3.2.1.Môhìnhlớpcủagiaothức
iS
C
S
I


Hình 2.22-Môhìnhgiaothức
iSCSI

2.3.2.2.
Đ

a
chỉiSCSIvàquiướcđặt
t
ê
n

2.3.2.3Quản lýphiêngiaodịch
iS
C
S
I

11




2.3.2.4.Kiểmsoátlỗi
iS
C
S
I

- Lỗikhuôndạng(formaterror):
- Lỗinộidung(DigestContentError):
2.3.2.5Anninh
iS
C
S
I

*DiscoveryDomains(DDSs):
*LUNMasking:
*Danhsáchđiềukhiểnquyềntruycập(AccessControlL
ists-ACL):
*Mạngảo(VLAN):
* IPSec:IPSecgồmhaicơchếchính:
2.4.SosánhFCPSANvàIP
SAN

Sosánhcácchỉ
tiêu:

Khoảngcáchkết
n
ối

:

Khảnăngtươngt
á
c
:

Chip
h
í
:

Kết
n
ối
:

Hiệunăng,thônglượngtruyềnt

i:


* FCP:
12



1 3 6
2 5 6 * * 4 .3 6
2 1 1 2 1

B
M B M B
B


Trong đó:
+ 2112Blàkíchcỡdữliệutốiđacó
thểmangtronggóisốliệu
FCP.
+
4.36MBlàtổngkíchcỡtiêu
đề.
*
Ethernet:

1 66
256 * * 11.57
1460 1
1 66
256 * * 37.22
454 1
B
MB MB
B
B
MB MB
B




Trong đó:
+ 1460Blàkíchcỡdữliệutốiđacó
thểmangtronggóisốliệu
Ethernet.

+ 454B là kích cỡ dữ liệu tối thiểu có thể mang
trong gói số
liệuEthernet.

+
11.57MBvà37.22làtổngkíchcỡtiêuđềtươngứngvớitừng
trườ
ng hợp.

2.5. Kết chương
Chương 2 trình bày về các công nghệ và các cấu
hình truyền thông được sử dụng trong mạng lưu trữ SAN,
13



như các cấu hình điểm – điểm, cấu hình Arbitrated Loop
và cấu hình SAN Fabric. Mỗi cấu hình có các ưu và nhược
điểm riêng và có thể được ứng dụng vào từng trường hợp
cụ thể.
Mạng lưu trữ FC SAN là dạng được sử dụng phổ
biến do mạng này dựa trên phương tiện truyền dẫn là hệ
thống mạng cáp quang, có thông lượng lớn và độ trễ nhỏ.
Tuy nhiên, mạng FC SAN thường thích hợp với một
không gian hẹp như một tòa nhà hoặc các phòng ban trong

một công ty. Ngoài ra, chi phí xây dựng mạng FC SAN
thường khá cao. Mạng lưu trữ IP SAN và đặc biệt là
iSCSI SAN mới được phát triển trong những năm gần
đây, nhưng có nhiều tiềm năng do giá thành thấp và có thể
hỗ trợ khoảng cách xa. iSCSI SAN có thể sử dụng mạng
Internet làm môi trường truyền dẫn mà không phải đầu tư
các kênh riêng. Tuy nhiên, các mạng IP SAN thường có
độ trễ và overhead lớn hơn FC SAN do các gói tin có phần
mào đầu lớn hơn.

14



CHƯƠNG III: XÂY DỰNG MÔ HÌNH TRIỂN KHAI
SAN TẠI TRƯỜNG CAO ĐẲNG NGHỀ CƠ ĐIỆN
VÀ XÂY DỰNG BẮC NINH
3.1. Phân tích yêu cầu lưu trữ dữ liệu tại trường Cao
đẳng nghề Cơ điện và Xây dựng Bắc Ninh
3.1.1 Hiện trạng
Hiện Trường Cao đẳng nghề Cơ điện và Xây dựng
Bắc Ninh ( CĐN CĐXDBN ) phục vụ công tác quản lý và
đào tạo gồm có: 01 Server, 68 máy tính bàn dùng cho cán
bộ phòng, khoa, trung tâm trực thuộc trường; 240 máy
tính bàn dùng giảng dạy; 135 giáo viên sử dụng máy tính
xách tay; khoảng 2600 học sinh - sinh viên có máy tính cá
nhân thường xuyên kết nối hệ thống mạng; 01 modem
đường truyền cáp quang 1Gbps; 36 Switch; 8 bộ phát
Wireless và nhiều thiết bị thực hành khác .
3.1.2 Nhu cầu

Nhằm khắc phục nhược điểm hiện có trong cơ sở
hạ tầng công nghệ thông tin của Trường CĐN CĐXDBN,
đòi hỏi phải xây dựng một hệ thống lưu trữ tập trung hiện
đại với khả năng mở rộng, độ tin cậy, hiệu suất hoạt động
cao cùng với chi phí đầu tư ban đầu thấp.
15



3.2. Các yêu cầu của mô hình triển khai SAN
Hệ thống được thiết kế và triển khai dựa trên công
nghệ SAN hiện đại, đáp ứng được các yêu cầu sử dụng
hiện tại đồng thời có khả năng nâng cấp mở rộng trong
tương lai.
3.3. Xây dựng mô hình triển khai SAN

Hình 3.4 : Mô hình kết nối hệ thống lưu trữ SAN dự kiến
Hệ thống lưu trữ mới được xây dựng tách biệt với
cơ sở hạ tầng Công nghệ thông tin hiện có. Hệ thống lưu
trữ chuyên biệt này sử dụng công nghệ SAN cung cấp
16



nhiều tính năng về hiệu quả quản lý thiết bị lưu trữ, tính
sẵn sàng của hệ thống….
3.4. Triển khai thử nghiệm mô hình mạng lưu trữ SAN
3.4.1. Triển khai thử nghiệm mô hình hệ thống cung cấp
dịch vụ lưu trữ dựa trên Windows Server 2008
3.4.1.1 Giới thiệu

 Phần cứng: 01 máy tính vật lý có dung lượng RAM
4GB; 03 máy chủ ảo chạy Windows Server 2008, mỗi
máy chủ có dung lượng RAM 1GB;
 Phần mềm: Phần mềm ảo hóa VMWare Server
1.06, Windows Server 2008.
3.4.1.2 Quá trình cài đặt:
Bước 1: Cài đặt Phần mềm ảo hóa VMWare Server trên
máy tính vật lý.
Bước 2: Tạo 03 máy tính ảo trên VMWare Server và cài
đặt hệ điều hành Windows Server 2008 trên từng máy.
Bước 3: Cấu hình các máy chủ chạy Windows Server
2008.
Bước 4: Cài đặt, cấu hình và thử nghiệm hệ thống file
phân tán DFS trên các máy chủ.
17




Hình 3.5 Giao diện quản lý hệ thống DFS sau khi đã cài đặt
3.4.2 Triển khai thử nghiệm ứng dụng cân bằng tải
chạy trên hệ thống lưu trữ
Bước 1: Cài đặt tính năng Network Load Balancing trong
từng máy chủ.
Bước 2: Cấu hình Network Load Balancing Cluster.
18





Hình 3.6 Giao diện Network Load Balancing Cluster
Bước 3: Cài đặt máy chủ web sử dụng tính năng cân bằng
tải.
3.5. Kết chương
Do nhu cầu phát triển của Trường Cao đẳng nghề
Cơ điện và Xây dựng Bắc Ninh là cần phải tập trung dữ
liệu và phát triển hệ thống ứng dụng tích hợp, nêncác cơ
sở dữ liệu và các ứng dụng trong Trường CĐN CĐXDBN
cần được lưu trữ và quản lý tập trung, nhằm đảm bảo tốc
độ truy nhập, tính an toàn, tin cậy dữ liệu. Mạng lưu trữ
19



SAN là một lựa chọn phù hợp cho giai đoạn trước mắt và
cả lâu dài.
Chương cũng trình bày việc triển khai mô hình hệ
thống lưu trữ dựa trên hệ thống file phân tán DFS của hệ
điều hành Windows 2008 Server. Hệ thống DFS cho phép
tạo một hệ thống lưu trữ được quản lý tập trung, có tính an
toàn, tin cậy cao với chi phí thấp. Hơn nữa, luận văn cũng
triển khai tính năng cân bằng tải, kết hợp với hệ thống
DFS để cung cấp dịch vụ web có khả năng sẵn sàng cao.

KẾT LUẬN
Xuất phát từ yêu cầu thực tế về yêu cầu quản lý và lưu trữ
dữ liệu của trường Cao đẳng nghề cơ điện và xây dựng
Bắc ninh, luận văn tập trung nghiên cứu các các giải pháp
xây dựng hệ thống lưu trữ theo mô hình mạng lưu trữ
SAN. Nhìn chung, SAN cho phép xây dựng các mạng lưu

trữ đáp ứng các yêu cầu cao về hiệu năng, dung lượng và
tính an toàn, tin cậy. Cụ thể, luận văn đã đạt được các kết
quả sau:
 Nghiên cứu tổng quan về mạng lưu trữ SAN;
20



 Nghiên cứu về các công nghệ truyền thông sử dụng
trong SAN;
 Nghiên cứu sâu về hai loại SAN thông dụng là FC
SAN dựa trên mạng truyền thông cáp quang và IP SAN
dựa trên bộ giao thức TCP/IP của mạng Internet;
 Phân tích hiện trạng, đề ra các yêu cầu và đề ra mô
hình SAN cho hệ thống lưu trữ tập trung của trường Cao
đẳng nghề cơ điện và xây dựng Bắc ninh;
 Cài đặt thử nghiệm mô hình hệ thống lưu trữ dựa
trên hệ thống file phân tán trên Windows 2008 Server;
 Cài đặt thử nghiệm ứng dụng cân bằng tải cho các
máy chủ chạy trên hệ thống file phân tán trên Windows
2008 Server.
Trong tương lai, luận văn có thể được phát triển theo
các hướng sau:
 Nghiên cứu sâu về mạng iSCSI SAN. Đây là mạng
SAN có nhiều triển vọng ứng dụng, do được thiết kế dựa
trên nền mạng Internet, có khả năng giảm chi phí đầu tư
mà vẫn đảm bảo hiệu năng cần thiết, thích hợp với các hệ
thống lưu trữ cỡ nhỏ và vừa.
21




 Triển khai thiết kế và cài đặt mô hình SAN trên
thực tế tại trường Cao đẳng nghề Cơ điện và Xây dựng
Bắc ninh, phục vụ tốt hơn yêu cầu tin học hóa công tác
quản lý và đào tạo của nhà trường.


×