ỨNG DỤNG CÔNG NGHỆ TRUYỀN NHẬN DỮ LIỆU TRONG CÁC HỆ THỐNG QUAN TRẮC MÔI TRƯỜNG TỰ ĐỘNG, LIÊN TỤC

TỔNG CỤC MÔI TRƯỜNG
TRUNG TÂM QUAN TRẮC MÔI TRƯỜNG

ỨNG DỤNG CÔNG NGHỆ TRUYỀN NHẬN DỮ
LIỆU TRONG CÁC HỆ THỐNG QUAN TRẮC
MÔI TRƯỜNG TỰ ĐỘNG, LIÊN TỤC
CÁC TRẠM QUAN TRẮC MÔI TRƯỜNG
KHÔNG KHÍ, NƯỚC TỰ ĐỘNG

Ông Văn Hùng Vỹ, PTP. Dữ liệu và Hệ thống thông tin

Hải Phòng, 6/2014


Nội dung
I. Giới thiệu
II. Công nghệ truyền nhận số liệu
III. Xử lý dữ liệu
IV. Các ứng dụng truyền nhận dữ liệu
V. Định hướng phát triển ứng dụng truyền nhận dữ liệu
VI. Kết luận

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


I. Giới thiệu
- Hệ thống thu thập và truyền nhận dữ liệu được xây dựng

phục vụ cho việc thu thập tổng hợp dữ liệu quan trắc được
từ các trạm quan trắc môi trường tự động và truyền về các
đơn vị đầu mối.

- Xây dựng các ứng dụng khai thác dữ liệu dành cho người
dùng cuối bằng việc áp dụng công nghệ truyền nhận dữ
liệu.
- Xây dựng ứng dụng điều khiển từ xa và tự động hóa các
thiết bị bên trong trạm quan trắc môi trường tự động bằng
công nghệ truyền nhận dữ liệu.
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
• 1. Internet:
1.1. Cơ sở hạ tầng

-Tại các trạm: Các trạm quan trắc môi trường không khí, nước
nằm trong mạng lưới quan trắc tự động, đều được trang bị hạ tầng
mạng internet đường truyền ADSL tương đối ổn định, phục vụ
cho việc truyền nhận số liệu từ các trạm đến trung tâm CSDL và
các địa phương.
-Tại các đơn vị đầu mối: Được trang bị các thiết bị mạng hiện
đại (router, switch, checkpoint, firewall…) phục vụ duy trì mạng
internet với tốc độ đường truyền Mix trong nước(20Mb/s) và
quốc tế lên đến 1,5Mb/s đảm bảo được tính ổn định và tốc độ
nhận dữ liệu từ nhiều trạm trong cùng một thời điểm. Ngoài ra tại
trung tâm có một hệ thống tường lửa được thiết lập chặt chẽ đáp
ứng được các vấn đề về bảo mật dữ liệu.
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
1.2. Hệ thống phần mềm truyền nhận dữ liệu qua môi trường internet:

• Các thành phần của hệ thống truyền nhận dữ liệu qua internet

- Các dịch vụ được cài đặt tại máy trạm (client)
- Các dịch vụ truyền dữ liệu qua internet
- Các dịch vụ tổng hợp dữ liệu được cài đặt tại trung tâm

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
* Chi tiết luồng dữ liệu truyền từ trạm đến hệ thống máy chủ trung tâm

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
- Hệ thống phần mềm truyền nhận dữ liệu được vận hành
tự động theo chu trình khép kín từ bước đọc và đóng gói dữ liệu
từ trạm cho đến việc đưa dữ liệu vào CSDL.
- Hệ thống truyền nhận hoàn toàn có thể tự thiết lập, cấu hình
cho từng trạm theo tần suất đọc, gửi dữ liệu, cấu trúc file dữ liệu.
- Dữ liệu được truyền về cơ sở dữ liệu trung tâm đều được đảm
bảo tính bảo mật và an toàn dữ liệu.

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

II. Công nghệ truyền nhận số liệu
2. Viễn thông không dây: 3G, GSM
2.1 Cơ sở hạ tầng:
-Tại các trạm:
+ Được lắp đặt các thiết bị đọc, kết nối truyền dữ liệu thông
qua việc thu phát sóng 3G/GSM: SC-1000(HACH), MT-102
(INVENTIA), DCOM, Modem GSM…
+Hạ tầng mạng viễn thông 3G/GSM được sử dụng đã phủ
sóng toàn quốc và ổn định: Vina Phone, Viettel, Mobi Phone
- Tại Trung tâm: Được trang bị các hệ thống máy chủ và được
cấp các địa chỉ tiếp nhận dữ liệu cùng với các phần mềm tiếp
nhận dữ liệu
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
* Các thiết bị hiện đang được lắp đặt sử dụng tại đầu mối tiếp nhận dữ liệu

MT-102 Inventia

SC-1000 Hach

Modem 3G/GSM

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu

2.2. Hệ thống phần mềm truyền nhận dữ liệu qua môi trường
3G/GSM.
-Ứng dụng công nghệ truyền số liệu qua môi trường viễn thông
không dây 3G/GSM có thể giải quyết được vấn đề truyền số liệu tại
các trạm có vị trí địa lý phức tạp, chưa có internet.
-Ứng dụng công nghệ không dây phát triển các phần mềm khai thác,
quản lý dữ liệu quan trắc tự động (cảnh báo, khai thác trên thiết bị
di động).
*Hệ thống cơ bản sẽ gồm 2 phần chính:
-Tại trạm:
+ Phần mềm đọc dữ liệu từ datalogger và đóng gói dữ liệu phục vụ
truyền qua môi trường không dây.
+ Phần mềm điều khiển kết nối thiết bị thu phát 3G/GSM thực hiện tác
vụ gửi các gói tin đã được đóng gói theo chuẩn.

-Tại trung tâm: Cài đặt các phần mềm tiếp nhận dữ liệu tại trung
tâm (qua IP, Webservices…) và đưa dữ liệu vào cơ sở dữ liệu.
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
3. Hệ thống quản lý và lưu trữ dữ liệu tại trung tâm
Quan trắc môi trường
3.1 Phần cứng
- Hệ thống phòng máy chủ của được xây dựng với đầy đủ các

trang thiết bị hiện đại, đảm bảo hoạt động phục vụ truyền nhận
dữ liệu trực tuyến liên tục 24/24h và 7 ngày/tuần.
- Hệ thống được thiết kế với các thiết bị SandSwitch dung
lượng lớn (bigdata) và có thể mở rộng nâng cấp dung lượng
nếu cần thiết, hệ thống thiết kế theo cơ chế Cluster các máy
chủ chạy song song đảm bảo được tính bảo toàn dữ liệu.
-Các ổ lưu trữ được thiết kế 3 tầng, cài đặt và chia theo Rate
cho phép sao lưu, backup các dữ liệu tự động theo lịch đảm
bảo được tính bảo mật và phục hồi khi có sự cố.
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


II. Công nghệ truyền nhận số liệu
3.2 Phần mềm
- Các hệ thống server máy chủ cài đặt các phần mềm bản quyền:
+ Hệ điều hành: Linux, Window Server 2008
+ Hệ quản trị CSDL: Microsoft SQL Server Enterprise,
Oracle, thiết kế theo mô hình DataWareHouse, Partition cho phép
lưu dữ liệu lớn (Tính đến 11/6/2014 CSDL Quan trắc đã có xấp xỉ
31 triệu bản ghi).
- Về bảo mật:
+ Hệ thống: Được thiết kế tối ưu với firewall mềm, firewall
cứng, checkpoint, nokia…
+ Ứng dụng: Tuân theo theo cơ chế phân quyền đối với các hệ
thống quản trị CSDL, hệ thống khai thác dữ liệu theo các user.

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
1. Ứng dụng truyền nhận dữ liệu trạm quan trắc tự động:
- Hệ thống phần mềm truyền nhận dữ liệu đang được ứng dụng
cho: 07 trạm quan trắc môi trường không khí tự động, 04 trạm
quan trắc môi trường nước tự động sử dụng công nghệ truyền
dữ liệu qua internet.
- Tần suất dữ liệu được nhận về từ hệ thống truyền nhận dữ
liệu này được thiết lập là 5 phút/bản ghi, đảm bảo được tính
liên tục, trực tuyến của dữ liệu 24/24h và 7 ngày/tuần.
- Dữ liệu được truyền về cơ sở dữ liệu trung tâm đều được đảm
bảo tính bảo mật, an toàn dữ liệu và hoàn toàn có thể phục hồi
những dữ liệu bị mất, gián đoạn khi có sự cố.
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
Dịch vụ tổng hợp
Datalogger

Dịch vụ truyền

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014

III. Các ứng dụng truyền nhận dữ liệu
- Một số phần mềm chuyển đổi dữ liệu trước khi truyền về đơn

vị đầu mối (đối với những dạng dữ liệu không theo cấu trúc
chuẩn như Trạm Lăng Chủ Tịch Hồ Chí Minh).

Chuyển đổi

Dữ liệu phi cấu trúc

Dữ liệu có cấu trúc chua

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
2. Ứng dụng quản lý dữ liệu quan trắc môi trường:
Đơn vị đầu mối được cung cấp các dụng công cụ phần mềm làm
việc với dữ liệu được tích hợp trên cổng thông tin điện tử Quan trắc
môi trường.
+ Công cụ biên tập, quản lý dữ liệu:

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
+ Công cụ khai thác dữ liệu quan trắc môi trường:

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
3. Ứng dụng theo dõi, giám sát và cảnh báo dữ liệu:
a. Theo dõi và giám sát dữ liệu quan trắc tự động:
Thông quan việc theo dõi màn hình giám sát được lắp đặt tại phòng
điều hành các cán bộ, lãnh đạo đơn vị có thể theo dõi hoạt động truyền
nhận dữ liệu của từng trạm (theo hình minh họa dưới đây):

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
b. Cảnh báo dữ liệu:
* Cảnh báo trạng thái truyền dữ liệu:
Ứng dụng được vận hành 24/24h và sẽ gửi cảnh báo đến cán bộ,
lãnh đạo khi gặp sự cố truyền nhận dữ liệu qua địa chỉ email, tin
nhắn di động (SMS) được cấu hình:

Công cụ theo dõi
Cảnh báo Email, SMS

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu
* Ứng dụng cảnh báo chất lượng dữ liệu

Lưu vực sông Cầu

Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014


III. Các ứng dụng truyền nhận dữ liệu

Lưu vực sông Nhuệ - Đáy
Hội thảo Quan trắc môi trường Lần thứ 5, Hải Phòng 19 - 20/6/2014