Tài liệu Big Data nguồn mở, Phần 1: Hướng dẫn Hadoop: Tạo ứng dụng Hello World với Java, Pig, Hive, Flume, Fuse, Oozie và Sqoop với Informix, DB2 và MySQL ppt

Big Data nguồn mở, Phần 1: Hướng dẫn Hadoop: Tạo ứng
dụng Hello World với Java, Pig, Hive, Flume, Fuse, Oozie và
Sqoop với Informix, DB2 và MySQL
Có rất nhiều điều thú vị về Big Data và cũng có rất nhiều sự nhầm lẫn về nó. Bài
này sẽ cung cấp một định nghĩa về Big Data và sau đó thực hiện một loạt các ví dụ
để bạn có thể có được những hiểu biết ban đầu về một số khả năng của Hadoop,
công nghệ nguồn mở hàng đầu trong lĩnh vực Big Data. Cụ thể, ta tập trung vào
những câu hỏi sau:.
 Big Data, Hadoop, Sqoop, Hive và Pig là gì và tại sao lĩnh vực này lại có
nhiều điều thú vị?
 Hadoop liên quan đến DB2 và Informix của IBM như thế nào? Các công
nghệ này có thể chạy với nhau không?
 Tôi có thể bắt đầu với Big Data như thế nào? Có ví dụ nào dễ để thử chạy
trên máy tính không?
 Nếu bạn đã biết khái niệm về Hadoop rồi và muốn vào thẳng công việc với
các ví dụ mẫu, thì hãy làm như sau.
1. Hãy bắt đầu chạy một thể hiện Informix hoặc DB2 của bạn.
2. Tải về file ảnh cho máy ảo VMWare từ Trang web của Cloudera và
tăng thông số RAM máy ảo lên thành 1,5 GB.
3. Chuyển đến mục chứa các ví dụ mẫu.
4. Có một thể hiện MySQL đã được xây dựng sẵn trong máy ảo
VMWare này. Nếu bạn đang làm các bài thực hành mà không kết nối
mạng, hãy sử dụng các ví dụ MySQL này.
Ngoài ra, xin vui lòng xem tiếp
Big Data là gì?
Big Data lớn về số lượng, được bắt giữ với tốc độ nhanh, có cấu trúc hoặc không
có cấu trúc, hoặc là bao gồm các yếu tố ở trên. Những yếu tố này làm cho Big Data
khó bắt giữ lại, khai phá và quản lý nếu dùng các phương thức truyền thống. Có rất
nhiều ý kiến về lĩnh vực này, đến nỗi có thể cần đến một cuộc tranh luận kéo dài
chỉ để định nghĩa thế nào là Big Data.
Sử dụng công nghệ Big Data không chỉ giới hạn về các khối lượng lớn. Bài này sử

dụng các ví dụ mẫu nhỏ để minh họa các khả năng của công nghệ này. Tính đến
năm 2012, các hệ thống được coi là lớn nằm trong phạm vi 100 Petabyte.
Dữ liệu lớn có thể vừa là dữ liệu có cấu trúc, vừa là dữ liệu không có cấu trúc. Các
cơ sở dữ liệu quan hệ truyền thống, như Informix và DB2, cung cấp các giải pháp
đã được kiểm chứng với dữ liệu có cấu trúc. Thông qua khả năng mở rộng, các cơ
sở dữ liệu này cũng quản lý cả dữ liệu không có cấu trúc. Công nghệ Hadoop mang
đến những kỹ thuật lập trình mới và dễ sử dụng hơn để làm việc với các kho dữ
liệu lớn có cả dữ liệu có cấu trúc lẫn dữ liệu không có cấu trúc.
Về đầu trang
Tại sao lại có những điều thú vị ấy?
Có nhiều yếu tố tạo nên sự cường điệu xoay quanh Big Data, bao gồm:.
 Mang tính toán và lưu trữ lại cùng với nhau trên phần cứng thông dụng: Cho
kết quả tốc độ nhanh với chi phí thấp.
 Tỷ số giá hiệu năng: Công nghệ Big Data của Hadoop đưa ra mức tiết kiệm
chi phí đáng kể (hãy nghĩ đến một hệ số nhân xấp xỉ 10) với những cải thiện
hiệu năng đáng kể (một lần nữa, hãy nghĩ đến một hệ số nhân là 10). Lời lãi
của bạn có thể thay đổi. Nếu công nghệ hiện tại có thể bị đánh bại nặng nề
như vậy, thì thật đáng để xem xét xem Hadoop có thể bổ sung hoặc thay thế
các khía cạnh của kiến trúc hiện tại của bạn không.
 Khả năng mở rộng quy mô tuyến tính: Tất cả các công nghệ song song đều
tuyên bố dễ mở rộng quy mô. Hadoop có khả năng mở rộng quy mô kể từ
khi phát hành bản mới nhất có khả năng mở rộng giới hạn số lượng các nút
vượt quá 4.000.
 Truy cập đầy đủ đến dữ liệu không có cấu trúc: Một kho dữ liệu có thể mở
rộng quy mô cao với một mô hình lập trình song song thích hợp,
MapReduce, đã là một thách thức cho ngành công nghiệp từ lâu nay. Mô
hình lập trình của Hadoop không giải quyết tất cả vấn đề, nhưng nó là một
giải pháp mạnh cho nhiều nhiệm vụ.
Các bản phân phối Hadoop: IBM và Cloudera
Đối với những người mới bắt đầu thì họ thường bối rối rằng "Tôi có thể tìm phần

mềm để làm việc với Big Data ở đâu?" Các ví dụ trong bài này đều dựa trên bản
phân phối Hadoop miễn phí của Cloudera được gọi là CDH (viết tắt của Cloudera
distribution including Hadoop). Bản phân phối này có sẵn dưới dạng một file ảnh
máy ảo VMWare từ trang web Cloudera. Gần đây IBM đang sửa đổi nền tảng Big
Data của mình để chạy trên CDH. Xem thông tin chi tiết trong phần Tài nguyên.
Thường thì thuật ngữ công nghệ đột phá bị lạm dụng rất nhiều, nhưng có thể nó rất
phù hợp trong trường hợp này.
Về đầu trang
Hadoop là gì?
Dưới đây là một vài định nghĩa về Hadoop, mỗi định nghĩa nhắm vào một nhóm
đối tượng khác nhau trong doanh nghiệp:
 Đối với các giám đốc điều hành: Hadoop là một dự án phần mềm nguồn mở
của Apache để thu được giá trị từ khối lượng/ tốc độ/ tính đa dạng đáng kinh
ngạc của dữ liệu về tổ chức của bạn. Hãy sử dụng dữ liệu thay vì vứt bỏ hầu
hết dữ liệu đó đi.
 Đối với các giám đốc kỹ thuật: Hadoop là một bộ phần mềm nguồn mở để
khai phá Big Data có cấu trúc và không có cấu trúc về công ty của bạn. Nó
tích hợp với hệ sinh thái Business Intelligence của bạn.
 Đối với nhân viên pháp lý: Hadoop là một bộ phần mềm nguồn mở được
nhiều nhà cung cấp đóng gói và hỗ trợ. Hãy xem phần Tài nguyên về việc
trả tiền sở hữu trí tuệ (IP).
 Đối với các kỹ sư: Hadoop là một môi trường song song thực thi map-reduce
dựa trên Java, không chia sẻ gì cả. Hãy nghĩ đến hàng trăm, hàng ngàn máy
tính đang làm việc để giải quyết cùng một vấn đề, có khả năng khôi phục lỗi
dựng sẵn. Các dự án trong hệ sinh thái Hadoop cung cấp khả năng load (tải)
dữ liệu, hỗ trợ ngôn ngữ cấp cao, triển khai trên đám mây tự động và các khả
năng khác.
 Đối với chuyên gia bảo mật: Hadoop là một bộ phần mềm bảo mật-
Kerberos.
Hadoop có những thành phần nào?

Dự án Hadoop của Apache có hai thành phần cốt lõi, kho lưu trữ tệp gọi là Hadoop
Distributed File System (HDFS – Hệ thống tệp phân tán Hadoop) và khung công
tác lập trình gọi là MapReduce. Có một số dự án hỗ trợ để sử dụng HDFS và
MapReduce. Bài này sẽ cung cấp một cái nhìn sơ lược, bạn hãy tìm đọc cuốn sách
của OReily "Hadoop The Definitive Guide", tái bản lần thứ 3, để biết thêm chi tiết.
Các định nghĩa dưới đây nhằm cung cấp cho bạn những thông tin cơ bản để sử
dụng các ví dụ mã tiếp theo. Bài này thực sự mong muốn giúp bạn bắt đầu bằng
trải nghiệm thực hành với công nghệ này. Đây là một bài hướng dẫn hơn là bài hỏi
đáp thảo luận.
 HDFS: Nếu bạn muốn có hơn 4000 máy tính làm việc với dữ liệu của bạn,
thì tốt hơn bạn nên phổ biến dữ liệu của bạn trên hơn 4000 máy tính đó.
HDFS thực hiện điều này cho bạn. HDFS có một vài bộ phận dịch chuyển.
Các Datanode (Nút dữ liệu) lưu trữ dữ liệu của bạn và Namenode (Nút tên)
theo dõi nơi lưu trữ các thứ. Ngoài ra còn có những thành phần khác nữa,
nhưng như thế đã đủ để bắt đầu.
 MapReduce: Đây là mô hình lập trình cho Hadoop. Có hai giai đoạn, không
ngạc nhiên khi được gọi là Map và Reduce. Để gây ấn tượng với các bạn bè
của bạn hãy nói với họ là có một quá trình shuffle-sort (ND.: một quá trình
mà hệ thống thực hiện sắp xếp và chuyển các kết quả đầu ra của map tới các
đầu vào của các bộ rút gọn) giữa hai giai đoạn Map và Reduce. JobTracker
(Trình theo dõi công việc) quản lý hơn 4000 thành phần công việc
MapReduce. Các TaskTracker (Trình theo dõi nhiệm vụ) nhận các lệnh từ
JobTracker. Nếu bạn thích Java thì viết mã bằng Java. Nếu bạn thích SQL
hoặc các ngôn ngữ khác không phải Java thì rất may là bạn có thể sử dụng
một tiện ích gọi là Hadoop Streaming (Luồng dữ liệu Hadoop).
 Hadoop Streaming: Một tiện ích để tạo nên mã MapReduce bằng bất kỳ
ngôn ngữ nào: C, Perl, Python, C++, Bash, v.v. Các ví dụ bao gồm một trình
mapper Python và một trình reducer AWK.
 Hive và Hue: Nếu bạn thích SQL, bạn sẽ rất vui khi biết rằng bạn có thể viết
SQL và yêu cầu Hive chuyển đổi nó thành một tác vụ MapReduce. Đúng là

bạn chưa có một môi trường ANSI-SQL đầy đủ, nhưng bạn có 4000 ghi
chép và khả năng mở rộng quy mô ra nhiều Petabyte. Hue cung cấp cho bạn
một giao diện đồ họa dựa trên trình duyệt để làm công việc Hive của bạn.
 Pig: Một môi trường lập trình mức cao hơn để viết mã MapReduce. Ngôn
ngữ Pig được gọi là Pig Latin. Bạn có thể thấy các quy ước đặt tên hơi khác
thường một chút, nhưng bạn sẽ có tỷ số giá-hiệu năng đáng kinh ngạc và
tính sẵn sàng cao.
 Sqoop: Cung cấp việc truyền dữ liệu hai chiều giữa Hadoop và cơ sở dữ liệu
quan hệ yêu thích của bạn.
 Oozie: Quản lý luồng công việc Hadoop. Oozie không thay thế trình lập lịch
biểu hay công cụ BPM của bạn, nhưng nó cung cấp cấu trúc phân nhánh if-
then-else và điều khiển trong phạm vi tác vụ Hadoop của bạn.
 HBase: Một kho lưu trữ key-value có thể mở rộng quy mô rất lớn. Nó hoạt
động rất giống như một hash-map để lưu trữ lâu bền (với những người hâm
mộ python, hãy nghĩ đến một từ điển). Nó không phải là một cơ sở dữ liệu
quan hệ, mặc dù có tên là HBase.
 FlumeNG: Trình nạp thời gian thực để tạo luồng dữ liệu của bạn vào
Hadoop. Nó lưu trữ dữ liệu trong HDFS và HBase. Bạn sẽ muốn bắt đầu với
FlumeNG, để cải thiện luồng ban đầu.
 Whirr: Cung cấp Đám mây cho Hadoop. Bạn có thể khởi động một hệ thống
chỉ trong vài phút với một tệp cấu hình rất ngắn.
 Mahout: Máy học dành cho Hadoop. Được sử dụng cho các phân tích dự báo
và phân tích nâng cao khác.
 Fuse: Làm cho hệ thống HDFS trông như một hệ thống tệp thông thường, do
đó bạn có thể sử dụng lệnh ls, cd, rm và những lệnh khác với dữ liệu HDFS.
 Zookeeper: Được sử dụng để quản lý đồng bộ cho hệ thống. Bạn sẽ không
phải làm việc nhiều với Zookeeper, nhưng nó sẽ làm việc rất nhiều cho bạn.
Nếu bạn nghĩ rằng bạn cần viết một chương trình có sử dụng Zookeeper thì
bạn hoặc là rất, rất thông minh và bạn có thể là một ủy viên cho một dự án
Apache hoặc bạn sắp có một ngày rất tồi tệ.

Hình 1 cho thấy các phần quan trọng của Hadoop.

Hình 1. Kiến trúc Hadoop

HDFS, tầng dưới cùng, nằm trên một cụm phần cứng thông thường. Các máy chủ
lắp vào tủ khung (rack-mounted) đơn giản, mỗi máy chủ có các CPU lõi 2-Hex, 6
đến 12 đĩa và 32 Gb ram. Đối với một công việc map-reduce, tầng trình ánh xạ đọc
từ các đĩa ở tốc độ rất cao. Trình ánh xạ phát ra các cặp khóa giá trị được sắp xếp
và được đưa tới trình rút gọn và tầng trình rút gọn tóm lược các cặp key-value.
Không, bạn không phải tóm lược các cặp key-value, trên thực tế bạn có thể có một
tác vụ map-reduce chỉ có có các trình ánh xạ. Điều này sẽ trở nên dễ hiểu hơn khi
bạn xem ví dụ python-awk.
Hadoop tích hợp với cơ sở hạ tầng Informix hoặc DB2 như thế nào?
Hadoop tích hợp rất tốt với cơ sở dữ liệu Informix và cơ sở dữ liệu DB2 thông qua
Sqoop. Sqoop là công cụ nguồn mở hàng đầu để di chuyển dữ liệu giữa Hadoop và
các cơ sở dữ liệu quan hệ. Nó sử dụng JDBC để đọc và viết vào Informix, DB2,
MySQL, Oracle và các nguồn khác. Có các bộ thích ứng được tối ưu hoá cho một
vài cơ sở dữ liệu, bao gồm Netezza và DB2. Hãy xem phần Tài nguyên về cách tải
về các bộ thích ứng này. Tất cả các ví dụ đều là đặc trưng của Sqoop.
Về đầu trang
Bắt đầu: Làm thế nào để chạy các ví dụ Hadoop, Hive, Pig, Oozie và Sqoop đơn
giản
Bạn đã tìm hiểu nhập môn và các định nghĩa, bây giờ là lúc bắt đầu những công
việc thực sự. Để tiếp tục, bạn sẽ cần tải về VMWare, VirtualBox hoặc file ảnh máy
ảo khác từ trang Web Cloudera và bắt đầu chạy MapReduce! File máy ảo chạy cấu
hình 64bit và một trong các môi trường ảo hóa phổ biến. Hầu hết các môi trường
ảo hóa đều có một bản tải về miễn phí. Khi bạn cố gắng khởi động một file ảnh
máy ảo 64bit, bạn có thể nhận được thông báo lỗi về các thiết lập BIOS. Hình 2
cho thấy các thay đổi cần thiết trong BIOS của một máy, ở đây là Thinkpad™. Hãy
thận trọng khi thực hiện các thay đổi. Một số gói bảo mật của công ty sẽ yêu cầu

bạn nhập mật khẩu trước khi lưu những thay đổi.

Hình 2. Các thiết lập BIOS cho một khách ảo 64bit

Big Data được dùng ở đây thực sự là khá nhỏ. Vấn đề không phải là làm cho máy
tính của bạn nóng lên khi xử lý một tệp lớn, mà để cho bạn thấy các nguồn dữ liệu
rất thú vị và các công việc của map-reduce để trả lời những thắc mắc của bạn.
Tải về file ảnh máy ảo Hadoop
Bạn cần sử dụng file ảnh máy ảo Cloudera để chạy các ví dụ này. Hadoop là một
công nghệ để giải quyết các vấn đề. Việc đóng gói file ảnh Cloudera cho phép bạn
tập trung vào các câu hỏi big-data. Nhưng nếu bạn quyết định tự mình lắp ráp tất
cả các bộ phận, Hadoop trở thành vấn đề cần giải quyết, chứ không còn là giải
pháp nữa.
Tải về một máy ảo. Máy ảo CDH4, sản phẩm mới nhất có sẵn ở đây: CDH4 image.
Phiên bản trước, CDH3, có sẵn ở đây: CDH3 image.
Bạn có thể chọn các công nghệ ảo hóa của mình. Bạn có thể tải về một môi trường
ảo hóa miễn phí từ VMWare và những phần mềm khác. Ví dụ, hãy chuyển đến
vmware.com và tải về vmware-player. Máy tính của bạn đang chạy Windows, hãy
tải về phiên bản vmware-player dành cho windows. Các ví dụ trong bài này sẽ sử
dụng VMWare cho các ví dụ này và chạy hệ điều hành Linux Ubuntu bằng cách sử
dụng "tar" thay vì "winzip" hoặc tương đương.
Sau khi tải về, giải nén (untar/unzip) như sau: tar -zxvf cloudera-demo-vm-
cdh4.0.0-vmware.tar.gz.
Hoặc, nếu bạn đang sử dụng CDH3, thì sử dụng lệnh sau: tar -zxvf cloudera-demo-
vm-cdh3u4-vmware.tar.gz
Unzip có thể hoạt động với các tệp tar. Sau khi giải nén, bạn có thể bắt đầu chạy
máy ảo đó như sau:
vmplayer cloudera-demo-vm.vmx.
Bây giờ bạn sẽ có một màn hình trông giống như màn hình hiển thị trong Hình 3.

Hình 3. Ảnh ảo Cloudera

Lệnh Vmplayer đi sâu ngay vào máy ảo và khởi động máy ảo. Nếu bạn đang sử
dụng CDH3, thì bạn sẽ cần phải tắt máy ảo và thay đổi các thiết lập bộ nhớ. Sử
dụng biểu tượng nút nhấn nguồn bên cạnh đồng hồ ở phía dưới cùng chính giữa
màn hình để tắt nguồn máy ảo. Sau đó, bạn cần chỉnh sửa quyền truy cập vào các
thiết lập máy ảo.
Đối với CDH3, bước tiếp theo là bạn tăng bộ nhớ RAM. Hầu hết các thiết lập này
chỉ có thể thay đổi khi đã tắt máy ảo. Hình 4 cho thấy cách truy cập vào các thiết
lập này và tăng bộ nhớ RAM được cấp phát lên trên 2GB.

Hình 4. Thêm bộ nhớ RAM cho máy ảo

Như hiển thị trong Hình 5, bạn có thể thay đổi các thiết lập mạng thành bridged
(được nối cầu). Với thiết lập này, máy ảo sẽ nhận được địa chỉ IP riêng của mình.
Nếu điều này tạo ra các vấn đề về sử dụng mạng của bạn, thì bạn có thể tùy chọn
sử dụng Network Address Translation (NAT). Bạn sẽ sử dụng mạng để kết nối đến
cơ sở dữ liệu.

Hình 5. Thay đổi các thiết lập mạng thành bridged

Bạn bị hạn chế bởi bộ nhớ RAM trên hệ thống máy chủ vật lý, do đó, đừng cố
gắng cấp phát bộ nhớ RAM nhiều hơn bộ nhớ RAM hiện có trên máy tính của bạn.
Nếu bạn làm như vậy, máy tính sẽ chạy rất chậm.
Bây giờ, bạn chờ một lát, hãy tiếp tục và bật nguồn cho máy ảo. Tài khoản
cloudera được tự động đăng nhập vào lúc khởi động. Nếu bạn cần mật khẩu thì mật
khẩu của Cloudera là: cloudera.
Cài đặt Informix và DB2
Bạn sẽ cần một cơ sở dữ liệu để làm việc với nó. Nếu bạn chưa có một cơ sở dữ
liệu nào, thì bạn có thể tải về Ấn bản Informix Developer (Phiên bản Informix

dành cho nhà phát triển) ở đây hoặc Ấn bản DB2 Express-C miễn phí.
Một lựa chọn khác để cài đặt DB2 là tải về file ảnh máy ảo VMWare đã cài đặt sẵn
DB2 trên một hệ điều hành Linux SuSE. Hãy đăng nhập như là người dùng chủ
(root), với mật khẩu là: password.
Chuyển sang mã định danh người dùng (userid) là db2inst1. Làm việc trực tiếp trên
tài khoản root cũng giống như việc lái xe mà không thắt dây an toàn vậy. Hãy liên
hệ với Quản trị viên cơ sở dữ liệu (DBA) của bạn về việc chạy cơ sở dữ liệu. Bài
này sẽ không trình bày điều đó ở đây. Đừng cố gắng cài đặt cơ sở dữ liệu bên trong
máy ảo Cloudera vì không có đủ dung lượng đĩa để sử dụng.
Máy ảo sẽ kết nối với cơ sở dữ liệu bằng cách sử dụng Sqoop thông qua driver
JDBC. Bạn sẽ cần có driver JDBC cho cơ sở dữ liệu của mình trong máy ảo. Bạn
có thể cài đặt trình điều khiển Informix ở đây.
Trình điều khiển DB2 có ở đây:
or

Việc cài đặt trình driver JDBC Informix (hãy nhớ, chỉ cài driver bên trong máy ảo,
chứ không phải cả cơ sở dữ liệu ở trong đó) được hiển thị trong Liệt kê 1.

Liệt kê 1. Cài đặt driver JDBC của Informix

tar -xvf /JDBC.3.70.JC5DE.tar
followed by
java
-jar setup.jar


Lưu ý: Chọn một thư mục con bên trong /home/cloudera để không bị hỏi về quyền
hạn mỗi khi cài đặt.
Driver JDBC của DB2 ở định dạng nén, do đó chỉ cần giải nén nó trong thư mục
đích, như trong Liệt kê 2.

Liệt kê 2. Cài đặt driver JDBC của DB2

mkdir db2jdbc
cd db2jdbc
unzip /ibm_data_server_driver_for_jdbc_sqlj_v10.1.zip


Giới thiệu ngắn về HDFS và MapReduce
Trước khi bạn bắt đầu di chuyển dữ liệu giữa cơ sở dữ liệu quan hệ của bạn và
Hadoop, bạn cần biết qua về HDFS và MapReduce. Có rất nhiều hướng dẫn kiểu
"hello world" cho Hadoop, vì thế các ví dụ ở đây được đưa ra chỉ nhằm để cung
cấp đủ thông tin cơ bản để bạn hiểu các bài tập thực hành cơ sở dữ liệu của mình.
HDFS cung cấp lưu trữ trên các nút trong cụm của bạn. Bước đầu tiên trong việc
sử dụng Hadoop là đưa dữ liệu vào HDFS. Mã được hiển thị trong Liệt kê 3 lấy
một bản sao của một cuốn sách của Mark Twain và một cuốn sách của James
Fenimore Cooper và sao chép các văn bản này vào HDFS.

Liệt kê 3. Nạp văn bản cuốn sách của Mark Twain và của James Fenimore Cooper
vào HDFS

# install wget utility into the virtual image
sudo yum install wget

# use wget to download the Twain and Cooper's works
$ wget -U firefox
$ wget -U firefox

# load both into the HDFS file system
# first give the files better names
# DS for Deerslayer

# HF for Huckleberry Finn
$ mv pg3285.txt DS.txt
$ mv pg76.txt HF.txt

# this next command will fail if the directory already exists
$ hadoop fs -mkdir /user/cloudera

# now put the text into the directory
$ hadoop fs -put HF.txt /user/cloudera


# way too much typing, create aliases for hadoop commands
$ alias hput="hadoop fs -put"
$ alias hcat="hadoop fs -cat"
$ alias hls="hadoop fs -ls"
# for CDH4
$ alias hrmr="hadoop fs -rm -r"
# for CDH3
$ alias hrmr="hadoop fs -rmr"

# load the other article
# but add some compression because we can

$ gzip DS.txt

# the . in the next command references the cloudera home directory
# in hdfs, /user/cloudera

$ hput DS.txt.gz .

# now take a look at the files we have in place
$ hls
Found 2 items
-rw-r r 1 cloudera supergroup 459386 2012-08-08 19:34
/user/cloudera/DS.txt.gz
-rw-r r 1 cloudera supergroup 597587 2012-08-
08 19:35 /user/cloudera/HF.txt


Bây giờ bạn có hai tệp trong một thư mục trong HDFS. Đừng phấn khích vội. Thật
tình, trên một nút duy nhất và với chỉ có khoảng 1 megabyte, chả có gì đáng xem.
Nhưng nếu đây là một cụm có 400 nút và bạn có 5 petabyte đang tồn tại, thì bạn sẽ
thực sự rất khó kìm giữ sự hứng thú của mình.
Nhiều hướng dẫn trong số các hướng dẫn Hadoop sử dụng ví dụ đếm từ đã có
trong tệp jar ví dụ. Hóa ra là rất nhiều phân tích liên quan đến việc đếm và gộp. Ví
dụ trong Liệt kê 4 giới thiệu cho bạn cách gọi bộ đếm từ.

Liệt kê 4. Đếm các từ trong tác phẩm của Twain và Cooper

# hadoop comes with some examples
# this next line uses the provided java implementation of a
# word count program

# for CDH4:
hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-
examples.jar wordcount HF.txt
HF.out

# for CDH3:
hadoop jar /usr/lib/hadoop/hadoop-examples.jar wordcount HF.txt HF.out

# for CDH4:
hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar wordcount
DS.txt.gz DS.out

# for CDH3:
hadoop jar /usr/lib/hadoop/hadoop-examples.jar wordcount DS.txt.gz DS.out


Hậu tố .gz trong tệp DS.txt.gz nói cho Hadoop biết xử lý giải nén như là một phần
của việc xử lý Map-Reduce. Cooper hơi dài dòng một chút vì thế đáng nén nó.
Còn có một luồng các thông báo từ việc chạy công việc đếm từ của bạn. Hadoop
rất vui lòng cung cấp nhiều chi tiết về các chương trình Mapping và Reducing đang
chạy thay cho bạn. Các dòng quan trọng mà bạn muốn tìm xem được hiển thị trong
Liệt kê 5, bao gồm cả một liệt kê thứ hai về công việc có lỗi và cách sửa chữa một
trong những lỗi phổ biến nhất mà bạn sẽ gặp phải khi chạy MapReduce.

Liệt kê 5. Các thông báo MapReduce - "con đường hạnh phúc"

$ hadoop jar /usr/lib/hadoop/hadoop-examples.jar wordcount HF.txt HF.out
12/08/08 19:23:46 INFO input.FileInputFormat: Total input paths to process : 1
12/08/08 19:23:47 WARN snappy.LoadSnappy: Snappy native library is available
12/08/08 19:23:47 INFO util.NativeCodeLoader: Loaded the native-hadoop library

12/08/08 19:23:47 INFO snappy.LoadSnappy: Snappy native library loaded
12/08/08 19:23:47 INFO mapred.JobClient: Running job:
job_201208081900_0002

12/08/08 19:23:48 INFO mapred.JobClient: map 0% reduce 0%
12/08/08 19:23:54 INFO mapred.JobClient: map 100% reduce 0%

12/08/08 19:24:01 INFO mapred.JobClient: map 100% reduce 33%
12/08/08 19:24:03 INFO mapred.JobClient: map 100% reduce 100%
12/08/08 19:24:04 INFO mapred.JobClient: Job complete:
job_201208081900_0002

12/08/08 19:24:04 INFO mapred.JobClient: Counters: 26
12/08/08 19:24:04 INFO mapred.JobClient: Job Counters
12/08/08 19:24:04 INFO mapred.JobClient: Launched reduce tasks=1
12/08/08 19:24:04 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=5959
12/08/08 19:24:04 INFO mapred.JobClient: Total time spent by all reduces
12/08/08 19:24:04 INFO mapred.JobClient: Total time spent by all maps
waiting
12/08/08 19:24:04 INFO mapred.JobClient: Launched map tasks=1
12/08/08 19:24:04 INFO mapred.JobClient: Data-local map tasks=1
12/08/08 19:24:04 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=9433

12/08/08 19:24:04 INFO mapred.JobClient: FileSystemCounters
12/08/08 19:24:04 INFO mapred.JobClient: FILE_BYTES_READ=192298
12/08/08 19:24:04 INFO mapred.JobClient: HDFS_BYTES_READ=597700
12/08/08 19:24:04 INFO mapred.JobClient: FILE_BYTES_WRITTEN=498740

12/08/08 19:24:04 INFO mapred.JobClient:
HDFS_BYTES_WRITTEN=138218
12/08/08 19:24:04 INFO mapred.JobClient: Map-Reduce Framework
12/08/08 19:24:04 INFO mapred.JobClient: Map input records=11733
12/08/08 19:24:04 INFO mapred.JobClient: Reduce shuffle bytes=192298
12/08/08 19:24:04 INFO mapred.JobClient: Spilled Records=27676
12/08/08 19:24:04 INFO mapred.JobClient: Map output bytes=1033012
12/08/08 19:24:04 INFO mapred.JobClient: CPU time spent (ms)=2430
12/08/08 19:24:04 INFO mapred.JobClient: Total committed heap usage

(bytes)=183701504
12/08/08 19:24:04 INFO mapred.JobClient: Combine input records=113365
12/08/08 19:24:04 INFO mapred.JobClient: SPLIT_RAW_BYTES=113
12/08/08 19:24:04 INFO mapred.JobClient: Reduce input records=13838
12/08/08 19:24:04 INFO mapred.JobClient: Reduce input groups=13838
12/08/08 19:24:04 INFO mapred.JobClient: Combine output records=13838
12/08/08 19:24:04 INFO mapred.JobClient: Physical memory (bytes)
snapshot=256479232
12/08/08 19:24:04 INFO mapred.JobClient: Reduce output records=13838
12/08/08 19:24:04 INFO mapred.JobClient: Virtual memory (bytes)
snapshot=1027047424
12/08/08 19:24:04 INFO mapred.JobClient: Map output records=113365


Tất cả các thông báo trên có ý nghĩa gì? Hadoop đã thực hiện nhiều công việc và
đang cố gắng báo cho bạn biết về chúng, bao gồm những việc sau:
 Đã kiểm tra để xem liệu các tệp đầu vào có tồn tại không.
 Đã kiểm tra để xem liệu thư mục đầu ra đã tồn tại chưa, và nếu có, thì hủy
bỏ công việc. Không gì tệ hơn là ghi đè lên hàng giờ tính toán, chỉ bởi một
lỗi bàn phím đơn giản.
 Đã phân phối tệp jar của Java cho tất cả các nút chịu trách nhiệm thực hiện
công việc này. Trong trường hợp này, chỉ có một nút duy nhất.
 Đã chạy giai đoạn ánh xạ của công việc. Thông thường giai đoạn này phân
tích cú pháp tệp đầu vào và phát ra một cặp khóa giá trị. Lưu ý khóa và giá
trị có thể là các đối tượng.
 Đã chạy giai đoạn sắp xếp để sắp xếp các kết quả đầu ra của trình ánh xạ
dựa trên khóa.
 Đã chạy giai đoạn rút gọn, thường giai đoạn này tóm lược luồng key-value
và ghi kết quả đầu ra vào HDFS.
 Đã tạo các số liệu đo lường trong tiến trình.

Hình 6 cho thấy một trang web ví dụ mẫu về các số liệu đo lường của công việc
Hadoop sau khi chạy bài tập thực hành Hive.

Hình 6. Trang web ví dụ mẫu của Hadoop

Công việc này đã làm gì và kết quả đầu ra nằm ở đâu? Cả hai đều là những câu hỏi
thích hợp và được hiển thị trong Liệt kê 6.

Liệt kê 6. Kết quả đầu ra của Map-Reduce

# way too much typing, create aliases for hadoop commands
$ alias hput="hadoop fs -put"
$ alias hcat="hadoop fs -cat"
$ alias hls="hadoop fs -ls"
$ alias hrmr="hadoop fs -rmr"

# first list the output directory
$ hls /user/cloudera/HF.out
Found 3 items
-rw-r r 1 cloudera supergroup 0 2012-08-08 19:38
/user/cloudera/HF.out/_SUCCESS
drwxr-xr-x - cloudera supergroup 0 2012-08-08 19:38 /user/cloudera/HF.out/_logs

-rw-r r 1 cl sup 138218 2012-08-08 19:38 /user/cloudera/HF.out/part-r-
00000

# now cat the file and pipe it to the less command
$ hcat /user/cloudera/HF.out/part-r-00000 | less

# here are a few lines from the file, the word elephants only got used twice

elder, 1
eldest 1
elect 1
elected 1
electronic 27
electronically 1
electronically, 1
elegant 1
elegant! 'deed 1
elegant, 1
elephants 2


Trong trường hợp bạn chạy cùng một công việc hai lần và quên xóa thư mục kết
quả đầu ra, bạn sẽ nhận được các thông báo lỗi được hiển thị trong Liệt kê 7. Việc
sửa lỗi này chỉ đơn giản là xóa thư mục đó.

Liệt kê 7. Các thông báo MapReduce – lỗi do kết quả đầu ra đã tồn tại trong HDFS

# way too much typing, create aliases for hadoop commands
$ alias hput="hadoop fs -put"
$ alias hcat="hadoop fs -cat"
$ alias hls="hadoop fs -ls"
$ alias hrmr="hadoop fs -rmr"

$ hadoop jar /usr/lib/hadoop/hadoop-examples.jar wordcount HF.txt HF.out
12/08/08 19:26:23 INFO mapred.JobClient:
Cleaning up the staging area hdfs://0.0.0.0/var/l
12/08/08 19:26:23 ERROR security.UserGroupInformation:
PriviledgedActionException

as:cloudera (auth:SIMPLE)
cause:org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory HF.out already exists
org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory HF.out already exists
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.
checkOutputSpecs(FileOutputFormat.java:132)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:872)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:833)

lines deleted

# the simple fix is to remove the existing output directory

$ hrmr HF.out

# now you can re-run the job successfully

# if you run short of space and the namenode enters safemode
# clean up some file space and then

$ hadoop dfsadmin -safemode leave


Hadoop có một giao diện trình duyệt để kiểm tra trạng thái của HDFS. Hình 7 cho
thấy kết quả đầu ra của công việc đếm từ.

Hình 7. Khám phá HDFS bằng một trình duyệt

Một giao diện điều khiển tinh tế hơn có sẵn miễn phí trong trang web của

Cloudera. Nó cung cấp một số khả năng nằm ngoài các giao diện web Hadoop
chuẩn. Lưu ý rằng tình trạng sức khỏe của HDFS trong Hình 8 được hiển thị là Bad
(Kém).

Hình 8. Trình quản lý Cloudera quản lý Các dịch vụ Hadoop

Tại sao tình trạng sức khỏe của HDFS lại kém? Vì trong một máy ảo đơn, HDFS
không thể tạo ra ba bản sao của các khối dữ liệu. Khi các khối dữ liệu không được
sao chép đủ, thì có nguy cơ mất dữ liệu, do đó, sức khỏe của hệ thống là kém. Tốt
hơn là bạn đừng cố gắng chạy các tác vụ Hadoop chỉ trên một nút đơn.
Bạn không bị hạn chế phải dùng Java cho các công việc MapReduce của mình. Ví
dụ cuối cùng này của MapReduce sử dụng Hadoop Streaming để hỗ trợ một trình
mapper được viết bằng Python và một trình reducer có sử dụng AWK. Bạn không
cần phải là một chuyên gia Java thì mới làm việc được với Map-Reduce!
Mark Twain không phải là một fan hâm mộ Cooper. Trong trường hợp này,
Hadoop sẽ cung cấp một phê bình văn học đơn giản để so sánh giữa Twain và
Cooper. Phép thử Flesch-Kincaid tính toán mức độ dễ đọc của một văn bản cụ thể.
Một trong những yếu tố trong phân tích này là độ dài trung bình của câu. Việc
phân tích cú pháp các câu hóa ra phức tạp hơn so với việc chỉ tìm kiếm dấu chấm
câu. Gói phần mềm openNLP và gói phần mềm Python NLTK có các trình phân
tích cú pháp câu rất tốt. Để đơn giản, ví dụ được hiển thị trong Liệt kê 8 sẽ sử dụng
độ dài từ như là một sự thay thế cho số lượng các âm tiết trong một từ. Nếu bạn
muốn dùng độ dài từ này cho mức tiếp theo, hãy thực hiện phép thử Flesch-
Kincaid trong MapReduce, duyệt trang web và tính toán các mức dễ đọc cho các
trang tin ưa thích của mình.

Liệt kê 8. Một phê bình văn học của trình mapper dựa trên Python

# here is the mapper we'll connect to the streaming hadoop interface

# the mapper is reading the text in the file - not really appreciating Twain's humor
#

# modified from
# />in-python/
$ cat mapper.py
#!/usr/bin/env python
import sys

# read stdin
for linein in sys.stdin:
# strip blanks
linein = linein.strip()
# split into words
mywords = linein.split()
# loop on mywords, output the length of each word
for word in mywords:
# the reducer just cares about the first column,
# normally there is a key - value pair
print '%s %s' % (len(word), 0)


Kết quả đầu ra của trình mapper, cho từ "Twain", sẽ là: 5 0. Các độ dài từ bằng số
đều được sắp xếp theo thứ tự và được đưa tới trình rút gọn theo thứ tự sắp xếp.
Trong các ví dụ được hiển thị trong Liệt kê 9 và 10, không cần sắp xếp dữ liệu để
nhận được kết quả đầu ra đúng, nhưng do việc sắp xếp này được xây dựng trong cơ
sở hạ tầng MapReduce nên dù sao cũng sẽ xảy ra.

Liệt kê 9. Một trình rút gọn AWK dùng cho phê bình văn học

# the awk code is modified from

# awk is calculating
# NR - the number of words in total
# sum/NR - the average word length
# sqrt(mean2/NR) - the standard deviation

$ cat statsreducer.awk
awk '{delta = $1 - avg; avg += delta / NR; \
mean2 += delta * ($1 - avg); sum=$1+sum } \
END { print NR, sum/NR, sqrt(mean2 / NR); }'



Liệt kê 10. Chạy một trình mapper Python và trình reducer AWK với Hadoop
Streaming

# test locally

# because we're using Hadoop Streaming, we can test the
# mapper and reducer with simple pipes

# the "sort" phase is a reminder the keys are sorted
# before presentation to the reducer
#in this example it doesn't matter what order the
# word length values are presented for calculating the std deviation

$ zcat /DS.txt.gz | ./mapper.py | sort | ./statsreducer.awk
215107 4.56068 2.50734

# now run in hadoop with streaming

# CDH4
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
-input HF.txt -output HFstats -file ./mapper.py -file \
./statsreducer.awk -mapper ./mapper.py -reducer ./statsreducer.awk

# CDH3
$ hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-
cdh3u4.jar \
-input HF.txt -output HFstats -file ./mapper.py -file ./statsreducer.awk \
-mapper ./mapper.py -reducer ./statsreducer.awk

$ hls HFstats
Found 3 items
-rw-r r 1 cloudera supergroup 0 2012-08-12 15:38
/user/cloudera/HFstats/_SUCCESS
drwxr-xr-x - cloudera supergroup 0 2012-08-12 15:37
/user/cloudera/HFstats/_logs
-rw-r r 1 cloudera 24 2012-08-12 15:37 /user/cloudera/HFstats/part-00000

$ hcat /user/cloudera/HFstats/part-00000
113365 4.11227 2.17086

# now for cooper

$ hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-
cdh3u4.jar \
-input DS.txt.gz -output DSstats -file ./mapper.py -file ./statsreducer.awk \
-mapper ./mapper.py -reducer ./statsreducer.awk

$ hcat /user/cloudera/DSstats/part-00000
215107 4.56068 2.50734


Những người hâm mộ Mark Twain có thể vui mừng khi biết rằng Hadoop tìm ra
Cooper sử dụng các từ dài hơn và với một độ lệch tiêu chuẩn gây sốc (nhằm mục
đích hài hước). Tất nhiên điều đó giả định rằng các từ ngắn hơn là tốt hơn. Hãy
tiếp tục, phần tiếp theo sẽ ghi dữ liệu trong HDFS vào Informix và DB2.
Sử dụng Sqoop để ghi dữ liệu từ HDFS vào Informix, DB2 hoặc MySQL thông
qua JDBC
Sqoop Apache Project là một Hadoop dựa trên JDBC nguồn mở cho tiện ích di
chuyển dữ liệu của cơ sở dữ liệu. Ban đầu Sqoop đã được tạo ra trong một cuộc thi
lập trình hackathon tại Cloudera và sau đó trở thành nguồn mở.
Việc di chuyển dữ liệu từ HDFS sang một cơ sở dữ liệu quan hệ là một trường hợp
sử dụng phổ biến. HDFS và Map-Reduce rất giỏi làm công việc nặng. Đối với các
truy vấn đơn giản hoặc một kho lưu trữ mặt sau cho một trang web, việc bắt giữ lại
kết quả đầu ra Map-Reduce trong một kho lưu trữ quan hệ là một mẫu thiết kế tốt.
Bạn có thể tránh chạy lại việc đếm từ của Map-Reduce bằng cách chỉ di chuyển
các kết quả bằng Sqoop vào Informix và DB2. Bạn đã tạo ra dữ liệu về Twain và
Cooper, bây giờ hãy di chuyển nó vào một cơ sở dữ liệu, như trong Liệt kê 11.

Liệt kê 11. Thiết lập driver JDBC

#Sqoop needs access to the JDBC driver for every
# database that it will access

# please copy the driver for each database you plan to use for these exercises
# the MySQL database and driver are already installed in the virtual image
# but you still need to copy the driver to the sqoop/lib directory

#one time copy of jdbc driver to sqoop lib directory
$ sudo cp Informix_JDBC_Driver/lib/ifxjdbc*.jar /usr/lib/sqoop/lib/
$ sudo cp db2jdbc/db2jcc*.jar /usr/lib/sqoop/lib/
$ sudo cp /usr/lib/hive/lib/mysql-connector-java-5.1.15-bin.jar /usr/lib/sqoop/lib/


Các ví dụ được hiển thị trong các Liệt kê từ 12 đến 15 được trình bày cho từng cơ
sở dữ liệu. Hãy đọc ngay vào ví dụ mà bạn quan tâm, gồm có Informix, DB2 hoặc
MySQL. Đối với các chương trình cơ sở dữ liệu được viết theo nhiều ngôn ngữ lập
trình, hãy giải trí với tất cả mọi ví dụ. Nếu cơ sở dữ liệu mà bạn chọn không có ở
đây thì cũng không phải là một thách thức lớn để chạy các ví dụ mẫu ở những nơi
khác.

Liệt kê 12. Những người dùng Informix: Sqoop ghi các kết quả đếm từ vào
Informix