Báo cáo cuối kì môn học hệ phân bố (4)
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.1 MB, 11 trang )
CUỐI KỲ
Nhóm 4:
GVHD: T.S Nguyễn Thiên bảo
SVTH: Trần Nguyên Thái Bảo
Hồng Tiến Hào
Lê Tuấn Hiệp
Đinh Quốc Hùng
Tổng quan về spark,
Nội dung
Thuật toán ALS
Xây dựng ứng dụng
Tổng quan về spark
Spark
là một framework xử lý dữ liệu mã nguồn mở trên quy mô lớn. Spark cung cấp một giao
diện để lập trình các cụm tính tốn song song với khả năng chịu lỗi.
Khả năng tính tốn phân tán của Apache Spark khiến nó rất phù hợp với big data và
machine learning, vốn địi sức mạnh tính tốn khổng lồ để làm việc trên các kho dữ liệu
lớn.
Spark
loại bỏ một số gánh nặng lập trình khỏi vai của các nhà phát
triển với một API dễ sử dụng đảm nhiệm phần lớn cơng việc
khó khăn của tính tốn phân tán và xử lý dữ liệu lớn.
Các thành phần của Spark
Apache Spark gồm có 5 thành phần chính : Spark Core, Spark Streaming, Spark SQL, MLlib và GraphX.
Apache spark
Apache spark
Bước 4
Bước 2
Spark UI
Cấu hình mơi trường
Bước 1
Tải các file cần thiết
Bước 3
Chạy thử các ví dụ
Thuật toán ALS
Demo
Thank you for
listening to
