đồ án giữa kì phân tích kinh doanh phân tích thời gian trong ngày người tiêu dùng mua sản phẩm

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.53 MB, 24 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>KHOA CÔNG NGHỆ THÔNG TIN </b>

<b>ĐỒ ÁN GIỮA KÌ PHÂN TÍCH KINH DOANH</b>

<b>PHÂN TÍCH THỜI GIAN TRONG NGÀYNGƯỜI TIÊU DÙNG MUA SẢN PHẨM</b>

<i><b>Người hướng dẫn: Ths. PHẠM THÁI KỲ TRUNGNgười thực hiện: HUỲNH NHẬT BẢO – 520H0605</b></i>

<b>Lớp : 20H50303, 20H50301Khoá : 24THÀNH PHỐ HỒ CHÍ MINH, NĂM 2023</b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<b>KHOA CƠNG NGHỆ THƠNG TIN</b>

<b>ĐỒ ÁN GIỮA KÌ PHÂN TÍCH KINH DOANH</b>

<b>PHÂN TÍCH THỜI GIAN TRONG NGÀYNGƯỜI TIÊU DÙNG MUA SẢN PHẨM</b>

<i><b>Người hướng dẫn: GV PHÙ TRỌNG TÍNNgười thực hiện: HUỲNH NHẬT BẢO – 520H0605</b></i>

<b>THÀNH PHỐ HỒ CHÍ MINH, NĂM 2023</b>

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

truyền đạt tri thức, hướng dẫn chúng em để chúng em có thể hồn thành đồ án cuốikì này một cách tốt nhất. Xin trân trọng cám ơn thầy!

<i>TP. Hồ Chí Minh, ngày 20 tháng 11 năm 2023Tác giả</i>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<b> BÁO CÁO ĐƯỢC HỒN THÀNHTẠI TRƯỜNG ĐẠI HỌC TƠN ĐỨC THẮNG</b>

Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng chúng tôi vàđược sự hướng dẫn khoa học của thầy Phù Trọng Tín. Các nội dung nghiêncứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hìnhthức nào trước đây. Những số liệu trong các bảng biểu phục vụ cho việc phântích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau cóghi rõ trong phần tài liệu tham khảo.

Ngồi ra, trong Đồ án này cịn sử dụng một số nhận xét, đánh giá cũngnhư số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chúthích nguồn gốc.

<b>Nếu phát hiện có bất kỳ sự gian lận nào tơi xin hồn tồn chịu tráchnhiệm về nội dung Đồ án cuối kì của mình. Trường Đại học Tơn Đức Thắng</b>

khơng liên quan đến những vi phạm tác quyền, bản quyền do tôi gây ra trongq trình thực hiện (nếu có).

<i>TP. Hồ Chí Minh, ngày 20 tháng 11 năm2023</i>

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

<b>MỤC LỤC</b>

<b>CHƯƠNG 1 – XÁC ĐỊNH BÀI TỐN LIÊN QUAN ĐẾN BUSINESS CẦN ĐỂ PHÂN TÍCH...1</b>

1.1 Các bài tốn phân tích kinh doanh...1

1.2 Xác định bài tốn và mục tiêu...1

<b>CHƯƠNG 2 – CHUẨN BỊ DỮ LIỆU LIÊN QUAN ĐẾN BUSINESS DÙNG ĐỂ PHÂN TÍCH...1</b>

2.1 Dữ liệu của bài toán...1

<b>CHƯƠNG 3 – PRECONDITION...3</b>

3.1 Thuật toán Logistic Regression...3

3.2 Thuật toán Random Forest...4

3.3 Thuật toán Gradient Boosting...5

3.4 Thuật toán AdaBoost...6

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

<b>DANH MỤC BẢNG BIỂU</b>

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<b>DANH MỤC CÁC CHỮ VIẾT TẮT</b>

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

<b>CHƯƠNG 1 – XÁC ĐỊNH BÀI TOÁN LIÊN QUAN ĐẾN BUSINESS CẦN ĐỂ PHÂN TÍCH </b>

<b>1.1 Các bài tốn phân tích kinh doanh</b>

Những bài tốn phân tích kinh doang có những loại hình như sau đây: Dự đốn và dự báo doanh số bán hàng, phân tích khách hàng, chiến lược giá, quản lý chuỗi cung ứng, phân tích chi phí và hiệu suất,…

Thì ở phần này tơi sẽ thực hiện phân tích thời gian mà người tiêu dùngthường hay mua sản phẩm đó hay mua vào những lúc nào từ đó đưa ra những phântích và dự đốn để tăng hiệu suất bán hàng. Dự đoán thời gian người dùng muahàng là một bài toán quan trọng trong lĩnh vực kinh doanh và quản lí chuỗi cungứng.

Dự đốn thời gian người dùng mua hàng mang lại nhiều lợi ích cho doanhnghiệp, giúp họ tối ưu hóa các chiến lược kinh doanh và cung cấp trải nghiệm muasắm tốt hơn cho khách hàng. Việc phân tích và dự đốn thời gian người dùng muahàng tốt có thể mang lại nhiều lợi ích như có thể tối ưu quản lý chuỗi cung ứng, lậpkế hoạch và tổ chức công việc, quảng lí tồn kho, dự báo doanh số bán hàng và lênchiến lược tiếp thị và quảng cáo.

<b>CHƯƠNG 2 – CHUẨN BỊ DỮ LIỆU LIÊN QUAN ĐẾN BUSINESS DÙNG ĐỂ PHÂN TÍCH</b>

Dữ liệu để phân tích được lấy từ kaggle liên quan tới business về một siêu thịnhư sau:

sSil_W4k8xVwJo/edit?usp=sharing

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

1 Data dữ liệuDữ liệu trên bao gồm order_id là số id của đơn hànguser_id là id của khách hàng

order_number là số lượng của đơn hàng

order_dow là ngày trong tuần đơn hàng đã được thực hiệnorder_hour_of day là thời gian đặt hàng

day_since_prior_order là lịch sử của đơn hàngproduct_id là số id của món hàng

add_to_cart_order là số lượng mặt hàng được thêm vào giỏ hàngreordered là là 1 nếu đơn hàng được mua lại cịn ngược lại là 0department_id là id của cơng ty

department là tên cơng typroduct_name tên của món hàng

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

<b>CHƯƠNG 3 – PRECONDITION</b>

Ở bài này tôi sử dụng 1 xu hướng và 4 thuật toán khác nhau Logistic Regression - Random Forest - Gradient Boosting - AdaBoost để giải quyết vấn đề này.

<b>3.1 Thuật toán Logistic Regression</b>

Logistic Regression là một phương pháp trong thống kê và machine learning được sử dụng chủ yếu để dự đoán xác suất của một sự kiện xảy ra dựa trên một hoặc nhiều biến độc lập. Mặc dù tên gọi có chứa từ "regression," Logistic Regression thực sự được sử dụng để thực hiện các tác vụ phân loại, không phải là dự đoán giá trị liên tục như trong hồi quy tuyến tính.

Nguyễn tắc hoạt động:

Biểu diễn Hàm Log-Odds: Đầu tiên, Logistic Regression biểu diễn log-odds của sự kiện phụ thuộc theo các biến độc lập. Log-odds là tỷ lệ giữa xác suất của sự kiện và xác suất của không sự kiện.

Chuyển đổi Log-Odds thành Xác Suất: Sử dụng hàm logistic (hoặc sigmoid) để chuyển đổi log-odds thành xác suất. Hàm logistic có dạng S-shaped và giúp đưa giá trị từ khoảng âm vô cùng đến dương vô cùng về khoảng giữa 0 và 1.

Ước lượng Tham Số: Thực hiện ước lượng tham số của mơ hình thơng qua q trình tối ưu hóa hàm chi phí. Tham số này bao gồm trọng số (weights) của các biến độc lập.

Dự đốn: Khi mơ hình đã được huấn luyện, nó có thể được sử dụng để dự đốn xác suất của sự kiện dựa trên giá trị mới của các biến độc lập.

Ứng dụng trong phân tích dữ liệu kinh doanh:

Phân Loại: Dùng để phân loại các quan sát vào một trong hai nhóm, vídụ như "mua" hoặc "khơng mua," "churn" hoặc "khơng churn."Dự Đốn Xác Suất: Cung cấp xác suất dự đoán của sự kiện xảy ra, giúp trong việc đưa ra quyết định.

Tìm Hiểu Ảnh Hưởng của Biến: ogistic Regression cung cấp các thamsố (trọng số) cho mỗi biến độc lập, giúp hiểu rõ mức độ ảnh hưởng của từng biến lên xác suất của sự kiện.

Đánh Giá Hiệu Suất: Các độ đo như confusion matrix, precision, recall, và F1-score được sử dụng để đánh giá hiệu suất của mơ hình Logistic Regression trong phân loại.

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

Logistic Regression là một công cụ phổ biến trong phân tích dữ liệu kinh doanh khi muốn giải quyết các vấn đề phân loại và dự đoán xác suất xảy ra của sự kiện quan trọng.

<b>3.2 Thuật toán Random Forest</b>

Random Forest là một thuật toán trong machine learning được sử dụng chủ yếu cho các công việc phân loại và dự đốn. Nó là một mơ hình ensemble, có nghĩa là nó kết hợp nhiều mơ hình "weak" (yếu) để tạo ra một mơ hình "strong" (mạnh) cókhả năng dự đốn mạnh mẽ hơn và ít bị q mức đồng nhất.

Nguyên tắc hoạt động:

Bootstrap Sampling (Chọn Mẫu Ngẫu Nhiên): Random Forest sử dụng phương pháp chọn mẫu ngẫu nhiên bằng cách lấy ngẫu nhiên một số lượng lớn mẫu từ tập dữ liệu huấn luyện (bootstrapping). Điều này đảm bảo mỗi cây quyết định trong rừng sẽ được huấn luyện trên một tập dữ liệu khác nhau.

Random Feature Selection (Chọn Ngẫu Nhiên Đặc Trưng): Khi xây dựng mỗi cây quyết định, Random Forest sẽ ngẫu nhiên chọn một số lượng nhỏ đặc trưng từ tất cả các đặc trưng để xây dựng cây. Điều nàygiúp tăng đa dạng giữa các cây và làm cho mơ hình trở nên mạnh mẽ và ít bị overfitting.

Xây Dựng Các Cây Quyết Định (Decision Trees): Mỗi cây quyết địnhtrong Random Forest được xây dựng bằng cách sử dụng một phương pháp như CART (Classification and Regression Trees). Các cây này được xây dựng theo cách đệ quy bằng cách chia dữ liệu thành các nhóm con dựa trên các đặc trưng.

Voting và Dự Đoán: Khi một điểm dữ liệu mới được đưa vào, mỗi câytrong rừng sẽ đưa ra một dự đoán. Dự đoán cuối cùng của Random Forest là kết quả của "voting" (bỏ phiếu) của tất cả các cây. Đối với bài toán phân loại, dự đoán cuối cùng là lớp được bầu chọn nhiều nhất.

Ứng Dụng trong Phân Tích Dữ Liệu Kinh Doanh:

Phân Loại: Random Forest thường được sử dụng để phân loại các đối tượng vào các nhóm khác nhau, chẳng hạn như dự đoán khách hàng sẽmua hay khơng mua sản phẩm.

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

Dự Đốn: Có thể sử dụng để dự đoán các biến liên tục, chẳng hạn nhưdự đoán doanh số bán hàng, giá cổ phiếu, hoặc doanh thu dự kiến.Quản Lý Rủi Ro: Random Forest có thể được sử dụng để đánh giá rủi ro và dự đốn các sự kiện khơng mong muốn, chẳng hạn như xác địnhkhả năng rủi ro của một giao dịch.

Hiểu Biểu Đồ Đặc Trưng: Random Forest cung cấp mức độ quan trọng của từng đặc trưng, giúp hiểu rõ hơn về yếu tố nào đóng vai trị quan trọng trong việc đưa ra dự đoán.

Hiệu Suất Cao và Tính Ứng Dụng Rộng Rãi: Random Forest thường cho hiệu suất cao và khả năng áp dụng rộng rãi, đặc biệt là khi có một lượng lớn dữ liệu và nhiều đặc trưng.

Random Forest là một trong những thuật toán phổ biến và hiệu quả trong thực tế do có khả năng giảm overfitting, ổn định, và tốt trên nhiều loại dữ liệu.

<b>3.3 Thuật toán Gradient Boosting</b>

Gradient Boosting là một kỹ thuật máy học trong đó một chuỗi các mơ hình yếu (weak models) được xây dựng theo cách tuần tự và mỗi mơ hình được xây dựngđể sửa sai lệch của mơ hình trước đó. Ý tưởng chính là kết hợp các mơ hình yếu để tạo ra một mơ hình mạnh hơn và có khả năng dự đốn tốt hơn.

Ngun tắc hoạt động:

Xây Dựng Mơ Hình Đầu Tiên: Bắt đầu với một mơ hình đơn giản, thường là mơ hình hồi quy tuyến tính. Mơ hình này sẽ dự đốn giá trị trung bình của biến phụ thuộc.

Tính Sai Số (Residual): Tính sai số bằng cách lấy hiệu giữa giá trị thực tế và giá trị dự đoán của mơ hình đầu tiên.

Xây Dựng Mơ Hình Kế Tiếp để Sửa Sai Lệch: Xây dựng một mơ hìnhyếu mới để dự đốn sai số của mơ hình trước đó, khơng phải dự đốn giá trị trung bình. Mơ hình mới này được xây dựng để tối thiểu hóa saisố.

Cộng Dồn Dự Đốn Của Các Mơ Hình: Dự đốn cuối cùng là tổng của dự đoán từ tất cả các mơ hình, đưa vào trọng số (learning rate) để kiểm soát độ lớn của các bước cập nhật.

Lặp Lại Quá Trình: Lặp lại quá trình trên, mỗi lần xây dựng một mơ hình mới để sửa sai số của mơ hình kết hợp trước đó.

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

Ứng Dụng trong Phân Tích Dữ Liệu Kinh Doanh:

Phân Loại và Dự Đoán: Gradient Boosting thường được sử dụng để phân loại và dự đốn, giúp xây dựng mơ hình mạnh mẽ từ các mơ hình yếu.

Dự Đốn Đối Tượng Tăng Trưởng (Regression): Có thể sử dụng Gradient Boosting để dự đốn giá trị của biến liên tục, chẳng hạn như doanh số bán hàng, doanh thu, hay giá cổ phiếu.

Hiểu Biểu Đồ Đặc Trưng: Cung cấp độ quan trọng của từng đặc trưng, giúp hiểu rõ hơn về cách mỗi đặc trưng đóng góp vào mơ hình.Xử Lý Dữ Liệu Khơng Đồng Đều (Imbalanced Data): Gradient Boosting có khả năng xử lý tốt với dữ liệu không đồng đều, nơi một nhóm dữ liệu chiếm ưu thế so với nhóm khác.

Tối Ưu Hóa Hiệu Suất: Tự động điều chỉnh để tối ưu hóa hiệu suất mơ hình, có thể điều chỉnh các tham số như số cây, độ sâu cây, và learning rate.

Gradient Boosting có nhiều biến thể như XGBoost, LightGBM, và CatBoost,mỗi biến thể cung cấp các tối ưu hóa và cải tiến riêng để làm cho thuật toán trở nên hiệu quả hơn và dễ triển khai.

<b>3.4 Thuật toán AdaBoost</b>

AdaBoost, viết tắt của Adaptive Boosting, là một thuật toán trong machine learning được sử dụng chủ yếu cho các tác vụ phân loại. Nó là một thuật tốn ensemble, tương tự như Gradient Boosting, nhưng khác với Gradient Boosting, AdaBoost tập trung vào việc cải thiện trọng số của các mẫu dữ liệu để tạo ra một mơ hình mạnh hơn.

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

số giảm đi, trong khi mẫu dữ liệu được phân loại sai sẽ có trọng số tăng lên.

Xây Dựng Mơ Hình Kế Tiếp: Xây dựng mơ hình tiếp theo dựa trên dữliệu có trọng số mới.

Lặp Lại Quá Trình: Lặp lại quá trình trên nhiều lần (có thể được xác định trước bằng số lượng lần lặp hoặc khi hiệu suất đạt đến một ngưỡng nhất định).

Kết Hợp Các Mơ Hình: Cuối cùng, kết hợp tất cả các mơ hình để tạo ra mơ hình cuối cùng. Các mơ hình được kết hợp với trọng số dựa trênhiệu suất của chúng.

Ứng Dụng trong Phân Tích Dữ Liệu Kinh Doanh:

Phân Loại: AdaBoost thường được sử dụng để phân loại các đối tượngvào các nhóm khác nhau, chẳng hạn như phân loại khách hàng sẽ muahay không mua sản phẩm.

Dự Đốn và Phân Loại Chính Xác: AdaBoost thường tạo ra các mơ hình có khả năng phân loại chính xác và hiệu quả.

Xử Lý Dữ Liệu Khơng Đồng Đều (Imbalanced Data): Có thể giúp xử lý tốt với dữ liệu khơng đồng đều, nơi một nhóm dữ liệu chiếm ưu thếso với nhóm khác.

Khả Năng Tích Hợp Với Các Mơ Hình Yếu Khác: Có thể kết hợp với các mơ hình yếu khác như cây quyết định, hồi quy tuyến tính, để tạo ra một mơ hình tổng hợp mạnh mẽ.

AdaBoost là một trong những thuật toán Ensemble phổ biến và hiệu quả trong thực tế, và nó có thể được sử dụng để cải thiện khả năng dự đoán trong nhiều bài toán khác nhau.

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

<b>CHƯƠNG 4 – DEMO</b>

Để thực hiện demo và data visualization cho mơ hình/thuật tốn trong Orange, bạn có thể làm theo các bước sau:

Bước 1: Import Dữ Liệu

Mở Orange và chọn Widget "File" trên thanh công cụ.

Sử dụng Widget "File" để import dữ liệu từ tập tin của bạn (CSV, Excel, hoặc định dạng tương tự).

Bước 2: Khám Phá Dữ Liệu

Sử dụng Widget "Data" để xem dữ liệu của bạn và hiểu cấu trúc của nó.Có thể sử dụng các Widget khác như "Scatter Plot" để xem mối quan hệ giữacác biến.

Bước 3: Tiền Xử Lý Dữ Liệu

Sử dụng các công cụ tiền xử lý như "Data Sampler," "Data Filter," hoặc "Data Domain" để làm sạch dữ liệu hoặc giảm kích thước mẫu nếu cần thiết.Bước 4: Xây Dựng Mơ Hình

Sử dụng các Widget "Modeling" để xây dựng mơ hình. Chẳng hạn, sử dụng "Logistic Regression" hoặc "Decision Tree" để mơ phỏng các thuật tốn phổ biến.

Kết nối các Widgets theo cách thích hợp, ví dụ, nối "Data" với "Logistic Regression."

Bước 5: Đánh Giá Mô Hình

Sử dụng các Widget "Evaluation" để đánh giá hiệu suất của mơ hình.Xem các mục như confusion matrix, precision, recall, và F1-score để hiểu cách mơ hình của bạn hoạt động trên dữ liệu của bạn.

Bước 6: Data Visualization

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

Sử dụng các Widget "Visualization" để hiển thị kết quả. Chẳng hạn, bạn có thể sử dụng "Data Table" để xem dữ liệu chi tiết, "Distribution" để hiển thị phân phối của một biến, hoặc "Scatter Plot" để xem mối quan hệ giữa các biến.

Bước 7: Hiệu Chuẩn và Tối Ưu Hóa

Nếu cần thiết, thử nghiệm các siêu tham số khác nhau hoặc thay đổi cấu trúc của mơ hình để tối ưu hóa hiệu suất.

Bước 8: Xuất Kết Quả

Sử dụng các Widget "Save" để lưu mơ hình hoặc kết quả visualization nếu bạn muốn giữ lại kết quả của cơng việc của mình.

Hình 2 Demo Orange

Input data:

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

Thuật toán:

Dự đoán:

Kiểm tra độ tin cậy của thuật toán:

<b>4.2 Độ tin cậy của thuật toán4.2.1 AUC-ROC:</b>

AUC là viết tắt của "Area Under the Curve," và trong phân tích kinh doanh, nó thường được sử dụng để đánh giá hiệu suất của mơ hình phân loại, đặc biệt là trong bài tốn phân loại nhị phân.

AUC (Area Under the Receiver Operating Characteristic Curve):AUC-ROC là một phương pháp đánh giá hiệu suất của mơ hình phân loại dựa trên đường cong ROC.

Receiver Operating Characteristic Curve (ROC Curve):

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

ROC Curve là một đồ thị biểu diễn mối quan hệ giữa TPR (True Positive Rate - tỷ lệ true positive) và FPR (False Positive Rate - tỷ lệ false positive) ở nhiều ngưỡng quyết định khác nhau.

Ngưỡng quyết định là giá trị ngưỡng được sử dụng để quyết định xem một điểm dữ liệu nên được phân loại là positive hay negative.

AUC-ROC đo diện tích dưới đường cong ROC. Một mơ hình hồn hảo sẽ cóAUC-ROC bằng 1, trong khi một mơ hình ngẫu nhiên có AUC-ROC bằng 0.5.

Diễn Giải AUC-ROC:

Một AUC-ROC cao (gần 1) thường đồng nghĩa với khả năng tốt của mơ hìnhphân loại.

Nếu AUC-ROC gần 0.5, mơ hình có khả năng phân loại khơng tốt hơn một mơ hình ngẫu nhiên.

Sử Dụng trong Kinh Doanh:

AUC-ROC thường được sử dụng trong các bài toán quan trọng, như dự đoán chẩn đốn bệnh, xác định gian lận tín dụng, hoặc các vấn đề quan trọng khác trong phân tích kinh doanh.

AUC-ROC là một một phép đo phổ biến và hữu ích để đánh giá hiệu suất của mơ hình phân loại, đặc biệt là khi bạn cần xem xét khả năng phân loại ở nhiều ngưỡng quyết định khác nhau.

Khi bạn đối diện với một bài toán phân loại, bạn thường muốn đánh giá khả năng của mơ hình của mình trong việc phân loại các điểm dữ liệu vào các nhóm khác nhau (chẳng hạn, "positive" và "negative"). Một số thước đo hiệu suất phân loại quan trọng bao gồm:

</div>