Luận án Khai phá dữ liệu chuỗi thời gian dựa vào rút trích đặc trưng bằng phương pháp điểm giữa và kỹ thuật xén

Nội dung text: Luận án Khai phá dữ liệu chuỗi thời gian dựa vào rút trích đặc trưng bằng phương pháp điểm giữa và kỹ thuật xén

1. ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THÀNH SƠN KHAI PHÁ DỮ LIỆU CHUỖI THỜI GIAN DỰA VÀO RÚT TRÍCH ĐẶC TRƢNG BẰNG PHƢƠNG PHÁP ĐIỂM GIỮA VÀ KỸ THUẬT XÉN (TIME SERIES DATA MINING BASED ON FEATURE EXTRACTION WITH MIDDLE POINTS AND CLIPPING METHOD) LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH i
2. TP. HỒ CHÍ MINH, NĂM 2014 ii
3. Công trình được hoàn thành tại khoa Khoa học và Kỹ thuật Máy tính trường Đại học Bách khoa, ĐHQG TP. HCM. Người hướng dẫn khoa học: PGS. TS Dương Tuấn Anh Phản biện 1: PGS. TS. Nguyễn Thị Kim Anh Phản biện 2: PGS. TS. Đỗ Phúc Phản biện 3: PGS. TS. Quản Thành Thơ Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp trường họp tại Vào hồi giờ ngày tháng năm 2014. Có thể tìm hiểu luận án tại thư viện trường Đại học Bách khoa, ĐHQG TP. HCM iii
4. MỤC LỤC 1. Giới thiệu. 1 1.1. Tổng quan về đề tài 1 1.2. Động cơ, mục tiêu, đối tượng và phạm vi nghiên cứu. 1 1.3. Nhiệm vụ và hướng tiếp cận của luận án. 2 2. Cơ sở lý thuyết và các công trình liên quan. 2 2.1. Các độ đo tương tự. 2 2.2. Thu giảm số chiều chuỗi thời gian. 2 2.3. Rời rạc hóa chuỗi thời gian. 3 2.4. Cấu trúc chỉ mục. 3 2.5. Tìm kiếm tương tự trên chuỗi thời gian. 3 2.6. Tìm kiếm tương tự trên chuỗi thời gian dạng luồng. 4 2.7. Phát hiện motif trên chuỗi thời gian. 4 2.8. Gom cụm dữ liệu chuỗi thời gian. 4 3. Thu giảm số chiều chuỗi thời gian bằng phương pháp MP_C. 5 3.1. Phương pháp MP_C (Middle Points_Clipping). 5 3.2. Độ đo tương tự trong không gian MP_C. 6 3.3. Vùng bao MP_C (MP_C_BR). 7 3.4. Hàm tính khoảng cách giữa chuỗi truy vấn Q và MP_C_BR. 8 3.5. Cấu trúc chỉ mục đường chân trời cho phương pháp biểu diễn MP_C. 8 3.6. Tìm kiếm tương tự trên chuỗi thời gian dạng luồng dựa vào MP_C và chỉ mục đường chân trời. 8 3.7. Kết quả thực nghiệm. 10 4. Phát hiện motif dựa vào cấu trúc chỉ mục đa chiều hoặc chỉ mục đường chân trời. 12 4.1. Phát hiện motif dựa vào cấu trúc chỉ mục đa chiều và ý tưởng từ bỏ sớm. 12 iv
5. 4.2. Phát hiện motif xấp xỉ dự trên phương pháp MP_C với sự hỗ trợ của chỉ mục đường chân trời. 14 4.3. Kết quả thực nghiệm. 15 5. Gom cụm chuỗi thời gian được thu giảm theo phương pháp MP_C bằng giải thuật I-k-Means. 16 5.1. Biểu diễn chuỗi thời gian ở nhiều mức xấp xỉ theo phương pháp MP_C 16 5.2. Dùng kd-tree tạo trung tâm các cụm cho thuật toán I- k-Means. 17 5.3. Dùng cây đặc trưng cụm để tạo các trung tâm cụm khởi động cho thuật toán I-k-Means 18 5.4. Thực nghiệm về bài toán gom cụm 19 6. Dự báo dữ liệu chuỗi thời gian có tính xu hướng hoặc mùa bằng phương pháp so trùng mẫu. 20 7. Kết luận và hướng phát triển. 23 7.1. Các đóng góp chính của luận án. 23 7.2. Hạn chế của luận án. 23 7.3. Hướng phát triển. 24 CÁC TÀI LIỆU CÔNG BỐ CỦA TÁC GIẢ 25 v
6. 1. Giới thiệu. 1.1. Tổng quan về đề tài. Một chuỗi thời gian (time series) là một chuỗi các điểm dữ liệu được đo theo từng khoảng thời gian liền nhau theo một tần suất thời gian thống nhất. Một chuỗi thời gian dạng luồng (streaming time series) C là một chuỗi các giá trị thực c1, c2, , trong đó các giá trị mới tới một cách liên tục và được nối vào cuối chuỗi C theo thứ tự thời gian. Những khó khăn và thách thức khi nghiên cứu về dữ liệu chuỗi thời gian: (1) dữ liệu thường rất lớn, (2) phụ thuộc nhiều vào yếu tố chủ quan của người dùng và tập dữ liệu khi đánh giá mức độ tương tự giữa các chuỗi, (3) dữ liệu không đồng nhất. 1.2. Động cơ, mục tiêu, đối tƣợng và phạm vi nghiên cứu. Dữ liệu chuỗi thời gian được sử dụng phổ biến trong rất nhiều lĩnh vực. Kết quả khảo sát nêu trong bài báo của Yang và Wu (2006) “10 challenging problems in Data Mining Research” cho thấy hướng nghiên cứu về khai phá dữ liệu chuỗi thời gian là một trong 10 hướng nghiên cứu sẽ là quan trọng và thách thức nhất. Vì dữ liệu chuỗi thời gian thường rất lớn, những giải thuật khai phá chuỗi thời gian phải thỏa mãn hai tính chất: chúng phải hữu hiệu (tức có độ phức tạp tính toán thấp) và đảm bảo đưa lại kết quả đúng. Đây là một thách thức đã thúc đẩy chúng tôi thực hiện nghiên cứu về lĩnh vực này. Mục tiêu của luận án là đề xuất cách tiếp cận mới cho một số bài toán khai phá dữ liệu chuỗi thời gian. Đối tượng nghiên cứu là dữ liệu chuỗi thời gian với chuỗi thời gian được định nghĩa là một chuỗi các số thực X = x1, x2, x3, xn, trong đó xi là giá trị đo được ở thời điểm thứ i. Phạm vi nghiên cứu của luận án bao gồm nghiên cứu bốn bài toán quan trọng trong khai phá dữ liệu chuỗi thời gian, đó là: tìm kiếm tương tự, gom cụm, phát hiện motif và dự báo trên dữ liệu chuỗi thời gian, trong đó tìm kiếm tương tự là bài toán nền tảng. 1
7. 1.3. Nhiệm vụ và hƣớng tiếp cận của luận án. Hướng tiếp cận chung thường được sử dụng cho các bài toán trong khai phá dữ liệu chuỗi thời gian là thực hiện chúng trong không gian thu giảm (không gian đặc trưng) của dữ liệu. Các nội dung nghiên cứu trong luận án cũng được định hướng đi theo cách tiếp cận này. Nhiệm vụ của luận án là: (1) đề xuất một phương pháp thu giảm số chiều mới thỏa điều kiện chặn dưới và có thể kết hợp với một cấu trúc chỉ mục đa chiều hỗ trợ việc tìm kiếm tương tự hữu hiệu, (2) ứng dụng phương pháp đề xuất vào bài toán phát hiện motif theo hướng tiếp cận xấp xỉ, (3) ứng dụng phương pháp đề xuất vào bài toán gom cụm theo phương pháp gom cụm có thời gian thưc thi tùy chọn, (4) ứng dụng phương pháp đề xuất vào bài toán tìm kiếm tương tự trên chuỗi thời gian dạng luồng và (5) ứng dụng phương pháp thu giảm số chiều đã đề xuất vào bài toán dự báo dữ liệu chuỗi thời gian có tính xu hướng hoặc mùa. 2. Cơ sở lý thuyết và các công trình liên quan. 2.1. Các độ đo tƣơng tự. Trong các bài toán về khai phá dữ liệu chuỗi thời gian, để so sánh hai chuỗi người ta sử dụng các độ đo tương tự. Hai độ đo tương tự thường được sử dụng trong lĩnh vực này là độ đo Euclid và xoắn thời gian động (Dynamic Time Warping). 2.2. Thu giảm số chiều chuỗi thời gian. Thu giảm số chiều là phương pháp biểu diễn chuỗi thời gian n chiều X = {x1, x2, , xn} thành chuỗi thời gian có N chiều Y = {y1, y2, , yN} với N << n, sao cho vẫn giữ được các đặc trưng cần quan tâm của chuỗi thời gian ban đầu. Do khi thu giảm số chiều dữ liệu sẽ gây ra mất mát thông tin, nên khi thực hiện trên dữ liệu xấp xỉ có thể xảy ra lỗi tìm sót và/hoặc lỗi tìm sai. Để đảm bảo có kết quả chính xác, lỗi tìm sót không được phép xảy ra. Để đảm bảo điều này, độ đo tương tự trong không gian thu giảm phải là chặn dưới của độ đo tương tự trong không gian gốc (điều kiện chặn dưới). Để việc tìm kiếm trong không gian đặc trưng đạt hiệu quả, phương pháp thu 2
8. giảm số chiều cần có tính khả chỉ mục và chi phí hậu kiểm thấp. Để chi phí hậu kiểm thấp, lỗi tìm sai phải càng ít càng tốt. Nhiều phương pháp thu giảm số chiều dựa vào rút trích đặc trưng đã được đề xuất và sử dụng. Tuy nhiên có không ít phương pháp thu giảm số chiều mắc phải hai nhược điểm quan trọng: một số phương pháp thu giảm số chiều không chứng minh được bằng toán học thỏa mãn điều kiện chặn dưới (ví dụ như các phương pháp dựa vào điểm quan trọng) và một số phương pháp khác không đề xuất được cấu trúc chỉ mục thích hợp đi kèm để hỗ trợ việc tìm kiếm tương tự hữu hiệu (ví dụ như phương pháp xén dữ liệu). 2.3. Rời rạc hóa chuỗi thời gian. Rời rạc hóa (discretization) chuỗi thời gian là quá trình biến đổi chuỗi thời gian thành một chuỗi các ký tự. Phương pháp rời rạc hóa tiêu biểu là phương pháp xấp xỉ gộp ký hiệu hóa (Symbolic Aggregate approXimation - SAX) và các biến thể của nó như phương pháp xấp xỉ gộp ký hiệu hóa mở rộng (Extended SAX - ESAX), phương pháp xấp xỉ gộp ký hiệu có thể được lập chỉ mục (Indexable SAX - ISAX). 2.4. Cấu trúc chỉ mục. Việc sử dụng cấu trúc lập chỉ mục cho phép chúng ta tìm kiếm các chuỗi con một cách nhanh chóng và hiệu quả. Các cấu trúc chỉ mục đa chiều tiêu biểu như: R-tree và các biến thể của nó, chỉ mục đường chân trời (Skyline). Chỉ mục đường chân trời sử dụng vùng bao đường chân trời. Bằng thực nghiệm, các tác giả đã cho thấy vùng bao đường chân trời biểu diễn các chuỗi thời gian chính xác hơn so với vùng bao chữ nhật nhỏ nhất và không xảy ra tình trạng phủ lấp (overlap). 2.5. Tìm kiếm tƣơng tự trên chuỗi thời gian. Bài toán tìm kiếm tương tự trên dữ liệu chuỗi thời gian được phân làm hai loại: so trùng toàn chuỗi và so trùng chuỗi con. Trong so trùng toàn chuỗi, các chuỗi thời gian được giả 3
9. định là có chiều dài bằng nhau. Bài toán so trùng chuỗi con là tìm các chuỗi con trong một chuỗi thời gian tương tự với chuỗi truy vấn. Đây là bài toán cơ bản và là một thành phần quan trọng của nhiều bài toán khác trong khai phá dữ liệu chuỗi thời gian. 2.6. Tìm kiếm tƣơng tự trên chuỗi thời gian dạng luồng. Trong bài toán này, các luồng dữ liệu liên tục được cập nhật khi có các điểm dữ liệu mới tới theo thời gian thực. Đó là một thách thức khi nghiên cứu về bài toán này do chi phí tính toán lại thu giảm số chiều và cập nhật chỉ mục tăng. Thời gian qua, nhiều phương pháp đã được đề xuất cho bài toán này như: các phương pháp dựa trên dự báo, phương pháp dựa trên độ đo có trọng số, phương pháp dựa trên cách tính gia tăng và cập nhật chỉ mục trì hoãn. 2.7. Phát hiện motif trên chuỗi thời gian. Motif trong chuỗi thời gian là mẫu xuất hiện với tần suất cao nhất. Từ khi được hình thức hóa vào năm 2002, phát hiện motif trong dữ liệu chuỗi thời gian đã và đang được dùng để giải quyết các bài toán trong nhiều lĩnh vực ứng dụng khác nhau. Trong số nhiều giải thuật đã được giới thiệu, phép chiếu ngẫu nhiên đã được sử dụng rộng rãi để phát hiện motif trong chuỗi thời gian từ khi nó được giới thiệu và có thể được dùng để phát hiện tất cả motif với xác xuất cao sau một số lần lặp thích hợp ngay cả trong trường hợp có nhiễu. 2.8. Gom cụm dữ liệu chuỗi thời gian. Gom cụm là sự phân chia các đối tượng dữ liệu vào các nhóm sao cho độ đo tương tự giữa các đối tượng trong cùng nhóm là nhỏ nhất và giữa các đối tượng trong các nhóm khác nhau là lớn nhất. Mỗi nhóm được gọi là một cụm (cluster). Mặc dù đã có nhiều công trình nghiên cứu về gom cụm dữ liệu thường, hầu hết các giải thuật gom cụm đã có trong lĩnh vực khai phá dữ liệu và học máy đã không làm việc hiệu quả với dữ liệu chuỗi thời gian do những tính chất đặc thù của loại dữ liệu này. Những tính chất đặc thù đó là (i) số chiều khá cao, 4
10. (ii) tính tương quan cao của các đặc trưng được rút trích từ dữ liệu và (iii) dữ liệu có thể bị nhiễu. Những tính chất này đặt ra một thách thức cho việc gom cụm dữ liệu chuỗi thời gian. Hai giải thuật thường được sử dụng để gom cụm dữ liệu chuỗi thời gian là k-Means và I-k-Means. 3. Thu giảm số chiều chuỗi thời gian bằng phƣơng pháp MP_C. 3.1. Phƣơng pháp MP_C (Middle Points_Clipping). Do tính chất đặc thù của dữ liệu chuỗi thời gian, định nghĩa một phương pháp thu giảm số chiều đúng đắn và hữu hiệu vẫn là một vấn đề thời sự trong lĩnh vực khai phá dữ liệu chuỗi thời gian. Từ những ưu điểm của phương pháp xấp xỉ gộp từng đoạn (PAA), các phương pháp dựa vào điểm quan trọng và phương pháp xén, chúng tôi tiến hành kết hợp ý tưởng của các phương pháp này để hình thành một phương pháp thu giảm số chiều mới, gọi là MP_C, nhằm tận dụng những ưu điểm của các phương pháp trên, đồng thời khắc phục nhược điểm còn tồn tại của chúng. Cho một cơ sở dữ liệu S gồm k chuỗi thời gian S = {C1, , Ck} và một chuỗi truy vấn Q = q1, , qn. Không mất tính tổng quát, giả sử các chuỗi trong cơ sở dữ liệu S cũng có chiều dài n và mỗi chuỗi coi như một đoạn. Chia đoạn Ci= {c1, ,cn} thành l đoạn con bằng nhau (l ≤ n), chọn ra các điểm giữa của l đoạn con và tính trung bình của đoạn. Để giảm thiểu dung lượng bộ nhớ cần lưu các đặc trưng cho mỗi đoạn, phương pháp MP_C lưu các điểm giữa được chọn dưới dạng chuỗi bit b theo công thức sau: 1 nếu ct >  bt 0 ngược lại trong đó,  là giá trị trung bình của đoạn và ct là giá trị điểm giữa của đoạn con t, với t = 1, , l. Để tăng độ chính xác của biểu diễn xấp xỉ theo phương pháp này, chúng ta có thể chia mỗi chuỗi thời gian thành N (N << n) đoạn có độ dài w và thực hiện biến đổi như trên cho mỗi 5
11. đoạn. Như vậy, với mỗi chuỗi ta chỉ cần lưu N giá trị trung bình và l * N bits. Hình 3.1 minh họa trực quan phương pháp này với số đoạn N = 3 và số điểm giữa được chọn trong mỗi đoạn l = 4. Trong ví dụ này ta sẽ lưu 1 và 1100 ; 2 và 1100; 3 và 1100. Các đường trung bình đoạn µ1 µ2 µ3 1 1 0 0 1 1 0 0 1 1 0 0 Hình 3.1 Minh họa phương pháp MP_C. 3.2. Độ đo tƣơng tự trong không gian MP_C. Cho một chuỗi truy vấn Q và một chuỗi thời gian C (có chiều dài n). C và Q được chia thành N đoạn (N 0 và b = 0) hoặc q ji ' ji ji (qji’ ≤ 0 và bji = 1) d (q ,b ) j ji ji 0 các trường hợp khác với - µqi là giá trị trung bình của đoạn i trong chuỗi Q. - µci là giá trị trung bình của đoạn i trong chuỗi C. - q’ji = qji - µqj, trong đó qji là giá trị điểm thứ i được chọn trong đoạn thứ j của chuỗi thời gian Q. 6
12. - l là số điểm được chọn trong đoạn (l ≤ w) - bji là bit thứ i trong chuỗi biểu diễn nhị phân (bj) của các điểm giữa được chọn trong đoạn j của chuỗi thời gian C. - D1(Q’, C’) là độ đo khoảng cách giữa hai chuỗi giá trị trung bình trong biểu diễn MP_C của hai chuỗi, D2(Q’, C’) là độ đo khoảng cách giữa các điểm giữa được chọn trong hai chuỗi, dj(qji, bji) là độ đo khoảng cách của cặp điểm giữa i trong đoạn j của hai chuỗi tương ứng. Trong luận án này, độ đo DMP_C(Q’, C’) đã được chứng minh thỏa các tính chất không âm, đối xứng và bất đẳng thức tam giác. Ngoài ra, DMP_C(Q’, C’) còn được chứng minh thỏa điều kiện chặn dưới (nghĩa là đảm bảo không xảy ra lỗi tìm sót) và độ phức tạp của giải thuật để thu giảm số chiều một chuỗi theo phương pháp MP_C là O(n). 3.3. Vùng bao MP_C (MP_C_BR). B c1 = 010100010101 c’32 C1 c’11 B c2 = 010101010100 C’ 1 c’ c’ 31 C2 12 c’ C’2 c’21 42 c’41 (a) (b) c’22 Hình 3.2 Ví dụ minh họa về MP_C_BR. (a) Hai chuỗi thời gian C1, C2 và biểu diễn xấp xỉ MP_C của chúng trong không gian bốn chiều. (b) MP_C_BR của hai chuỗi MP_C C’1 và C’2. C’max={c’11, c’21, c’32, c’42} và C’min = {c’12, c’22, c’31, c’41} Định nghĩa 2 (Vùng bao MP_C). Cho một nhóm C’ gồm k chuỗi MP_C trong không gian đặc trưng N chiều. R = (C’max, C’min) được gọi là vùng bao MP_C (ký hiệu MP_C_BR), với C’max={c’1max,c’2max, ,c’Nmax} và C’min={c’1min,c’2min, , c’Nmin}, trong đó c’imax = max{c’i1, , c’ik} và c’imin = min{c’i1, , c’ik}, 1 ≤ i ≤ N với c’ij là giá trị trung bình của đoạn thứ i của chuỗi MP_C thứ j trong C’. 7
13. Hình 3.2 minh họa một ví dụ về MP_C_BR. Trong ví dụ này Bci là chuỗi bit biểu diễn các điểm được chọn trong chuỗi thời gian Ci (số điểm được chọn trong mỗi đoạn là 3). 3.4. Hàm tính khoảng cách giữa chuỗi truy vấn Q và MP_C_BR. Cho Q là chuỗi truy vấn, Q’ là biểu diễn MP_C xấp xỉ của Q trong không gian N chiều. Hàm tính khoảng cách Dregion(Q’, R) giữa chuỗi truy vấn Q’ so với một MP_C_BR R được cho bởi công thức sau: N D (Q', R) w d (Q' , R) (3.5) region i 1 regioni i trong đó, w là chiều dài của các đoạn. (3.4) 2 (c'imin qi) Nếu µqi c’ (3.6) regioni i qi imax qi imax 0 Các trường hợp khác µqi là giá trị trung bình của đoạn i trong chuỗi truy vấn Q. Trong luận án, hàm Dregion(Q’, R) đã được chứng minh thỏa tính chất chặn dưới của nhóm (nghĩa là đảm bảo không xảy ra lỗi tìm sót khi sử dụng phương pháp MP_C kết hợp với chỉ mục đường chân trời). 3.5. Cấu trúc chỉ mục đƣờng chân trời cho phƣơng pháp biểu diễn MP_C. Các chuỗi MP_C có thể được lập chỉ mục bằng chỉ mục đường chân trời được xây dựng dựa trên một cấu trúc chỉ mục đa chiều như R*-tree. Trong cấu trúc này, mỗi phần tử trong nút lá chứa một chuỗi MP_C và một con trỏ chỉ tới chuỗi gốc tương ứng trong cơ sở dữ liệu. MP_C_BR kết hợp với một nút không phải lá là vùng bao nhỏ nhất chứa các MP_C_BR kết hợp với các nút con trực tiếp của nó. 3.6. Tìm kiếm tƣơng tự trên chuỗi thời gian dạng luồng dựa vào MP_C và chỉ mục đƣờng chân trời. Thông thường, mỗi khi một giá trị mới của dữ liệu dạng luồng tới ta phải tính lại giá trị của chuỗi trong không gian thu 8
14. giảm dựa trên W giá trị cuối cùng của luồng dữ liệu và chuỗi dữ liệu dạng luồng phải được cập nhật vào cấu trúc chỉ mục. Điều này dẫn tới chi phí tính toán thu giảm số chiều cao và chi phí cập nhật chỉ mục sẽ cao vì phải thực hiện thao tác xóa và chèn liên tục trong cấu trúc chỉ mục. Để khắc phục điều này, chúng tôi sử dụng cách tính toán gia tăng theo phương pháp MP_C và chính sách cập nhật chỉ mục trì hoãn được giới thiệu bởi Kontaki và các cộng sự. Tính toán gia tăng theo phƣơng pháp MP_C. Cho C = (c0, c1, , cn-1) là một chuỗi dữ liệu dạng luồng có chiều dài n. Giả sử C’ = (c’0, c’1, , c’N-1) và chuỗi bit b biểu diễn nhị phân các điểm giữa của mỗi đoạn là biểu diễn MP_C của C. Khi một giá trị mới cn của dữ liệu dạng luồng này tới ta có chuỗi mới S = (s1,s2, ,sn), trong đó ci = si với i = 1, , n-1 và sn = cn là giá trị mới. Chuỗi thu giảm S’= (s’0, s’1, , s’N-1) của S được tính theo phương pháp MP_C dựa vào chuỗi thu giảm C’ theo công thức sau. N N s'i c'i c n c n i (i 1) n N n N Và các điểm giữa của mỗi đoạn được lấy tại các vị trí có tọa n n độ: i với i = 0, , N-1 N 2N Chính sách cập nhật chỉ mục trì hoãn: Giả sử C là chuỗi thời gian dạng luồng và C1[n-w+1:n] là w giá trị cuối của chuỗi C, với n là vị trí giá trị cuối cùng của chuỗi. C’1 là chuỗi thu giảm của C1 theo phương pháp MP_C và đã được cập nhật vào cây. Khi một giá trị mới tới, chuỗi C2[n-w+2:n+1] được hình thành và C’2 là chuỗi thu giảm của C2 được tính theo phương pháp tính toán gia tăng của MP_C. Nếu khoảng cách DMP_C(C’1, C’2) ≤ Δ (Δ là ngưỡng cho trước) thì C’2 không được cập nhật vào cây. Ngược lại, C’2 sẽ được cập nhật vào cây. Khi thực hiện tìm kiếm tương tự, ngưỡng tìm kiếm ɛ sẽ được mở rộng thêm với giá trị Δ để không xảy ra lỗi tìm sót. 9
15. 3.7. Kết quả thực nghiệm. Các tập dữ liệu dùng trong thực nghiệm được lấy một cách ngẫu nhiên từ nhiều nguồn khác nhau trên Internet. Chúng được tổ chức thành các tập dữ liệu tách biệt dùng trong thực nghiệm: (1) EEG data (170.935KB), (2) Economic data (61.632KB), (3) Hydrology data (30.812KB), (4) Production data (21.614KB), (5) Wind data (20.601KB), (6) Stock (37.256KB), (7) Consumer (27.044KB), (8) Federal Fund (24.974KB), (9) Mallat Technometrics (59.370KB) và (10) Burst (660KB). Thực nghiệm về bài toán tìm kiếm tƣơng tự. Thực nghiệm trong luận án sẽ so sánh phương pháp MP_C với phương pháp xén và phương pháp thông dụng PAA. Thực nghiệm cũng so sánh phương pháp MP_C kết hợp với chỉ mục đường chân trời với phương pháp PAA sử dụng R*tree hoặc chỉ mục đường chân trời. Thực nghiệm được thực hiện trên mười tập dữ liệu nêu trên với kích thước các tập dữ liệu biến đổi từ 10.000 đến 100.000 chuỗi, chiều dài chuỗi dài nhất được sử dụng là 1024. Các chỉ số dùng để đánh giá gồm: độ chính xác được đánh giá qua độ chặt của chặn dưới (tightness of lower bound), tính hiệu quả của phương pháp thu giảm số chiều dựa vào tỉ lệ thu giảm truy xuất (pruning power). Mặt khác, thực nghiệm còn đánh giá về mặt hiện thực hệ thống thông qua chỉ số chi phí CPU chuẩn hóa (Normalized CPU cost). Ngoài ra, thực nghiệm còn đánh giá về tỉ lệ lỗi tìm sai và so sánh về thời gian thu giảm số chiều và thời gian lập chỉ mục của các phương pháp. - Độ chặt của chặn dƣới (T) được tính theo công thức sau: Dfeature(Q',C') T D(Q,C) Trong đó: D(Q, C) là độ đo khoảng cách giữa hai chuỗi Q và C (độ đo khoảng cách thường dùng là độ đo Euclid) và Dfeature(Q’, C’) là độ đo khoảng cách giữa hai chuỗi Q’ và C’ của phương pháp thu giảm số chiều tương ứng. 10
16. Do Dfeature(Q’, C’) ≤ D(Q, C) nên độ chặt của chặn dưới 0≤T≤ 1. Phương pháp có T lớn hơn sẽ hiệu quả hơn. - Tỉ lệ thu giảm truy xuất P được tính theo công thức sau: Số các chuỗi phải được hậu kiểm P = Số các chuỗi trong cơ sở dữ liệu Việc tính khoảng cách dựa trên chuỗi xấp xỉ trong không gian thu giảm thường thực hiện nhanh hơn nhiều so với tính trực tiếp. Do đó, số lần kiểm tra trực tiếp càng giảm thì phương pháp thu giảm số chiều càng hiệu quả. - Chi phí CPU chuẩn hóa được tính theo công thức sau: Thời gian thực thi trung bình có sử dụng thu giảm số chiều và Chi phí CPU cấu trúc chỉ mục = chuẩn hóa Thời gian thực thi tuần tự Chi phí CPU chuẩn hóa của phương pháp quét tuần tự là 1.0. Phương pháp có chi phí CPU chuẩn hóa thấp hơn sẽ hiệu quả hơn. - Tỉ lệ lỗi tìm sai được tính theo công thức: Q - S E = * 100% Số các chuỗi trong cơ sở dữ liệu Trong đó, Q là số các chuỗi lân cận với chuỗi truy vấn tìm được trong không gian đặc trưng và S là số các chuỗi lân cận của cùng chuỗi truy vấn đó tìm được trong không gian gốc. Nhận xét: - Thực nghiệm về độ chặt của chặn dưới và tỉ lệ thu giảm truy xuất hoàn toàn độc lập với hiện thực của hệ thống. Nó chỉ phụ thuộc vào bản chất của dữ liệu và phương pháp lập chỉ mục. - Với các tập dữ liệu thực nghiệm, kết quả thực nghiệm cho thấy: (1) các chỉ số đánh giá của phương pháp MP_C luôn tốt hơn hoặc xấp xỉ bằng với các chỉ số đánh giá của hai phương pháp PAA và xén; (2) tỉ lệ lỗi tìm sai của phương pháp MP_C nhỏ hơn hoặc bằng so với tỉ lệ lỗi tìm sai của hai phương pháp PAA và xén; (3) tập các chuỗi lân cận của một chuỗi truy vấn tìm được trong không gian gốc là tập 11
17. con của tập các chuỗi lân cận của cùng chuỗi truy vấn đó tìm được trong không gian đặc trưng MP_C; (3) thời gian thu giảm số chiều của cả ba phương pháp đều xấp xỉ nhau và phụ thuộc vào chiều dài chuỗi ban đầu. Điều này đúng vì độ phức tạp của cả ba giải thuật này đều là O(n) với n là chiều dài chuỗi; (4) Thời gian lập chỉ mục của phương pháp MP_C sử dụng chỉ mục đường chân trời nhanh hơn so với phương pháp PAA sử dụng R*-tree. Thực nghiệm về tìm kiếm tƣơng tự trên dữ liệu dạng luồng. Thực nghiệm được thực hiện để so sánh phương pháp được đề xuất trong luận án với phương pháp tương tự, chỉ mục IDC. Hai tập dữ liệu dùng trong thực nghiệm là: Stock, Consumer. Kích thước mỗi tập biến đổi từ 1000 đến 8000 chuỗi. Chiều dài chuỗi dài nhất được sử dụng là 1024. Để có được các chuỗi thời gian dạng luồng, các luồng mới được tạo ra bằng cách hoán chuyển vị trí các giá trị dữ liệu của luồng dữ liệu thực. Sự so sánh giữa hai phương pháp dựa trên các chỉ số tỉ lệ thu giảm truy xuất và chi phí CPU chuẩn hóa. Ngoài ra sự so sánh còn dựa trên thời gian xây dựng chỉ mục, thời gian tính toán gia tăng và cập nhật chỉ mục trì hoãn của hai phương pháp. Trong thực nghiệm, tham số ngưỡng điều khiển quá trình cập nhật Δ được chọn là 5. Kết quả thực thực nghiệm trên hai tập dữ liệu Stock và Consumer cho thấy phương pháp tìm kiếm tương tự trên chuỗi thời gian dạng luồng được đề xuất trong luận án này thực hiện tốt hơn phương pháp chỉ mục IDC về các chỉ số đánh giá trên. 4. Phát hiện motif dựa vào cấu trúc chỉ mục đa chiều hoặc chỉ mục đƣờng chân trời. 4.1. Phát hiện motif dựa vào cấu trúc chỉ mục đa chiều và ý tƣởng từ bỏ sớm. Ý tưởng cơ bản của phương pháp này là sử dụng một cấu trúc chỉ mục đa chiều như R*-tree để tìm kiếm lân cận gần nhất hay các lân cận trong phạm vi một ngưỡng cho trước của 12
18. một chuỗi thời gian và sử dụng ý tưởng từ bỏ sớm để làm giảm độ phức tạp tính toán khoảng cách Euclid. Với mỗi chuỗi thời gian s ta tìm chuỗi lân cận gần nhất hay các chuỗi lân cận trong phạm vi một ngưỡng cho trước của nó bằng R*-tree dựa vào MBR (Minimum Bounding Rectangle) và sử dụng độ đo khoảng cách theo định nghĩa sau. Định nghĩa 3. Cho một chuỗi thời gian s có chiều dài n, một tập chuỗi thời gian C và một vùng bao tương ứng MBR R của C trong không gian m chiều (m yjmax i i 0 ngược lại N là chiều dài của đoạn j. Độ đo Dregion(s, R) đã được chứng minh trong luận án là thỏa điều kiện chặn dưới nhóm. Khi một phần tử được tìm thấy, chuỗi gốc tương ứng với nó sẽ được phục hồi để tính độ tương tự giữa hai chuỗi gốc theo khoảng cách Euclid có sử dụng ý tưởng từ bỏ sớm. Sau đó s sẽ được đưa vào R*-tree dựa vào MBR để phục vụ cho quá trình tìm kiếm tiếp theo. Tiến trình trên được lặp lại cho đến khi không còn chuỗi nào cần được xem xét. Trong trường hợp motif là các chuỗi con trong một chuỗi thời gian dài hơn, các lân cận tầm thường được loại bỏ trong thuật toán đề xuất bằng cách dùng vị trí tương quan của các chuỗi con. 13
19. Hình 4.1 minh họa trực quan ý tưởng từ bỏ sớm. Trong ví dụ này khoảng cách best-so-far hiện hành đươc giả định là 12. Tại điểm mà bình phương khoảng cách các điểm được tính trước đó là 144, chúng ta có thể dừng viêc tính toán này. Hình 4.1 Minh họa trực quan ý tưởng từ bỏ sớm. 4.2. Phát hiện motif xấp xỉ dự trên phƣơng pháp MP_C với sự hỗ trợ của chỉ mục đƣờng chân trời. Ý tưởng cơ bản của cách tiếp cận này là phương pháp MP_C được dùng để thu giảm số chiều chuỗi thời gian và chỉ mục đường chân trời được dùng để tìm kiếm lân cận gần nhất của một chuỗi hay các lân cận trong phạm vi ngưỡng tương tự cho trước của nó. Chúng tôi chọn chỉ mục đường chân trời vì chỉ mục này có nhiều ưu điểm hơn chỉ mục đa chiều, đặc biệt là khi được dùng cho chuỗi thời gian. Với mỗi biểu diễn MP_C s’ của chuỗi thời gian s ta tìm chuỗi lân cận gần nhất hay các chuỗi lân cận trong phạm vi một ngưỡng cho trước của nó bằng chỉ mục đường chân trời dựa vào vùng bao MP_C. Đối với nút không phải nút lá, thuật toán sử dụng hàm tính khoảng cách Dregion(s’, R) cho ở công thức (3.5) giữa một chuỗi MP_C s’ và một MP_C_BR R trong chỉ mục. Đối với nút lá, thuật toán sử dụng hàm tính khoảng cách DMP_C cho ở công thức (3.1). Khi một phần tử được tìm thấy, chuỗi gốc tương ứng với nó sẽ được phục hồi để tính độ tương tự giữa hai chuỗi gốc theo khoảng cách Euclid có sử dụng ý tưởng từ bỏ sớm. Sau đó s’ sẽ được đưa vào chỉ mục đường chân trời dựa vào MP_C_BR để phục vụ cho quá trình tìm kiếm tiếp theo. Tiến trình trên được lặp lại cho đến khi không còn chuỗi nào cần xem xét. Trong trường hợp motif là các chuỗi con trong một chuỗi thời gian dài hơn, các lân cận tầm thường được loại bỏ trong thuật toán đề xuất bằng cách dùng vị trí tương quan của các chuỗi con. 14
20. 4.3. Kết quả thực nghiệm. Thực nghiệm này sẽ so sánh hai phương pháp phát hiện motif được đề xuất trong luận án với phép chiếu ngẫu nhiên (Random Projection - RP). Phép chiếu ngẫu nhiên được lựa chọn để so sánh vì thuật toán này đã được sử dụng rộng rãi để phát hiện motif trong chuỗi thời gian từ khi nó được giới thiệu, nó có thể phát hiện motif trong thời gian tuyến tính, đây cũng là thuật toán được trích dẫn nhiều và là cơ sở cho nhiều cách tiếp cận hiện nay cho bài toán phát hiện motif trong dữ liệu chuỗi thời gian. Sự so sánh dựa trên thời gian thực hiện và độ hữu hiệu (Efficiency-Eff). Độ hữu hiệu được xác định theo công thức: Số lần phương pháp đề xuất gọi hàm tính khoảng cách Euclid. Eff. = Số lần thuật toán brute-force gọi hàm tính khoảng cách Euclid. Phương pháp có giá trị độ hữu hiệu thấp hơn là phương pháp tốt hơn. Độ hữu hiệu còn cho thấy mức độ cải tiến của phương pháp đề xuất so với giải thuật brute-force. Thực nghiệm được thực hiện trên bốn tập dữ liệu khác nhau: hai tập dữ liệu có nhiều chuỗi con lặp lại: ECG, Waveform và hai tập dữ liệu chọn ngẫu nhiên trong mười tập dữ liệu nêu ở mục 3.7: Stock, Consumer. Chúng tôi thực hiện thực nghiệm trên các tập dữ liệu có kích thước khác nhau từ 10.000 đến 30.000 chuỗi cho mỗi tập và chiều dài motif biến đổi từ 128 đến 1024. Kết quả thực nghiệm cho thấy hai phương pháp đề xuất đều tốt hơn so với phép chiếu ngẫu nhiên về thời gian thực hiện và độ hữu hiệu. Kết quả thực nghiệm cũng cho thấy mức độ cải thiện của hai phương pháp đề xuất so với giải thuật brute-force là khoảng vài nghìn lần. So sánh hai phương pháp đề xuất thì phương pháp sử dụng MP_C kết hợp với chỉ mục đường chân trời tốt hơn so với phương pháp dùng R*-tree. 15
21. 5. Gom cụm chuỗi thời gian đƣợc thu giảm theo phƣơng pháp MP_C bằng giải thuật I-k-Means. Giải thuật I-k-means là một trong số ít ỏi những giải thuật gom cụm có thể làm việc khá hữu hiệu với dữ liệu chuỗi thời gian. Để có thể gom cụm bằng giải thuật I-k-Means, phương pháp thu giảm số chiều sử dụng phải có tính chất đa mức phân giải. Vì vậy, trong phần này, chúng tôi sẽ trình bày cách biểu diễn chuỗi thời gian ở nhiều mức xấp xỉ theo phương pháp MP_C. Ngoài ra, chúng tôi cũng trình bày cách sử dụng kd- tree hoặc CF-tree để tạo trung tâm cụm ở mức khởi động cho thuật toán I-k-Means nhằm cải tiến hiệu quả của giải thuật gom cụm chuỗi thời gian này. 5.1. Biểu diễn chuỗi thời gian ở nhiều mức xấp xỉ theo phƣơng pháp MP_C Trước tiên, chuỗi thời gian T được chia thành N đoạn bằng nhau (N phải là một số nguyên có dạng 2k) và tính trung bình mỗi đoạn. Các điểm giữa của các đoạn này được xác định và một chuỗi bit của biểu diễn MP_C của chuỗi ở mức phân giải mịn nhất được tạo ra. Một chuỗi những giá trị trung bình ở mức phân giải này sẽ trở thành chuỗi dữ liệu nguyên sơ cho việc xấp xỉ MP_C ở mức phân giải kế tiếp. Số phân đoạn ở mức phân giải kế tiếp chỉ bằng một nửa của số phân đoạn ở mức phân giải hiện hành. Chú ý rằng khi một phân đoạn chỉ gồm có hai điểm, thì ta có thể chọn điểm đầu tiên của phân đoạn làm điểm giữa. Quá trình tạo ra biểu diễn MP_C từ một mức phân giải cao sang một mức phân giải thấp hơn cứ tiếp tục như thế cho đến khi ta đạt đến mức phân giải thô nhất. Bảng 5.1 Ví dụ về các xấp xỉ MP_C ở ba mức phân giải đầu tiên. Mức Trị trung bình các đoạn Chuỗi bit biểu diễn phân giải các điểm giữa 3 4.50, 3.33, 5.00, 5.33 0100 2 3.91, 5.16 10 1 4.54 0 16
22. Bảng 5.1 cho một thí dụ về các xấp xỉ MP_C ở ba mức phân giải đầu tiên của chuỗi S = [4, 3, 6.5, 5, 4, 1, 3, 5, 7, 6, 2, 8] với l = 1. 5.2. Dùng kd-tree tạo trung tâm các cụm cho thuật toán I-k-Means. Cho một tập n đối tượng (A1, A2, , An), trong đó Ai = (Ai1, Ai2, , AiN). Ta xem như tất cả các đối tượng này được bao bởi một vùng bao trong không gian N chiều. Vùng bao này được định nghĩa bởi các giá trị nhỏ nhất và lớn nhất của các giá trị trong mỗi chiều của mỗi đối tượng. Các đối tượng được phân hoạch vào hai vùng bao con bằng cách phân chia các đối tượng dọc theo chiều dài nhất của vùng bao cha (mỗi vùng bao định nghĩa một cây con). Sự phân hoạch được thực hiện tại giá trị trung vị (median value) của các tọa độ trong chiều dài nhất. Sự phân hoạch tiếp tục được thực hiện một cách đệ qui trên mỗi vùng bao con cho đến khi tất các vùng bao con ở mức thấp nhất thỏa một điều kiện nào đó như chỉ chứa một đối tượng hoặc chứa ít hơn một số đối tượng nào đó. Các vùng bao ở mức này được gọi là các vùng bao lá. Hình 5.1 là một ví dụ minh họa ba bước trong quá trình phân hoạch các đối tượng hai chiều. Hình 5.1 Ba bước trong quá trình phân hoạch các đối tượng 2 chiều. Trung tâm cụm đầu tiên c1 được chọn là vùng bao lá có mật độ lớn nhất, với c1 là trung bình của các đối tượng dữ liệu nằm trong vùng bao lá đó. Các trung tâm cụm cj tiếp theo lần lượt được chọn là trung bình của các đối tượng dữ liệu nằm trong vùng bao lá có gj lớn nhất với gj được tính theo công thức sau: 푗 = 푖푛 =1 푡 , 푗 . 휌푗 17
23. Trong đó, d(ck, mj) là khoảng cách từ trung tâm vùng bao lá mj đang xét đến các trung tâm cụm đã được chọn trước (giả sử t trung tâm cụm đã được chọn) và j là mật độ của vùng đang xét, ( j = Nj/Vj, với Nj và Vj lần lượt là số phần tử và diện tích của vùng bao lá j). 5.3. Dùng cây đặc trƣng cụm để tạo các trung tâm cụm khởi động cho thuật toán I-k-Means Cho N điểm d chiều trong một cụm { x i }, i 1 , 2 , , . N Đặc trưng cụm (CF) được định nghĩa như bộ ba: Với CF (N, LS, SS) N LS x i 1 i N SS x 2 i 1 i Khi một mẫu được thêm vào hoặc lấy ra khỏi cụm thì đặc trưng mới được tính từ đặc trưng cũ của cụm một cách dễ dàng. Việc trộn từ hai cụm hay việc tách cụm cũng rất dễ dàng. Ví dụ: giả sử CF (N , LS ,SS ), CF (N , LS ,SS ) 1 1 1 1 2 2 2 2 Ta có CF1 CF2 (N1 N2 , LS1 LS2 ,SS1 SS2 ) Cây đặc trưng cụm (Cluster Feature tree – CF-tree) là một cây cân bằng với hệ số nhánh B, kích thước nút lá L và ngưỡng nút lá T. Nút trung gian chứa tối đa B phần tử theo dạng [Cfi, childi], biểu diễn một cụm được hình thành từ tất cả các cụm con của các phần tử. Nút lá chứa tối đa L phần tử theo dạng [Cfi] và các con trỏ tới nút lá phía trước và phía sau nó. Tất cả các phần tử trong nút lá phải thỏa ngưỡng T, tức là đường kính hoặc bán kính cụm con này phải nhỏ hơn T. Để tạo k trung tâm cụm khởi động cho thuật toán I-k-means ta thực hiện như sau: Sau khi cây đặc trưng cụm T được tạo hoặc được nạp từ tập tin, ta duyệt cây T theo từng mức, bắt đầu từ gốc đến khi số nút con trong một mức m ≥ k. Mỗi nút con này là nút gốc của các cây con (cụm con). Nếu m > k, ta tiến hành lặp thao tác trộn các cụm con gần nhau nhất cho đến khi m = k. Nếu m < k, ta tiến hành thao tác tách cụm con có 18
24. đường kính lớn nhất thành hai cụm con và lặp lại thao tác này cho đến khi L= k. 5.4. Thực nghiệm về bài toán gom cụm Thực nghiệm so sánh phương pháp sử dụng I-k-Means dùng kd-tree hoặc CF-tree để tạo trung tâm cụm với thuật toán k-Means và I-k-Means truyền thống. Thực nghiệm được thực hiện trên tập dữ liệu Heterogeneous đã được phân lớp sẵn và năm tập dữ liệu thực chưa được phân lớp: Production, Consumer, FederalFund, Hydrology, Economic. Kích thước mỗi tập biến đổi từ 1000 đến 8000 chuỗi. Chiều dài lớn nhất của mỗi chuỗi là 1024. Đối với các tập dữ liệu đã được phân lớp sẳn, tính hiệu quả của phương pháp gom cụm được đánh giá thông qua năm chỉ số đánh giá chất lượng gom cụm: Jaccard, Rand, FM (Folkes và Mallow), CSM (Cluster Similarity Measure) và NMI (Normal Mutual information). Tất cả các tiêu chuẩn đánh giá ở trên đều cho giá trị trong khoảng từ 0 đến 1. Trong đó giá tri 1 có nghĩa là sự gom cụm của chúng ta đạt kết quả chính xác. Đối với các tập dữ liệu chưa được phân lớp sẵn, tính hiệu quả của phương pháp gom cụm sẽ được đánh giá kết quả thông qua hàm mục tiêu: k N F d(x j ,ci ) i 1 j 1 Phương pháp có giá trị của hàm mục tiêu thấp hơn là phương pháp tốt hơn. Kết quả đánh giá bằng thực nghiệm cho thấy tuy chất lượng gom cụm của phương pháp dùng I-k- Means kết hợp với kd-tree được cải thiện tốt hơn một ít khi so với sử dụng thuật toán k-Means hoặc I-k-Means gốc nhưng phương pháp kết hợp này thực hiện bài toán gom cụm dữ liệu chuỗi thời gian nhanh hơn, cho kết quả ổn định hơn. So sánh với phương pháp dùng CF-tree để tạo các trung tâm cụm khởi động cho thuật toán I-k-Means thì phương pháp sử dụng kd- tree thực hiện nhanh hơn và dễ cài đặt hơn trong khi chất lượng gom cụm vẫn xấp xỉ. 19
25. 6. Dự báo dữ liệu chuỗi thời gian có tính xu hƣớng hoặc mùa bằng phƣơng pháp so trùng mẫu. Nhiều dữ liệu chuỗi thời gian trong kinh doanh, kinh tế và các lãnh vực đời sống thường biểu hiện tính mùa và tính xu hướng. Tính mùa là mẫu thường lặp lại và có tính chu kỳ do những yếu tố như thời tiết, lễ tết, những đợt khuyến mãi, v.v Mặc dù yếu tố mùa là một thành phần quan trọng nhất trong chuỗi thời gian có tính mùa, xu hướng thường đi kèm với biến động mùa và có thể có ảnh hưởng lớn đến các phương pháp dự báo. Ứng dụng phương pháp so trùng mẫu trong dự báo dữ liệu chuỗi thời gian có tính xu hướng và tính mùa là một hướng tiếp cận mới cho bài toán đầy thách thức này. Dữ liệu được Tìm các lân cận gần nhất chuẩn hóa Tiếp? Mẫu được dự báo Chèn mẫu Yes No được dự báo Kết thúc Hình 6.1 Ý tưởng cơ bản của cách tiếp cận dựa trên so trùng mẫu. Với bài toán này, chúng tôi sử dụng thuật toán tìm k lân cận gần nhất hoặc tìm lân cận trong phạm vi một ngưỡng cho trước dựa trên một cấu trúc chỉ mục đa chiều như R*-tree hoặc đường chân trời. Cho một trạng thái hiện hành (mẫu) có chiều dài w trong chuỗi thời gian có chiều dài n (w << n) và chúng ta phải dự đoán chuỗi có chiều dài m (m ≤ w) sẽ xảy ra ở bước kế tiếp theo thời gian. Đầu tiên, thuật toán sẽ tìm kiếm k lân cận gần nhất hay các lân cận trong phạm vi ngưỡng T đối với mẫu đó. Sau đó, thuật toán lấy các chuỗi có chiều dài m nằm kế cận bên phải của các lân cận gần nhất tìm được ở bước trên. Cuối cùng, chuỗi dự báo được ước lượng bằng cách tính trung bình cộng các chuỗi 20
26. vừa thu được. Trong trường hợp cần dự báo cho các chuỗi khác nữa, chuỗi ước lượng có thể được chèn vào cuối tập dữ liệu để dự báo cho các mẫu tiếp theo. Hình 6.1 minh họa ý tưởng cơ bản của cách tiếp cận này. Hình 6.2 minh họa thuật toán dự báo dựa vào phương pháp so trùng mẫu. Hình 6.3 trình bày chi tiết các bước của thuật toán này. Các chuỗi được so trùng với mẫu Chuỗi cần dự báo Mẫu 4 1 3 1 2 1 3 1 2 1 4 1 2 1 3 1 2 1 2 1 3 1 2 1 2 1 Tính trung bình 2.5 1 2 1 Chuỗi ước lượng Hình 6.2 Minh họa thuật toán dự báo dựa vào so trùng mẫu. Input: Chuỗi thời gian D có chiều dài n1, tập kiểm tra TS có chiều dài n2, chiều dài của mẫu w, số lân cận gần nhất k (hay ngưỡng T) và chiều dài của chuỗi dự báo m (m ≤ w < n2 and w << n1). Output: chuỗi ước lượng có chiều dài m. 1. Thu giảm số chiều các chuỗi con có chiều dài w trong D (nếu cần) và chèn chúng vào trong một cấu trúc chỉ mục đa chiều. 2. Lấy chuỗi S (mẫu) có chiều dài w nằm trước vị trí chuỗi ta phải dự báo trong TS. 3. Tìm k lân cận gần nhất (hay các lân cận nằm trong phạm vi ngưỡng T) của S. 4. Với mỗi lân cận gần nhất tìm đươc ở bước 3, khôi phục chuỗi có chiều dài m nằm kế cận nó trong D. 5. Tính trung bình cộng các chuỗi tìm được ở bước 4. 6. Trả lại kết quả ước lượng ở bước 5. 7. Chèn chuỗi ước lượng ở bước 5 vào D để dự báo các mẫu tiếp theo và quay lại bước 1 (nếu cần). Hình 6.3 Thuật toán dự báo dựa vào phương pháp so trùng mẫu. Chú ý là trong trường hợp m < w, chúng ta có thể dùng một biến để lưu tích lũy các chuỗi ước lượng cho tới khi m bằng với w. Khi đó, chúng ta có thể chèn chuỗi tích lũy được vào 21
27. trong cấu trúc chỉ mục mà không cần phải xây dựng lại cấu trúc chỉ mục khi quay lại thực hiện bước 1. Thực nghiệm về bài toán dự báo Thực nghiệm được thực hiện trên bốn tập dữ liệu Temperatures at Savannah International Airport, Fraser river, Milk production và Carbon dioxide (CD). Chúng tôi so sánh sự thực thi của cách tiếp cận này với sự thực thi của phương pháp mạng nơ ron nhân tạo (ANN). Hai tiêu chuẩn đánh giá được sử dụng cho bài toán này là Lỗi trung bình tương đối so với to xmean (Mean error relative to xmean - MER) và Lỗi trung bình tuyệt đối (Mean absolute error - MAE). N 1 xmodel,i xobs,i MER 100 N  x i 1 mean 1 N MAE x x N  model,i obs,i i 1 Trong đó xobs,i là giá trị quan sát được, xmodel,i là giá trị dự báo được tại thời điểm/vị trí i, xmean là giá trị trung bình trong khoảng thời gian quan tâm (ngày, tháng hay năm) và N là chiều dài của chuỗi được dự báo. Trong thực nghiệm chúng tôi cũng xem xét ảnh hưởng của k và ngưỡng T đối với độ chính xác của dự báo. Kết quả thực nghiệm cho thấy rằng: - Các lỗi dự báo sẽ thay đổi với các giá trị k hoặc ngưỡng T khác nhau đối với mỗi loại dữ liệu. - Với k và ngưỡng T tốt nhất, kết quả dự báo sử dụng thuật toán tìm k lân cận gần nhất hoặc các lân cận trong phạm vi ngưỡng T sẽ có độ chính xác xấp xỉ nhau. - Với k và ngưỡng T phù hợp, dự báo trên dữ liệu chuỗi thời gian có tính chất xu hướng hoặc theo mùa sử dụng phương pháp so trùng mẫu có thể cho kết quả tốt hơn so với sử dụng ANN. 22
28. 7. Kết luận và hƣớng phát triển. 7.1. Các đóng góp chính của luận án. Luận án đã đề xuất một phương pháp thu giảm số chiều mới, được gọi là MP_C, một độ đo tương tự giữa hai chuỗi MP_C trong không gian thu giảm thỏa điều kiện chặn dưới và kết hợp phương pháp này với chỉ mục đường chân trời hỗ trợ việc tìm kiếm tương tự một cách hữu hiệu. Với bài toán phát hiện motif, luận án đã đề xuất hai phương pháp mới cho bài toán phát hiện motif xấp xỉ trong dữ liệu chuỗi thời gian: (1) sử dụng cấu trúc chỉ mục đa chiều (R*- tree) kết hợp với ý tưởng từ bỏ sớm và (2) sử dụng phương pháp thu giảm số chiều MP_C với sự hỗ trợ của chỉ mục đường chân trời. Phương pháp MP_C được ứng dụng vào bài toán gom cụm dữ liệu chuỗi thời gian theo phương pháp gom cụm có thời gian thực thi tùy chọn (sử dụng giải thuật I-k-Means) và kd-tree đã được đề xuất sử dụng để tạo các trung tâm cụm khởi động cho thuật toán I-k-Means. Phương pháp MP_C kết hợp với chỉ mục đường chân trời cũng được ứng dụng vào bài toán tìm kiếm tương tự trên dữ liệu chuỗi thời gian dạng luồng dựa trên cách tính toán gia tăng của phương pháp MP_C và cập nhật chỉ mục trì hoãn. Phương pháp MP_C kết hợp với chỉ mục đường chân trời còn được ứng dụng vào bài toán dự báo dữ liệu chuỗi thời gian có tính xu hướng hay theo mùa dựa trên cách tiếp cận so trùng mẫu sử dụng thuật toán tìm k-lân cận gần nhất hay các lân cận trong phạm vi ngưỡng cho trước. 7.2. Hạn chế của luận án. Hầu hết các giải thuật khai phá dữ liệu chuỗi thời gian thường đòi hỏi phải xác định giá trị một số thông số đầu vào và việc xác định các thông số này thường không dễ dàng đối với người dùng. Việc xác định các thông số đầu vào thường đòi hỏi ở người dùng một quá trình thử-và-sửa sai (try-and- 23
29. error) bằng thực nghiệm rất tốn thời gian. Các giải thuật được đề xuất trong luận án này cũng không tránh khỏi những hạn chế nêu trên, nghĩa là người dùng vẫn phải xác định giá trị các thông số đầu vào cho mỗi bài toán. 7.3. Hƣớng phát triển. Từ những nghiên cứu và kết quả đạt được của luận án này, chúng tôi đề nghị một số hướng nghiên cứu tiếp theo như sau: Cải tiến các giải thuật đã đề xuất trong luận án theo chiều hướng tạo sự dễ dàng hơn cho người dùng trong việc xác định các thông số đầu vào. Đối với bài toán gom cụm sử dụng giải thuật I-k-Means cải tiến bằng phương pháp xác định trung tâm cụm ban đầu, chúng tôi sẽ nghiên cứu sử dụng cây đặc trưng (CF-tree) để hỗ trợ việc xác định số cụm k cho bài toán gom cụm chuỗi thời gian theo phương pháp phân hoạch. Đối với hai giải thuật phát hiện motif được đề xuất trong luận án, chúng tôi sẽ nghiên cứu ứng dụng nguyên tắc MDL (Minimum Discription Length) được phát triển bởi Tanaka và các cộng sự trong việc xác định chiều dài motif thích hợp cho một tập dữ liệu chuỗi thời gian. Đối với bài toán tìm kiếm tương tự trên chuỗi thời gian dạng luồng và bài toán dự báo dữ liệu chuỗi thời gian bằng giải thuật k-NN, chúng tôi cũng sẽ nghiên cứu đưa vào một số cải tiến để tạo sự dễ dàng cho người dùng trong việc xác định các thông số đầu vào. Ứng dụng phương pháp thu giảm số chiều MP_C vào một số bài toán khai phá chuỗi thời gian cao cấp khác như phân lớp (classification), phát hiện bất thường (novelty detection). Đây cũng là một hướng nghiên cứu đầy triển vọng và có nhiều ứng dụng thực tế. 24
30. CÁC TÀI LIỆU CÔNG BỐ CỦA TÁC GIẢ 1. Các công trình liên quan trực tiếp đến luận án. [1] Nguyen Thanh Son and Duong Tuan Anh, (2013), Hybridizing Pattern Matching and Neural Network for Time Series Prediction. In Proc. of 2013 World Congress on Information and Communication Technologies (WICT 2013), Hanoi, Vietnam, December, 15-18, 2013, pp. 19-24. [2] Nguyen Thanh Son, Nguyen Hoai Le and Duong Tuan Anh, (2013), Time Series Prediction Using Pattern Matching. In Proc. of International Conference on Computating, Management and TeleCommunications (ComManTel 2013), Ho Chi Minh city, Vietnam, January 21- 24, 2013, pp. 401-406. [3] Thanh Son Nguyen and Tuan Anh Duong, (2012), Discovering Time Series Motifs based on Multidimensional Index and Early Abandoning. In Proc. of 4th International Conference on Computational Collective Intelligence Technologies and Applications (ICCCI 2012), Ho Chi Minh city, Vietnam, 28-30 November, 2012, Ngoc Thanh Nguyen, Kiem Hoang and Piotr Jedrzejowicz (Eds.), LNAI 7653, Part I, Springer-Verlag, 2012, pp. 72-82. [4] Nguyen Thanh Son, Duong Tuan Anh (2012). Discovering Approximate Time Series Motif based on MP_C Method with the support of Skyline Index. In Proc. of the 4th International Conference on Knowledge and System Engineering (KSE 2012), DaNang, Vietnam, August 17-19, 2012, pp. 113-120. [5] Thanh Son Nguyen and Tuan Anh Duong, 2012, Similarity Search in Streaming Time Series Based on MP_C Dimensionality Reduction Method. In Proc. of 4th Asian Conference on Intelligent Information and Database Systems (ACIIDS 2012), Part I, Kaohshiung, Taiwan, March 2012, J. S. Pan, S. M. Chen and Ngoc Thanh Nguyen (Eds.), LNAI 7196, Springer-Verlag, pp. 281-290, 2012. 25
31. [6] Nguyễn Thành Sơn, Dương Tuấn Anh, (2011). Gom cụm dữ liệu chuỗi thời gian đƣợc biểu diễn bằng phƣơng pháp xấp xỉ MP_C. Tạp chí khoa học công nghệ các trường Đại học Kỹ thuật. Số 85/2011, pp. 47-51. [7] Nguyen Thanh Son, Duong Tuan Anh (2011). Two Different Methods for Initialization the I-k-Means Clustering of Time Series Data. Proceedings of the Third International Conference on Knowledge and System Engineering (KSE 2011), Hanoi, Vietnam, October 14-17, 2011. IEEE, pp 3-10. [8] Nguyen Thanh Son, Duong Tuan Anh, (2011). Time Series Similarity Search based on Middle Points and Clipping. Proceedings of the 3rd Conference on Data Mining and Optimization (DMO 2011), Putrajaya, Malaysia, June 28- 29, 2011, IEEE, pp.13-19. [9] Nguyen Thanh Son, Duong Tuan Anh, (2011). Time Series Subsequence Matching based on Middle Points and Clipping. Proceedings of the First International Conference on Data Engineering and Internet Technology (DEIT 2011), Bali, Indonesia, Match 15-17, 2011. pp 787-790. 2. Các công trình liên quan gián tiếp đến luận án. [10] Nguyen Thanh Son, Duong Tuan Anh, 2011, Time Series Subsequence Matching based on a Combination of PIP and Clipping. Proceedings of 3rd International Conference on Intelligent Information and Database Systems (ACIIDS 2011), Daegu, Korea, April 20-22, Ngoc Thanh Nguyen, Chong-Gun Kim, Adam Janiak (Eds.), LNAI 6591, Springer- Verlag, pp. 149-158. [11] Nguyen Thanh Son, Duong Tuan Anh (2010). An Improvement of PIP for Time series Dimensionality Reduction and Its Index Structure. Proceedings of the Second International Conference on Knowledge and System Engineering (KSE 2010), Hanoi, Vietnam, October 7-9, 2010. IEEE, pp 47-54. 26