Bài giảng Thiết kế thí nghiệm và xử lý số liệu (Data Analysis and Design of Experiment) - Chương 2: Kiểm định giả thiết & chuẩn thống kê - Trịnh Văn Dũng

Nội dung text: Bài giảng Thiết kế thí nghiệm và xử lý số liệu (Data Analysis and Design of Experiment) - Chương 2: Kiểm định giả thiết & chuẩn thống kê - Trịnh Văn Dũng

1. ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA THIẾT KẾ THÍ NGHIỆM VÀ XỬ LÝ SỐ LIỆU (Data Analysis and Design of Experiment) PGS. TS. Trịnh Văn Dũng Bộ mơn: Quá trình và thiết bị CN Hĩa – Sinh học – Thực phẩm
2. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 1. Khái niệm chung 2. Kiểm định giả thiếtthống kê 3. Hàm phân bố 4. Quan hệ giữa các hàm phân bố 5. Ứng dụng củacáchàmphânbố  x1 y1 “Hộp đen” X: k x2 y2 Y: m xi yj 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 3 21:20
3. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 1. Khái niệm chung  x 1 y1 x X 2 “Hộp đen” y xi 2 Y yj X Y Đo được Đo được Điềuchỉnh được Chưachỉnh được Nồng độ Hiệusuất Nhiệt độ Năng suất Áp suất Chi phí Tốc độ cánh khuấy Chất lượng 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 5 21:20
4. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 1. Khái niệm chung : nhiễu y1 Z 1 “Hộp đen” y2 Z Z2 y3 Y y4 Z3 y5 Số liệu đo được là một đại lượng ngẫu nhiên, nên: Tìm các thông số đặc trưng của chúng; CaCanànđa đanhùnh giá sai soso;á; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 7 21:20
5. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 1. Khái niệm chung  x1 y1 “Hộp đen” X: k x2 y2 Y: m xi yj Xác định ảnh hưởng của các yếu tố đến kết quả thực nghiệm, nĩ đượcthựchiện theo hai hướng: -Đánh giá độ tin cậy -Lập quan hệ hồi quy 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 9 21:20
6. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 1. Khái niệm chung Tính chất đầy đủ củabiếnngẫunhiênđược đánh giá bằng hàm mật độ xác suất. Luậtphânbố là sự liên hệ giữabiếnngẫunhiêncĩthể xảyravớixác suấttương ứng. Để xác định luật phân bố cầnbiết: -kỳ vọng tốn học -phương sai 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 11 21:20
7. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 2. Kiểm định giả thiếtthống kê Khi lựa chọn giả thuyết theo các sai lầm: Sai lalamàm loailoại 1: chachapáp nhận H1 (tư(tưcùc babacùc bỏ H0) trong khi H0 đuđungùng; Sai lầm loại 2: bác bỏ H1 (tức chấp nhận H0) trong khi H0 sai; So sánh vớichui chuẩn(mn (mẫu) H0 : 0 0 H1 0 0 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 13 21:20
8. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 2. Kiểm định giả thiếtthống kê Để giảm khó khăn: -Xét trong các tiêu chuẩn có XSSL I ≤ =const - khá nhỏ gọi (mức có nghĩa): 1%, 5% hay 10% tuỳ yêu cầu Các tiêu chuẩn này được so sánh bởi LLTC của chúng, cĩ giá trị cacangøng lơlơnùn cacangøng tototát. 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 15 21:20
9. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 2. Kiểm định giả thiếtthống kê Kiểm định giả thiết thống kê gồm: 1. Kiểm định đánh giá: - dụng cụ đo - phương pháp đo - tay nghề nhân viên 2. Kiemå địn h số đo 3. Kiểm định phương trình hồi qui 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 17 21:20
10. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3. Các hàm phân bố 3.1 Hàm Gauss 3.2 Hàm Gauss trung tâm 3.3 Hàm Gamma 3.4 Hàm Student 3.5 Hàm 2 (Khi bình phương)  3.6 Hàm Fisher 3.7 Hàm Poision Đo Mức 0 Cân 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 19 21:20
11. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.1 Hàm Gauss (phân bố chuẩn) 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 21 21:20
12. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.1 Hàm Gauss (phân bố chuẩn) ( x  ) 2 1 2 f ( x ) e 2 0.4  2 1 0.3 fmax 2  2 2 Khi  =1 khoảng 0,4 0.2 M x M o M e 010.1 x M x x u .   -6 -4 -2 2 4 6 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 23 21:20
13. . KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.2 Hàm Gauss trung tâm 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 25 21:20
14. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.2 Hàm phân bố logarit chuẩn Biếnngẫu nhiên cĩ logarit tự nhiên của nĩ tuân theo luậtphânphối chuẩngọi là phân bố logarit chuẩn, hoặc phân bố loga Phân phối loga đượcsử dụng: -Khi mơ hình hĩa các biếnsố: thu nhập, tuổicủavợ chồng mớicưới -Sự sai lệch cho phép từ tiêu chuẩn các chất độc hại trong thực phẩm Vì vậy, nếugiátrị củaxcĩphânphốichuẩnthìsố lượng y = ex cĩ sự phân bố loga 0.1 0.05 0 0 10 20 30 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 27 21:20
15. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.3 Hàm Gamma n Z n 1 ! 00,,x  z lim fx a n z z 1 z n 1 b abx 1  x e ,,x 0  a 0.3 020.2 0.1 0 0 5 10 15 20 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 29 21:20
16. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.5 Hàm phân bố 2 ((pKhi bình phương) 1 f 2  2  2  2 2 exp f 2 2 f Với: 2  2 S 2 S 2  2 n 1 n f n  2  2 0.35 f 0280.28 0.21 f 0140.14 f 0.07 0 0 4 8 12 16 20 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 31 21:20
17. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.6 Hàm phân bố Fisher (()F) f f I II f I f I f II  f I 2 2 f 2 f 2 F I F 2 1 I F f f f f  I  II II II 2 2 Trong đĩ: fI = nI –1; fII = nII –1 –bậc tự do; 2 SI F 2 ; 0 F < SII 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 33 21:20
18. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.7 Phân phối Laplat Phân bố Laplat: -Gọi là đơi hàm mũ - Vídí dụ: để mơơt tả sự phân b ố các lỗi trong các mơ hình hồi quy 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 35 21:20
19. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.8 Tính chất của các hàm phân bố Các hàm phân bố trên đều cĩ tính chất chung của hàm phân bố: •Tích phân trong khoảng biến thiên của biến đều bằng 1; •Cĩ t ính đối xứng; Các hàm phân bố cĩ quan hệ với nhau: •Các biến ngẫu nhiên F, 2,,,t, u cĩ mối quan hệ với nhau; •Các hàm phân bố Student, 2và F đều là các hàm phân bố mẫu: 2 hàm F cĩ hai sơ bậc tự do fI và fII nên khi fI = 1 và fII = f thì F = t  2 fI = f và fII  thì F f 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 37 21:20
20. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 3.9 Mối quan hệ giữa các hàm phân bố Quan hệ giữa các biến và hàm phân phối như sau: PhaPhanânbo bố F 2 2 SnI  F 2 ; fI; fII F SnII f 2 fI =1= 1 và fII =f;F=t= f; F = t fI =1;f= 1; fII  fI =fva= f và fII  Phân bố Phân bố 2 2 Student 2 fSn n x  2  ; f t F = u  2 S ; f f  ; t = u f = 1 thì 2= u Phân bố Gauss x  u  ChuẩnZ:Cĩthn Z: Cĩ thể là các bi ếnngn ngẫu nhiên nh ư::u,t, u, t, 2,F, F được gọi là các chuẩn u, t, 2, F tương ứng. 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 39 21:20
21. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.1 Kiểm định giả thiết thống kê bằng chuẩn Fisher Theo Fisher: - Ứơc lượng vững của kỳ vọng E(x) =  = M(x) chính là x 2 2 - S n lølà ứước lượng vững củaphương sai: D(x) =  03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 41 21:20
22. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.1 Kiểm định giả thiết thống kê bằng chuẩn Fisher f 1 f 2 1234561224∞ 1 164,4 199,5 215,7 224,6 230,2 234,0 244,9 249,0 254,3 218.519,219,219,319,319,3J 19,4 19,5 19,5 3 10,1 9,6 9,3 9,1 9,0 8,9 8,7 8,6 8,5 4 777,7 696,9 666,6 646,4 636,3 626,2 595,9 585,8 565,6 5 6,6 5,8 5,4 5,2 5,1 5,0 4,7 4,5 4,4 6 6,0 5,1 4,8 4,5 4,4 4,3 4,0 3,8 3,7 7 5,6 4,7 4,4 4,1 4,0 3,9 3,6 3,4 3,2 8 5,3 4,5 4,1 3,8 3.7 3,6 3,3 3,1 2,9 9 5,1 4,3 3,9 3,6 3,53,43,12,92,7 10 5,0 4,1 3,7 3,5 3,3 3,2 2,9 2,7 2,5 11 4,8 4,0 3,6 3,4 3,2 3,1 2,8 2,6 2,4 12 4,8 3,9 3,5 3,3 3,1 3,0 2,7 2,5 2,3 13 4,7 3,8 3,4 3,2 3,0 2,9 2,6 2,4 2,2 14 4,6 3,7 3,3 3,1 3,0 2,9 2,5 2,3 2,1 15 4,5 3,7 3,3 3,12,9 2,8 2,5 2,3 2,1 16 4,5 3,6 3,2 3,0 2,9 2,7 2,4 2,2 2,0 17 4,5 3,6 3,2 3,0 2,8 2,7 2,4 2,2 2,0 18 4,4 3,6 3,2 2,9 2,8 2,7 2,3 2,1 1,9 19 4,4 3,5 3,1 2,9 2,7 2,6 2,3 2,1 1,8 20 4,4 3,5 3,1 2,9 2,7 2,6 2,3 2,1 1,8 22 434,3 343,4 313,1 282,8 272,7 262,6 222,2 202,0 181,8 24 4,3 3,4 3,0 2,8 2,6 2,5 2,2 2,0 1,7 26 4,2 3,4 3,0 2,7 2,6 2,4 2,1 1,9 1,7 28 4,2 3,3 2,9 2,7 2,6 2,4 2,1 1,9 1,6 30 4,2 3,3 2,9 2,7 2,5 2,4 2,1 1,9 1,6 40 4,1 3,2 2,9 2,6 2,5 2,3 2,0 1,8 1,5 60 404,0 323,2 282,8 252,5 242,4 232,3 191,9 171,7 141,4 120 3,9 3,1 2,7 2,5 2,3 2,2 1,8 1,6 1,3 ∞ 3,8 3,0 2,6 2,4 2,2 2,1 1,8 1,5 1,0 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 43 21:20
23. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.2 Kiểm định giả thiết thống kê bằng chuẩn Student x1 x2 n n n n 2 Trướchết tính: t 1 2 1 2 2 2 2 2 n n n1 1  1 n2 1  2 1 2 xx Nếu n = n = n thì: tn 12 1 2 22 12 Tra t , f :f=n1 +n2 2, thì: t t sự khác nhau mang tính hệ thống; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 45 21:20
24. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.3 Kiểm định giả thiết thống kê bằng chuẩn Poisson Dùng chuẩn Poisson: Dùng để loại bỏ số đo cĩ độ lệch thơ trong tập hợp các mẫu cĩ số lượng 3 ≤ n ≤ 8 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 47 21:20
25. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.3 Kiểm định giả thiết thống kê bằng chuẩn Poisson Khi n = 3, trong đĩcĩhaigiátrị trùng nhau thì khơng thể áp dụng chuẩn Q vì luơn cĩ: Qtn =1>QTR. Khi đĩ cần: Làm thí nghiệmbổ sung; Khơng lấygiatrị trung bình mà lấysố trung vị; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 49 21:20
26. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.3 Kiểm định giả thiết thống kê bằng chuẩn Poisson Khi n = 3, trong đĩcĩhaigiátrị trùng nhau thì khơng thể áp dụng chuẩn Q vì luơn cĩ: Qtn =1>QTR. Khi đĩ cần: Làm thí nghiệmbổ sung; Khơng lấy giá trị trung bình mà lấy số trung vị; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 51 21:20
27. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.4 Kiểm định giả thiết thống kê bằng chuẩn “” Chuẩn  (Tô): Chuẩn  được dùng để loại bỏ các số đo có sai lệch thô bạo trong tập hợp mẫu khi n ≥ 3. Thường dùng kếthợp: Khi 3 n 8 dudungøng chuachuanån 3 dudungøng chuachuanån Q; Khi 8 n dùng chuẩn ; Nếu nghi ngờ x* thì tính: i xx*  ii n 1 S n n 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 53 21:20
28. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.4 Kiểm định giả thiết thống kê bằng chuẩn “” Trong đĩ  tra theo bảng tr n 0.90 0.95 0.99 3 1.41 1.41 1.41 4 1.65 1.69 1.72 5 1791.79 1871.87 1961.96 6 1.89 2.00 2.13 7 1971.97 2092.09 2272.27 8 2.04 2.17 2.37 9 2102.10 2242.24 2462.46 10 2.15 2.29 2.54 11 2192.19 2342.34 2612.61 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 55 21:20
29. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5 Kiểm định giả thiết thống kê bằng chuẩn χ2 Dùng để kiểm định độ chính xác thực tế so với độ chính xác qui định của : - dụng cụ đo - phương pháp đo, phân tích - tay ngh ề ; Sự kiểm định tuân theo luật phân bố chuẩn; Kiểm định tính đồng nhất của một dãy phương sai mẫu; Biết độ chín h x ác 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 57 21:20
30. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5.1 Kiểm tra độ chính xác bằng chuẩn χ2 Độ chính xác được cung cấpbởi: -nhà sảnxuấtdụng cụđo -phương pháp phân tích đượcsử dụng 2 2 fS n Trong đĩ độ chính xác thựctế Sn thì:   2 Khi dùng chuẩn hai phía với xác suấtP,trabảng tìm 2 2  P và  P 0,5 0,5 2 2 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 59 21:20
31. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5.1 Kiểm tra độ chính xác bằng chuẩn χ2 Một cân phân tích cĩ σ = ± 0,0002 g Sau mộtthờigiasử dụng, xác định được: Sn =S5 = ± 0,0008 g. Chiếc cân này đãbị coi là xuống cấpchưa, Nếuchọn P trên 0,98? 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 61 21:20
32. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5.2 Kiểm tra tuân theo luật phân bố chuẩn bằng χ2 2 2 Nếu: χTR χ pfp, f thi khơng tuân theo luật phân bố chuẩn; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 63 21:20
33. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5.2 Kiểm tra sự đồng nhất của dãypy phương sai χ2 k Theo Bartlet: 2,303 f lg S 2 f lg S 2 ts ts  i i B  2 i 1 TR 1 k 1 1 C 1  3 k 1 i 1 fi fts vớibậctự dof=k–1nếufi >2 2 2 Như vậy: χTR χ pf2p, f2 thì dãyyp phươnggg sai khơng đồng nhất; 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 65 21:20
34. KIỂM ĐỊNH GIẢ THIẾT & CHUẨN THỐNG KÊ 190361 4.5.2 Kiểm tra tuân theo luật phân bố chuẩn bằng χ2 Phân tích hàm lượng formandehyt (mg/m3)của khơng khí một xưởng của phịng thí nghiệmthuđược: 0,35 0,40 0,33 0,29 0,37 Sau 3 ngày thanh tra mơi trường đo đượcsố liệu khác: 0,41 0,37 0,43 0,45 0,39 Dùng thống kê tốn học để đưarakếtluậnvề sự trùng hợphoặcsự khơng nhấtquáncủakếtquả phân tích, thu đượctrongphịngthí nghiệm và nhân viên thanh tra mơi trường 03.10.2017 Thiết kế thí nghiệm &Xử lý số liệu MS: CH3309 67 21:20