Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing) - Bài: Phân tích ngữ nghĩa - Lê Thanh Hương

Nội dung text: Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing) - Bài: Phân tích ngữ nghĩa - Lê Thanh Hương

1. Tại sao cần phân tích ngữ nghĩa Phân tích ngữ nghĩa z trả lời và cho điểm bài đọc hiểu z đọc thực đơn và đặt món ăn z đọc hướng dẫn sử dụng để hiểu cách sử Lê Thanh Hương Bộ môn Hệ thống Thông tin dụng Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@mail.hut.edu.vn 1 2 Thế nào được coi là hiểu? Thế nào được coi là hiểu? z nếu có thể sử dụng nội dung đó để trả lời câu hỏi z Dễ: Mai ăn kẹo. Æ Mai ăn gì? z nếu có thể phản ứng phù hợp z Khó: Nước đi đầu tiên của quân trắng là P-Q4. Æ Quân đen z VD: “cho tất cả đồ chơi vào giỏ” có thể chiếu tướng không? z n nếuucóth có thể dịch: ph ụ thuộc vào ngôn ngữ đích z nếu có thể xác định 1 phát biểu là đúng hay z Anh – Anh? sai z Anh – Pháp? có thể được z Anh – logic ? cần hiểu sâu z hiểu NP nghĩa là xác định được NP đó đề cập đến z tất cả loài cá đều biết bơi cái gì z = ∀x [fish(x) ⇒can_swim(x)] 3 4 Một số khái niệm cơ bản về logic Logic: thuật ngữ Lambda 3 loại đối tượng cơ bản: z λ: 1. Giá trị - Booleans z là cách để viết 1 hàm “bất kỳ” z là giá trị ngữ nghĩa của câu z Không có tên hàm 2. Thực thể - Entities z Được dùng để định nghĩa tính chất cơ bản của hàm z Giá trị củaaNPvd NP, vd., các đốiti tượng như bàn, ghế, thời gian z Cho square = λp p*p 3. Hàm z Tương đương với int square(p) { return p*p; } z Hàm trả về giá trị nhị phân gọi là vị từ (predicate). z Định dạng: λ Vd., frog(x), green(x) z Hàm có thể trả về 1 hàm khác z Hàm có thể nhận hàm khác như tham số 5 6 1
2. Trật tự của lượng từ Phân tích ngữ nghĩa câu z Ví dụ 1. Phân tích cú pháp z In this country a woman gives birth 2. Tìm ngữ nghĩa của từng từ every 15 min. Our job is to find that 3. Xác định ngữ nghĩa cho mỗi thành phần ngữ pháp, woman and stop her. thực hiện từ dưới lên z ∃woman (∀15min gives-birth-during(woman, 15min)) z ∀15min (∃woman gives-birth-during(15min, woman)) 13 14 Ngữ nghĩa thành phần Ngữ nghĩa thành phần assert(every(nation, λx ∃e present(e), START z Thêm thuộc tính “sem” cho mỗi luật phi ngữ cảnh act(e,wanting), wanter(e,x), wantee(e, λe’ act(e’,loving), z S → NP loves NP S Punc lover(e’,G), lovee(e’,L)))) fin z S[sem=loves(x,y)] → NP[sem=x] loves NP[sem=y] . λs assert(s) z Nghĩa của S phụ thuộc vào nghĩa của NP NP VPfin z TAG version: DtDet N T VPstem S l()loves(x,y) Every nation -s every nation V S stem inf NP VP want λv λx ∃e present(e),v(x)(e) x NP VPinf George V NPy λy λx λe act(e,wanting), G loves T VPstem wanter(e,x), wantee(e,y) a a to λ ƒ Điền mẫu: S[sem=showflights(x,y)] → Vstem NP λy λx λe act(e,loving), I want a flight from NP[sem=x] to NP[sem=y] love Laura15 L 16 lover(e,x), lovee(e,y) Ngữ nghĩa thành phần Ngữ nghĩa thành phần z Thay S → NP loves NP z S[sem=loves(x,y)] → NP[sem=x] loves NP[sem=y] START assert(loves(L,G)) z Luật tổng quát S → NP VP: Muốn diễn đạt G loves L z V[sem=loves] → loves z VP[sem=v(obj)] → V[sem=v] NP[sem=obj] loves(L,G) Sfin Punc λs assert(s) z S[sem=vp(subj)] → NP[sem=subj] VP[sem= vp] . z George loves Laura có sem=loves(Laura)(George) NP VPfin λy loves(L,y) z Trong phần này, ta: George z tính ngữ nghĩa từ dưới lên G Vpres AdjP loves Laura z Ngữ pháp ở dạng chuẩn Chomsky loves = L z Mỗi nút có 2 con: 1 hàm và 1 tham số λx λy loves(x,y) z Để lấy ngữ nghĩa của nút, áp dụng hàm vào tham số 17 18 3
3. Ví dụ Cách thực hiện (top-level) Shall I clear the database? (y or n) y z λ ở mức cao nhất gọi đến VP. Giá trị VP này được >John saw Mary in the park xác định ở mức lá bằng cách sử dụng tham số NP OK. z Nói cách khác, để tìm ý nghĩa của câu, ta gọi VP sử >Where did John see Mary dụng tham số là NP IN THE PARK. >John gave Fido to Mary z Tạiútlái nút lá, mỗiti từ cũng điikè kèm them một số thông tin OK. ngữ nghĩa >Who gave John Fido I DON'T KNOW >Who gave Mary Fido JOHN >John saw Fido OK. >Who did John see FIDO AND MARY 25 26 5