Giới thiệu Text-chunking là bài toán chia một văn bản thành các cụm thành phần có liên quan tới cú pháp. Ví dụ, trong câu: “He reckons the current account deficit will narrow to only # 1.8 billion in September." có thể được phân tích thành như sau:
[NP He ] [VP reckons ] [NP the current account deficit ] [VP will narrow ] [PP to ] [NP only # 1.
Trước khi bắt đầu vào việc học mạng nơ-ron và deep learning, chúng ta cũng cần chuẩn bị một số kiến thức nền tảng của toán học cần thiết. Một vài chủ đề toán học quan trọng để chúng ta có thể hiểu được các chủ đề trong phương pháp học nhiều tầng Deep learning.
1. ĐẠI SỐ TUYẾN TÍNH Đại số tuyến tính bao gồm các dạng liên tục chứ không hoàn toàn là Toán học rời rạc, nhiều người làm khoa học máy tính có rất ít kinh nghiệm với nó.
Một số các phương pháp làm giảm hiện tượng quá khớp trong quá trình huấn luyện mạng nơ-ron.
Weight-decay: … Weight-sharing: … Early stopping Model averaging Bayesian fitting of neural nets Dropout Generative pre-training Etc