Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơron, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó.
- Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng nơron.
- Các thành phần cơ bản của một nơron nhân tạo bao gồm:
- Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vec-tơ m chiều.
- Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron kthường được kí hiệu là wjk. Thông thường, các trọng số này được khởi tạo một cáchngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình họcmạng.
- Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó.Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền.
- Hàm truyền (Transfer function)–còn gọi là Hàm kích hoạt (Activation function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng được liệt kê trong bảng 1.1, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng.
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra.
- Tương tự nhưnơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền).
- Mạng nơron nhân tạo được xây dựng để mô phỏng lại cách hoạt động của bộ não con người. Đối với mạng nơron thông thường, mỗi sự kiện đầu vào x được xử lý một cách độc lập và đưa ra đầu ra y tương ứng mà không có sự trao đổi thông tin thu thập được tại mỗi đầu vào x trong mạng.
Mạng LSTMs
- LSTMs (Long Short Term Memory Networks) được giới thiệu bởi Hochreiter & Schmidhuber (1997), sau đó đã được cải tiến và phổ biến bởi rất nhiều người trong ngành. Chúng hoạt động cực kì hiệu quả trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay.
- LSTMs được thiết kế để tránh được vấn đề độ dài phụ thuộc (long-term dependency). Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, chứ ta không cần phải huấn luyện nó để có thể nhớ được. Tức là ngay nội tại của nó đã có thể ghi nhớ được mà không cần bất kì can thiệp nào.
Mọi mạng hồi tiếp đều có dạng là một chuỗi các mođun lặp đi lặp lại của mạngnơron truyền thống. Với mạng RNNs chuẩn, các mođunnày có cấu trúc rất đơn giản, thường là một tầng hàm kích hoạt tanh
- ImechANN có thể học hỏi từ kinh nghiệm của mình để xử lý, phân loại và dự đoán chuỗi thời gian với độ trễ thời gian rất dài không xác định giữa các tập đầu vào. Với cấu trúc LSTM, ImechANN cũng có cấu trúc giống như dây chuyền, nhưng mô-đun lặp đi lặp lại có một cấu trúc đặc biệt hơn so với mạng Recurrent Neural Network chuẩn. Thay vì có một lớp mạng thần kinh đơn nhất, chúng có bốn, tương tác một cách rất đặc biệt. Chúng bao gồm nhiều cấu trúc (cấu tạo từ một hàm kích hoạt sigmod và một phép nhân điểm) gọi là cổng, một cách để tuỳ chọn cho thông tin đi qua (bảo vệ và kiểm soát trạng thái tế bào). Chúng quyết định thông tin mới nào sẽ được lưu trữ, được cập nhật cho tế bào hoặc được xuất ra cho bước sau thông qua các hàm kích hoạt sigmoid và tanh.
