Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
(axon). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào thân,
tế bào thân sẽ thực hiện gộp (sum) và phân ngưỡng (threshold) các tín hiệu
đến. Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ra ngoài.
Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này và tế bào hình cây
của một nơron khác được gọi là khớp thần kinh (synapse). sự sắp xếp của
các nơron và mức độ mạnh yếu của các khớp thần kinh được quyết định bởi
các quá trình hoá học phức tạp, sẽ thiết lập chức năng của mạng nơron.
Một vài nơron có sẵn từ khi sinh ra, các phần khác được phát triển thông qua
việc học, ở đó có sự thiết lập các liên kết mới và loại bỏ các liên kết cũ.
Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi. Các thay đổi sau
này có khuynh hướng bao gồm chủ yếu là việc làm tăng hay giảm độ mạnh
của các mối liên kết thông qua các khớp thần kinh.
Mạng nơron nhân tạo không tiếp cận đến sự phức tạp của bộ não. Mặc dù
vậy có hai sự tương quan cơ bản giữa mạng nơron nhân tạo và sinh học. Thứ
nhất, cấu trúc khối tạo thành chúng đều là các thiết bị tính toán đơn giản
(mạng nơron nhân tạo đơn giản hơn nhiều) được liên kết chặt chẽ với nhau.
Thứ hai, các liên kết giữa các nơron quyết định chức năng của mạng.
Cần chú ý rằng mặc dù mạng nơron sinh học hoạt động rất chậm so với các
linh kiện điện tử (10
-3
so với 10
-9
giây) nhưng bộ não có khả năng thực hiện
nhiều công việc nhanh hơn nhiều so với các máy tính thông thường. Đó một
phần là do cấu trúc song song của mạng nơron sinh học: toàn bộ các nơron
hoạt động một cách đồng thời tại một thời điểm. Mạng nơron nhân tạo cũng
chia sẻ đặc điểm này. Mặc dù hiện nay, các mạng nơron chủ yếu được thực
nghiệm trên các máy tính số, nhưng cấu trúc song song của chúng khiến
chúng ta có thể thấy cấu trúc phù hợp nhất là thực nghiệm chúng trên các vi
5
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
mạch tích hợp lớn (VLSI: very large scale integrated circuit), các thiết bị
quang và các bộ xử lý song song.
Mạng nơron đôi khi được xem như là các mô hình liên kết (connectionist
models), là các mô hình phân bố song song (parallel-distributed models) có
các đặc trưng phân biệt sau:
* Tập các đơn vị xử lý;
* Trạng thái kích hoạt hay là đầu ra của đơn vị xử lý;
* Liên kết giữa các đơn vị. Xét tổng quát, mỗi liên kết được
định nghĩa bởi một trọng số w
jk
cho ta biết hiệu ứng mà tín
hiệu của đơn vị j có trên đơn vị k;
* Một luật lan truyền quyết định cách tính tín hiệu ra của
từng đơn vị đầu vào của nó;
* Một hàm kích hoạt, hay hàm chuyển (activation function,
transfer function), xác định mức độ kích hoạt khác dựa trên
mức độ kích hoạt hiện tại;
* Một đơn vị điều chỉnh (độ lệch) (bias, offset) của mỗi đơn
vị;
* Phương pháp thu thập thông tin (luật học- learning rule);
* Môi trường hệ thống có thể hoạt động
I.1.3 Đơn vị xử lý
Một đơn vị xử lí (Hình 1) cũng được gọi là một nơron hay một nút
(node), thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các
đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín
hiệu ra sẽ được lan truyền sang các đơn vị khác
6
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
Trong đó:
x
i
: các đầu vào
w
ji
: các trọng số tương ứng với các đầu vào
θ
j
: độ lệch (bias)
a
j
: đầu vào mạng (net-input)
z
j
: đầu ra của nơron
g(x) : hàm chuyển (hàm kích hoạt).
Trong một mạng nơron có ba kiểu đơn vị:
* Các đơn vị đầu vào (input units), nhận tín hiệu từ bên ngoài;
* Cá đơn vị đầu ra (output units), gửi dữ liệu ra bên ngoài;
* Các đơn vị ẩn (hidden units), tín hiệu vào (input) và ra
(output) của nó nằm trong mạng.
Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x
0,
x
1
, x
2
,…x
n
, nhưng chỉ có
một đầu ra z
j
. Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài
mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó.
I.1.4 Hàm xử lý
• Hàm kết hợp
Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông
qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net-input.
Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp (combination
7
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
function), được định nghĩa bởi một luật lan truyền cụ thể. Trong phần
lớn các mạng nơron, chúng ta giả sử rằng mỗi một đơn vị cung cấp một
bộ cộng như là đầu vào cho đơn vị mà nó có liên kết. Tổng đầu vào đơn
vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị
kết nối cộng thêm ngưỡng hay độ lệch θ
j
a
j
=
ji
1
w
n
i j
i
x
θ
=
+
∑
Trường hợp w
ji
> 0, nơron được coi là đang ở trong trạng thái kích
thích. Tương tự, nếu như w
ji
< 0, nơron ở trạng thái kiềm chế. Chúng ta
gọi các đơn vị với luật lan truyền như trên là các sigma units. Trong
một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền
phức tạp hơn. Một trong số đó là luật sigma-pi, có dạng như sau:
a
j
=
ji
1
w
n
i
i
x
=
∑
1
m
ik j
k
x
θ
=
+
∏
Rất nhiều hàm kết hợp sử dụng một “độ lệch” hay “ngưỡng” để
tính net-input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông
thường θ
j
được chọn là hằng số và trong bài toán xấp xỉ đa thức θ
j
=1
• Hàm kích hoạt (hàm chuyển)
Phần lớn các đơn vị trong mạng nơron chuyển net-input bằng cách sử
dụng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích
hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của
đơn vị (unit’s activation). Loại trừ khả năng đơn vị đó thuộc lớp ra, giá
trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích
hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được
gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay được sử dụng
là:
+ Hàm đồng nhất (Linear function, Identity function)
g(x) = x
8
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi
khi một hằng số được nhân với net-input để tạo ra một hàm đồng nhất
+ Hàm bước nhị phân (binary step function, hard limit function)
Hàm này cũng được biết đến với tên “hàm ngưỡng”. Đầu ra của hàm
này được giới hạn vào một trong hai giá trị:
1 nếu (x ≥ 0)
g(x) =
0 nếu (x ≤ 0)
Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Trong
hình vẽ sau, θ được chọn bằng 1.
9
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
+ Hàm sigmoid (Sigmoid function (logsig))
1
( )
1
x
g x
e
−
=
+
Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện
(trained) bởi thuật toán lan truyền ngược (back-propagation) bởi vì nó
dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong quá trình
huấn luyện. Hàm này được ứng dụng trong các chương trình ứng dụng
mà các đầu ra mong muốn rơi vào khoảng [0,1].
+ Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig))
1
( )
1
x
x
e
g x
e
−
−
−
=
+
Hàm này có các thuộc tính tương tự hàm sigmoid. Nó làm việc tốt đối
với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1].
10
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu
diễn sự phi tuyến vào trong mạng. Lý do là hợp thành của các hàm
đồng nhất là một hàm đồng nhất. Mặc dù vậy nhưng nó mang tính chất
phi tuyến (nghĩa là khả năng biểu diễn các hàm phi tuyến) làm cho các
mạng nhiều tầng có khả năng rất tốt trong biểu diễn các ánh xạ phi
tuyến. Tuy nhiên đối với luật học lan truyền ngược, hàm phải khả vi và
sẽ có ích nếu như hàm được gắn trong một khoảng nào đó. Do vậy hàm
sigmoid là lựa chọn thông dụng nhất.
Đối với các đơn vị đầu ra (output units), các hàm chuyển cần được chọn
sao cho phù hợp với sự phân phối của các giá trị đích mong muốn.
Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0,1], hàm
sigmoid là có ích; đối với các giá trị đích mong muốn là liên tục trong
khoảng đó thì hàm này cũng vẫn có ích, nó có thể cho ta các giá trị ra
hay giá trị đích được căn trong một khoảng của hàm kích hoạt đầu ra.
Nhưng nếu các giá trị đích không được biết trước khoảng xác định thì
hàm hay được sử dụng nhất là hàm đồng nhất. Nếu giá trị mong muốn
là dương nhưng không biết cận trên thì nên sử dụng một hàm kích hoạt
dạng mũ (exponential output activation function).
11
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
I.1.5 Ứng dụng
Trong quá trình phát triển, mạng nơron đã được ứng dụng
thành công trong rất nhiều lĩnh vực. Dưới đây là một số lĩnh vực ứng
dụng chính của mạng nơron:
• Aerospace: Phi công tự động, giả lập đường bay, các hệ thống
điều khiển lái máy bay, bộ phát hiện lỗi.
• Automotive: Các hệ thống dẫn đường tự động cho ô tô, các bộ
phân tích hoạt động của xe.
• Banking: Bộ đọc séc và các tài liệu, tính tiền của thẻ tín dụng.
• Defense: Định vị- phát hiện vũ khí, dò mục tiêu, phát hiện đối
tượng, nhận dạng nét mặt, các bộ cảm biến thế hệ mới, xử lí
ảnh radar,…
• Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến
trình, phân tích nguyên nhân hỏng chip, nhận dạng tiếng nói,
mô hình phi tuyến.
• Entertaiment: Hoạt hình, các hiệu ứng đặc biệt, dự báo thị
trường.
• Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm
cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương
trình thương mại qua giấy tờ, phân tích tài chính liên doanh, dự
báo tỉ lệ tiền tệ.
• Insurance: Đánh giá việc áp dụng chính sách, tối ưu hoá sản
phẩm.
• …
I.2 Mạng Norn Một Lớp
• Mạng Perceptron
• Mạng Hopfield
12
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
• Mạng Kiểu Bộ Nhớ Hai Chiều Kết Hợp Thích Nghi (Adaptive
Bidirectional Associative)
• Mạng Kohonen
• …
I.3 Mạng Noron Nhiều Lớp (Multi-layer Neural Network)
Mạng nơron có từ 2 lớp trở lên được gọi là mạng nơron nhiều lớp. Mạng
nơron nhiều lớp bao gồm một lớp vào, một lớp ra, một hoặc nhiều lớp ẩn
• Mạng noron nhiều lớp lan truyền ngược sai số(Back- propagation
Neural Network)
• Mạng noron nhiều lớp ngược hướng (Counter – propagation Neural
Network)
• …
II: MẠNG NƠRON MỜ:
Việc tích hợp kỹ thuật mạng nơron và logic mờ cho phép kết hợp ưu
điểm của cả hai. Một mặt, mạng nơron cung cấp cấu trúc tính toán dựa trên
liên kết (dung thứ lỗi và các tính chất biểu diễn phân tán) và khả năng học
cho các hệ logic mờ. Mặt khác, các hệ logic mờ sẽ đưa vào mạng nơron cơ
chế suy diễn dựa trên các luật “if…then”, chính sự kết hợp phong phú này
cho phép xây dựng các hệ thống tích hợp: Hệ mờ nơron, mạng nơron mờ và
các hệ lai.
Trong mạng nơron mờ có thể là tín hiệu vào, tín hiệu ra hay trọng số là
những số mờ Cũng có trường hợp mạng nơron mờ với tất cả các yếu tố.
* Mạng nơron như một công cụ suy diễn
Nói mạng nơron như một công cụ suy diễn vì: mạng nơron có khả năng
suy diễn. Với mỗi tín hiệu vào thì mạng nơron sẽ cho một đầu ra tương ứng
* Suy diễn mờ dựa trên mạng nơron:
• Biểu diễn luật mờ:
13
Đề tài: Tối ưu hoá cấu trúc của mạng nơron mờ bằng giải thuật di truyền
Keller (1992) đề xuất mô hình mạng nơron truyền thẳng nhiều lớp
biểu diễn các luật suy diễn cơ sở:
If X
1
= A
1
then Y = B
Giả sử véc tơ độ thuộc của A
i
là {a
i1
,…, a
imi
}, I = 1… n. Có hai cách
xác định trọng số:
14
a
11
'
a
1m1
'
a
n1
'
a
nmn
'
w
11
w
1m1
w
n1
w
nm
d
1
d
n
1-t
u
1
u
k
b
1
'
b
k
'
Lớp vào
Lớp kiểm
tra từng
mệnh đề
Kết hợp các
mệnh đề
Lớp ra
Mạng noron biểu diễn một luật mờ
Không có nhận xét nào:
Đăng nhận xét