Mô hình hóa các nguyên tắc quá trình trong không gian tham số có chiều cao với các phụ thuộc phức tạp

Thiếu dữ liệu thí nghiệm

Sự can thiệp thủ công ít tốn kém

Tốc độ mô hình hóa quá nhanh

Tăng cường can thiệp thủ công

Giảm số lượng cảm biến

Kết hợp Trí tuệ Nhân tạo (AI) và cụ thể là kỹ thuật Học máy (ML)

Giới hạn kích thước của dữ liệu

Kỹ thuật lập trình cổ điển

Lập trình thủ công

Học máy (ML) và đặc biệt là Học sâu (DL)

Hệ thống chuyên gia

Cung cấp tổng quan về các ứng dụng đã tồn tại của AI và ML trong kỹ thuật quá trình

Chỉ tập trung vào các vấn đề lý thuyết của AI

Chỉ trình bày các mô hình cơ học mới

Phát triển phần mềm AI mới

Biến đổi nguyên liệu thô thành sản phẩm thương mại

Chỉ thiết kế máy móc

Chỉ quản lý chuỗi cung ứng

Chỉ sản xuất sản phẩm rời rạc

Thiết kế quy trình, kiểm soát quy trình, vận hành quy trình và công cụ hỗ trợ

Chỉ kinh tế quy trình

Chỉ quản lý chu kỳ sống

Chỉ đánh giá rủi ro

Biến đổi vật chất và năng lượng như dược phẩm, chất công nghệ sinh học, giấy, xi măng, kim loại, mỹ phẩm, thực phẩm, hóa chất

Chỉ sản xuất hóa chất

Chỉ sản xuất giấy

Chỉ sản xuất kim loại

Phát triển sản phẩm mới, vận hành đơn vị, khả năng dự đoán, tích hợp đa chức năng, giảm chi phí và độ phức tạp

Chỉ giảm số lượng cảm biến

Chỉ phát triển các hệ thống kiểm soát thủ công

Chỉ giảm lượng dữ liệu

Công cụ mô hình hóa thủ công

Công cụ thống kê truyền thống

Công cụ Học máy (ML) tự tổ chức, dựa trên dữ liệu

Công cụ thiết kế quy trình vật lý

Hiển thị các "chức năng nhận thức" thường liên quan đến trí óc và hành vi của con người như học hỏi và giải quyết vấn đề

Chỉ các máy móc có khả năng tính toán nhanh

Chỉ các robot có thể di chuyển

Chỉ các hệ thống được lập trình rõ ràng

Có khả năng học hỏi và đưa ra dự đoán trên dữ liệu

Chỉ thông qua việc sao chép hành vi của con người

Chỉ bằng cách tuân theo các quy tắc cứng nhắc

Chỉ bằng cách thực hiện các phép tính đơn giản

Mạng lưới thần kinh nhân tạo (ANN) và các thuật toán ML liên quan chứa nhiều hơn một lớp ẩn

Mạng lưới chỉ có một lớp ẩn

Các thuật toán lập trình tuyến tính

Các hệ thống dựa trên quy tắc

Khoảng những năm 1950

Khoảng những năm 1980

Sau năm 2010

Khoảng những năm 1995

Mạng nơ-ron một lớp không giải quyết được vấn đề phân tách tuyến tính đơn giản

Sự tăng trưởng dữ liệu đột biến

Sự phát triển quá nhanh của phần mềm

Thiếu nguồn tài trợ

Giải pháp vấn đề toán học của một nhóm nghiên cứu do Hinton dẫn đầu và sự gia tăng của Big Data

Giảm đột ngột sức mạnh tính toán

Giảm độ phức tạp của mô hình

Lập trình thủ công

Số lượng bóng bán dẫn phù hợp trên một mạch tích hợp tăng gấp đôi mỗi 18 tháng

Số lượng dữ liệu tăng gấp đôi mỗi năm

Hiệu suất phần mềm tăng gấp đôi

Giá của máy tính giảm tuyến tính

Xu hướng tuyến tính

Xu hướng hàm mũ trên hai cấp độ với số mũ tăng dần

Xu hướng giảm dần

Xu hướng không thay đổi

Thời gian tăng gấp đôi số petaflop-ngày chi tiêu là mỗi 3,4 tháng

Sự giảm đáng kể về điện toán

Sự tăng trưởng tuyến tính

Sự ổn định về điện toán

Thời gian tăng gấp đôi về hiệu quả là từ 16 đến 17 tháng

Thời gian tăng gấp đôi là 4 tháng

Không có sự cải thiện nào

Sự giảm hiệu quả

Gấp 7,5 triệu lần

Gấp 300.000 lần

Gấp 1.000 lần

Không có sự gia tăng đáng kể

Tensorflow, Keras, Caffe, Caffe2, Theano, Lasagne, Blocks, MXNet, CNTK, Torch, PyTorch, Pylearn2, Scikit-learn, Matlab (bao gồm MatconvNet Matlab DL, DL tool box), Chainer, và Deeplearning4j

Chỉ các thư viện lập trình cơ bản

Chỉ các công cụ xử lý văn bản

Chỉ các phần mềm đồ họa

Chỉ để nghiên cứu lý thuyết

Chỉ để phát triển phần cứng

Cho phép ứng dụng ML tiên tiến mà không cần kiến thức sâu rộng về triển khai thuật toán ML hoặc kỹ thuật phần mềm

Để tăng cường sự can thiệp thủ công

Bằng cách tự động hóa nỗ lực tối ưu hóa trong việc tìm kiếm kiến trúc ML và siêu tham số tốt nhất

Bằng cách yêu cầu người dùng lập trình mọi thứ thủ công

Bằng cách loại bỏ hoàn toàn siêu tham số

Bằng cách giới hạn số lượng kiến trúc có thể

Sửa chữa dữ liệu, mô hình hóa quá trình dự đoán, tối ưu hóa quá trình, phát hiện lỗi/bất thường, kiểm soát quá trình và dẫn xuất các mô hình cơ học

Chỉ sửa chữa dữ liệu và tối ưu hóa quá trình

Chỉ kiểm soát quá trình và phát hiện lỗi

Chỉ mô hình hóa dự đoán và mô hình hóa cơ học

Sửa chữa dữ liệu

Mô hình hóa quá trình dự đoán

Phát hiện lỗi

Mô hình hóa cơ học

Phân tích dữ liệu lịch sử

Phá vỡ các mô hình dựa trên dữ liệu đã được huấn luyện thành các mô hình hộp trắng cơ học hoặc vật lý minh bạch

Chỉ để tối ưu hóa quy trình

Chỉ để kiểm soát quá trình

Huấn luyện một mạng nơ-ron nhân tạo (ANN) để dự đoán một quá trình phản ứng hóa học

Chỉ để phát hiện lỗi

Chỉ để sửa chữa dữ liệu

Chỉ để tối ưu hóa chi phí

Để tăng độ phức tạp của dữ liệu

Để trích xuất các đặc trưng chính (giảm chiều) từ dữ liệu huấn luyện

Để thêm nhiễu vào dữ liệu

Để giảm hiệu quả của mô hình

Huấn luyện một mô hình lai để thay thế các phương trình tốc độ phản ứng nguyên tắc đầu tiên trong lò phản ứng khuấy liên tục

Chỉ để dự đoán nhiệt độ động cơ

Chỉ để phân loại vật liệu

Chỉ để phát hiện sự cố hàn laser

Chức năng cân bằng pha

Chức năng dòng chảy

Chức năng nhiệt độ

Chức năng áp suất

Để mô hình hóa lai dự đoán của quá trình vật lý cơ bản, với các chiến lược tối ưu hóa và kiểm soát tiếp theo sử dụng các phương pháp thông thường

Để thực hiện toàn bộ kiểm soát quá trình bằng AI

Chỉ để phát hiện lỗi

Chỉ để sửa chữa dữ liệu

Lấy hình ảnh hàn laser

Trích xuất đặc trưng sơ bộ

Điều khiển quá trình trực tiếp

Phát hiện lỗi ngay lập tức

Kỹ thuật Học tăng cường Actor-Critique-Reinforcement-Learning (ACRL) hành động liên tục

Học có giám sát

Học không giám sát

Phân loại

Bất thường về nhiệt độ quá cao

Bất thường về cảm biến và cài đặt bộ điều khiển là chỉ số cho các cuộc tấn công mạng có mục tiêu

Bất thường về áp suất thấp

Bất thường về dòng chảy

Hồi quy Logistic

Rừng ngẫu nhiên

Mạng thần kinh sâu kết nối đầy đủ (fully connected Deep Neural Network)

Cây quyết định

Chỉ hồi quy

Phân loại và phân cụm lỗi

Chỉ tạo dữ liệu

Chỉ tăng cường dữ liệu

Học có giám sát và Học không giám sát

Học liên tục và Học rời rạc

Học tăng cường và Học bán giám sát

Học dựa trên quy tắc và Học dựa trên mạng nơ-ron

Dữ liệu đầu ra được cung cấp, chủ yếu dưới dạng dữ liệu được gán nhãn

Các thuật toán không có quyền truy cập vào dữ liệu được gán nhãn

Chỉ được sử dụng cho phân cụm

Luôn yêu cầu sự can thiệp của con người trong quá trình học

Phân loại, hồi quy, dự đoán và tăng cường gradient

Bản đồ tự tổ chức và phân cụm k-means

Mạng đối nghịch tạo sinh (GAN)

Học tăng cường

Để đưa ra ước tính hoặc dự đoán cho các biến đầu ra dọc theo một chuỗi liên tục

Để sắp xếp dữ liệu đầu vào thành các nhóm rời rạc mà không có nhãn

Để phân bổ các đối tượng đã cho vào một lớp hoặc nhóm rời rạc đã được xác định trước

Để nén một tập dữ liệu đầu vào có chiều cao

Sắp xếp dữ liệu đầu vào thành các nhóm rời rạc

Đưa ra các ước tính hoặc dự đoán cho các biến đầu ra dọc theo một chuỗi liên tục

Gán các đối tượng vào các lớp đã biết

Giảm chiều dữ liệu

Dữ liệu huấn luyện không được gán nhãn, tức là các biến đầu ra không được hệ thống biết đến

Dữ liệu đầu

Dữ liệu huấn luyện không được gán nhãn, tức là các biến đầu ra không được hệ thống biết đến

Dữ liệu đầu ra luôn được cung cấp

Chỉ áp dụng cho dữ liệu liên tục

Chỉ áp dụng cho các lớp đã xác định trước

Để tạo ra các lớp mới trong dữ liệu

Để nén một tập dữ liệu đầu vào có nguồn gốc từ nhiều nguồn khác nhau thành một tập dữ liệu có chiều giảm

Để gán nhãn cho dữ liệu không nhãn

Để tối ưu hóa hoạt động của thuật toán

Tương tự như Học có giám sát, ngoại trừ việc nó có quyền truy cập vào cả dữ liệu được gán nhãn và không được gán nhãn cùng một lúc

Chỉ sử dụng dữ liệu không được gán nhãn

Chỉ sử dụng dữ liệu được gán nhãn

Một kỹ thuật học dựa trên phần thưởng

Để phân loại dữ liệu không nhãn

Để tối đa hóa phần thưởng dựa trên hành động đã chọn

Để giảm chiều dữ liệu

Để dự đoán các biến liên tục

Cơ chế chuyển giao cảm ứng (inductive transfer mechanism)

Học theo lô

Học trực tuyến

Học dựa trên luật

Việc sử dụng kết hợp nhiều bộ học để tạo thành một thuật toán học đơn mới

Việc sử dụng một bộ học duy nhất

Việc giảm độ chính xác của mô hình

Việc tăng độ lệch

Một chuỗi các phép tính toán học

Một nơ-ron (còn gọi là nút)

Một tập hợp các quy tắc

Một cơ sở dữ liệu

Lớp đầu vào, một số lớp ẩn và lớp đầu ra

Lớp tính toán, lớp xử lý và lớp hiển thị

Lớp học, lớp kiểm tra và lớp triển khai

Lớp dữ liệu, lớp mô hình và lớp kết quả

Lan truyền ngược (Backpropagation)

Lan truyền tiến (Forward propagation)

Tối ưu hóa gradient

Điều chỉnh trọng số

Bằng cách tăng lỗi

Bằng cách giảm lỗi hướng tới dự đoán đầu ra

Bằng cách thêm dữ liệu ngẫu nhiên

Bằng cách loại bỏ các lớp ẩn

Nhanh chóng để huấn luyện

Có độ phức tạp cao trong các mẫu được nhận dạng

Yêu cầu nhiều dữ liệu hơn với BP

Không có giới hạn về lớp/độ phức tạp

Có thể bắt giữ các mẫu thời gian hoặc tuần tự

Không gặp vấn đề gradient biến mất/bùng nổ

Rất ổn định

Không yêu cầu bộ nhớ

Vấn đề gradient biến mất và bùng nổ

Vấn đề đào tạo ngắn

Vấn đề bộ nhớ RAM ít

Vấn đề quá khớp

Có khả năng tạo ra các biểu diễn trừu tượng hơn

Chỉ xem xét thống kê không gian

Yêu cầu nhiều tham số hơn

Đào tạo nhanh

Tạo siêu mặt phẳng cho phân cụm

Có nhiều cực tiểu cục bộ

Dễ bị quá khớp

Không nhạy cảm với dữ liệu nhiễu

Cho phép tìm kiếm thông qua các tập dữ liệu lớn

Giới hạn trong các vấn đề tối ưu hóa

Luôn đòi hỏi ít công sức tính toán

Không phải là một lựa chọn thay thế cho Học tăng cường

Sự ra đời của Big Data

Sự giảm số lượng cảm biến

Giảm sự kết nối giữa các máy móc

Sự can thiệp thủ công ngày càng tăng

Chỉ tăng số lượng lớp ẩn

Tăng cường dữ liệu (data augmentation) hoặc trích xuất đặc trưng (feature extraction)

Giảm chất lượng dữ liệu

Chỉ sử dụng các thuật toán đơn giản

Chỉ tiến hành thử nghiệm trực tiếp

Thực hiện khảo sát tài liệu với trọng tâm vào các trường hợp đã được giải quyết trước đó có cấu trúc vấn đề tương tự

Chỉ tập trung vào việc tạo dữ liệu mới

Chỉ dựa vào kiến thức chuyên môn cá nhân

Tăng kích thước của mô hình

Chia quá trình hoặc nhà máy được kiểm tra thành các mô-đun con hoặc các tập hợp

Chỉ tập trung vào m

Tăng kích thước của mô hình

Chia quá trình hoặc nhà máy được kiểm tra thành các mô-đun con hoặc các tập hợp

Chỉ tập trung vào một tham số đầu vào duy nhất

Bỏ qua các bước tiền xử lý

Khả năng tăng độ phức tạp của dữ liệu

Khả năng phân loại dữ liệu mà không cần nhãn

Khả năng phân tích dữ liệu mà không cần giảm chiều

Khả năng phân tách dữ liệu thô phức tạp thành một biểu diễn bằng cách giảm dữ liệu thành các đặc trưng chính mà không có nhiễu và dư thừa

Mức độ thích ứng quá cao của mạng với dữ liệu huấn luyện, dẫn đến mạng không thể khái quát hóa và đánh giá quá cao nhiễu trong dữ liệu huấn luyện

Khả năng của mạng để khái quát hóa tốt cho dữ liệu mới

Sự giảm độ chính xác của dự đoán trong quá trình huấn luyện

Sự ổn định của mô hình khi có dữ liệu nhiễu

Thiết lập các thử nghiệm tự động nhanh hoặc thiết lập mô phỏng chạy nhanh

Chỉ dựa vào dữ liệu lịch sử

Chỉ sử dụng dữ liệu được gán nhãn thủ công

Chỉ sử dụng các mô hình vật lý phức tạp

Phân loại hình ảnh

Đạt được một mục tiêu, như kiểm soát hoặc tối ưu hóa một quá trình, và thúc đẩy điều này thông qua thử và lỗi

Tạo ra các hình ảnh giả mạo

Giảm chiều dữ liệu

Học có giám sát

Học không giám sát

Học tăng cường

Học bán giám sát

Học có giám sát

Học không giám sát

Học tăng cường

Học bán giám sát

Luôn yêu cầu một tập dữ liệu lớn cho quá trình huấn luyện

Cho phép huấn luyện một mô hình ML trên một tập dữ liệu nhỏ, chất lượng cao bằng cách sử dụng các mô hình đã được huấn luyện trước từ các trường hợp sử dụng tương tự

Dẫn đến sự suy yếu hiệu suất

Chỉ áp dụng cho các mô hình đơn giản

Khi dữ liệu đầu vào dồi dào, nhưng việc lấy lượng nhãn tương ứng lớn được coi là quá đắt hoặc không thể trên quy mô lớn

Khi chỉ có dữ liệu không nhãn

Khi chỉ có dữ liệu được gán nhãn

Khi không có dữ liệu nào có sẵn

Bằng cách sử dụng cùng dữ liệu đã dùng để huấn luyện

Bằng cách sử dụng dữ liệu kiểm tra độc lập không được sử dụng trong giai đoạn huấn luyện

Chỉ bằng cách kiểm tra thủ công

Chỉ bằng cách so sánh với các mô hình lý thuyết

Các mô hình dựa trên dữ liệu thuần túy

Các mô hình có cơ chế và tương quan bên trong được biết đến hoàn hảo

Các mô hình không có sự minh bạch

Các mô hình chỉ dựa trên kinh nghiệm

Chỉ là các mô hình hộp đen thuần túy

Một dạng trung gian hứa hẹn giữa mô hình hộp trắng và hộp đen

Các mô hình không có bất kỳ cấu trúc được xác định trước nào

Các mô hình yêu cầu lượng dữ liệu huấn luyện rất lớn

Yêu cầu lượng dữ liệu lớn hơn

Yêu cầu ít dữ liệu hơn đáng kể so với việc huấn luyện các mô hình hộp đen thuần túy

Khả năng khái quát hóa kém hơn

Cấu trúc phức tạp hơn

Chỉ cấu trúc song song

Chỉ cấu trúc nối tiếp

Cấu trúc mô-đun hoặc cấu trúc bán tham số

Chỉ một mạng nơ-ron lớn

Để mỗi thuật toán đại diện và mô hình hóa một hệ thống con trong một hệ thống lớn hơn dựa trên kiến thức trước đó về việc lắp ráp hệ thống được điều tra

Để mô hình hóa toàn bộ hệ thống bằng một thuật toán duy nhất

Để bỏ qua kiến thức trước đó

Để chỉ xử lý các tham số đầu vào riêng lẻ

Độc lập với mô hình nguyên tắc đầu tiên

Cùng với một mô hình nguyên tắc đầu tiên, thiết lập cấu trúc tổng thể

Để loại bỏ mô hình nguyên tắc đầu tiên

Để chỉ dự đoán các biến trung gian

Mô hình lai để dự đoán sự hình thành cặn van nạp trong động cơ

Mô hình hóa quá trình lên men penicillin

Ước tính phân bố kích thước hạt

Kiểm soát mức nước trong hệ thống ba bể

Sản xuất dầu diesel sinh học thứ cấp từ sinh khối chất thải

Mô hình hóa lò phản ứng khuấy

Dự đoán hành vi robot

Phát hiện cuộc tấn công mạng

Tỷ lệ tiêu thụ chất nền

Tốc độ tăng trưởng tế bào

Tỷ lệ sản phẩm

Nhiệt độ

Mạng nơ-ron tích chập

Thuật toán di truyền (GA)

Máy vector hỗ trợ

Hồi quy tuyến tính

Chỉ để giảm chi phí thí nghiệm

Thiết lập các mô hình nguyên tắc đầu tiên cơ học, hoặc mô hình hộp trắng, bao gồm các cơ chế được hiểu của một hệ thống được điều tra

Chỉ để phát triển phần mềm AI mới

Chỉ để tăng cường dữ liệu

Bằng cách điều tra các kết nối và hành vi được hình thành, hoặc sử dụng mạng đã được huấn luyện làm mô hình thay thế ít tốn kém về mặt tính toán để phân tích thêm

Chỉ bằng cách tăng cường độ phức tạp của mạng

Chỉ bằng cách áp dụng các mô hình hộp đen thuần túy

Chỉ bằng cách thay đổi dữ liệu đầu vào

Tóm tắt tất cả các phương pháp cố gắng tiết lộ các mẫu tiềm ẩn một cách dễ hiểu

Để tăng độ phức tạp của mạng

Để ngăn chặn sự minh bạch

Để chỉ tạo ra các mô hình hộp đen

Để tăng quá khớp

Để nghiên cứu các tác động lên mạ

Để tăng quá khớp

Để nghiên cứu các tác động lên mạng tổng thể và hiệu suất sau khi xóa các nơ-ron tương ứng để đánh giá tác động của chúng

Để tăng kích thước mạng

Để làm cho mạng ít minh bạch hơn

Để xây dựng một mô hình toán học có thể giải thích được dựa trên một thuật toán AI đã được huấn luyện

Để chỉ trực quan hóa dữ liệu

Để tăng độ phức tạp của mô hình

Để loại bỏ các tính năng riêng lẻ

Để cung cấp giải thích cho các quyết định được đưa ra bởi hệ thống ML trong trường hợp hành vi hệ thống không mong đợi hoặc lỗi theo cách giống con người

Để tạo ra dữ liệu tổng hợp

Để giảm sự can thiệp của con người

Để ẩn đi các quyết định của hệ thống

Để ẩn các thay đổi đáng kể trong các đơn vị và tính năng

Để làm nổi bật các thay đổi đáng kể trong các đơn vị và tính năng bằng cách áp dụng các gradient của BP

Để tăng độ phức tạp của mô hình

Để giảm khả năng dự đoán

Bằng cách phân tách dữ liệu đầu vào thành các phần nhỏ hơn và dễ hiểu hơn

Bằng cách tăng độ phức tạp của mô hình

Bằng cách chỉ tập trung vào các kết quả toàn cầu

Bằng cách loại bỏ các tính năng liên quan

Một phương pháp trong đó một ANN đã được huấn luyện được áp dụng ngược lại, tạo ra đầu vào "điển hình" cho một đầu ra nhất định

Một phương pháp để tăng cường đầu vào

Một phương pháp để phân loại dữ

Để tăng độ phức tạp của mạng

Để giảm sự minh bạch

Để xấp xỉ và chuyển đổi các mẫu cơ bản thành một cây quyết định

Để chỉ phân loại các vấn đề

Chỉ dữ liệu hình ảnh

Chỉ dữ liệu văn bản

Tập dữ liệu dạng bảng (tabular datasets)

Chỉ dữ liệu âm thanh

Mức độ tác động của dữ liệu đầu vào hoặc các đặc trưng ẩn đến dự đoán đầu ra

Tốc độ huấn luyện của mạng

Số lượng lớp ẩn trong mạng

Độ phức tạp của thuật toán

Các phụ thuộc giữa dữ liệu đầu vào và đầu ra trong không gian đặc trưng giảm

Chỉ sự độc lập của các tính năng

Chỉ dữ liệu đầu vào nguyên bản

Chỉ các kết quả của quá trình huấn luyện

Trả về dữ liệu đại diện cho dữ liệu đầu vào cùng với kết quả tương ứng để minh họa các đặc trưng và tiêu chí cơ bản đặc trưng cho dữ liệu đầu vào đã cho

Tạo ra các mẫu mới không có trong dữ liệu

Giảm độ minh bạch của mô hình

Chỉ trực quan hóa các hoạt động của nơ-ron

Việc sử dụng ML và một thuật toán di truyền kế tiếp

Chỉ sử dụng thuật toán di truyền đơn thuần

Ch

Việc sử dụng ML và một thuật toán di truyền kế tiếp

Chỉ sử dụng thuật toán di truyền đơn thuần

Chỉ sử dụng ML mà không có GA

Một phương pháp chỉ để tạo ra dữ liệu tổng hợp

10 lần

50 lần

100 lần

500 lần

Loại phần cứng được sử dụng

Dữ liệu được tạo ra dựa trên thử nghiệm hay mô phỏng

Liệu quá trình huấn luyện đang được áp dụng ở chế độ hàng loạt (batch) hay trực tuyến (online)

Số lượng các nhà khoa học dữ liệu liên quan

Chỉ với các cơ sở dữ liệu đã có

Thử nghiệm, mô phỏng hoặc lấy mẫu trong một cơ sở dữ liệu

Chỉ với dữ liệu huấn luyện đã được cố định

Chỉ với sự can thiệp thủ công

Mô hình hộp trắng

Mô hình dự đoán

Mô hình không thể giải thích

Mô hình tĩnh

Để tăng độ phức tạp của mạng

Để thiết kế ngược các quá trình vốn có trong mạng đã huấn luyện

Để tạo ra các mô hình hộp đen thuần túy

Để loại bỏ hoàn toàn việc can thiệp của con người