Kỹ thuật Dropout (Bỏ học) trong Deep Learning

Cùng xem Kỹ thuật Dropout (Bỏ học) trong Deep Learning trên youtube.

Dropout là gì

Video Dropout là gì

Kỹ thuật Dropout (Bỏ học) trong Deep Learning Trong bài viết này, mình xin phép giới thiệu về Dropout (Bỏ học) trong mạng Neural, sau đó là mình sẽ có 1 số đoạn code để xem Dropout ảnh hưởng thế nào đến hiệu suất của mạng Neural.

1.1. bỏ học trong mạng nơ-ron là gì

theo wikipedia, thuật ngữ ‘bỏ qua’ đề cập đến việc bỏ qua các đơn vị ẩn và hiển thị trong mạng nơ-ron.

Nói một cách dễ hiểu, bỏ học là việc bỏ sót các đơn vị (tức là 1 nút mạng) trong quá trình đào tạo ngẫu nhiên. bằng cách bỏ qua điều này, biến tần sẽ không được xem xét trong quá trình tiến và lùi. do đó, p được gọi là xác suất giữ lại 1 nút trong mỗi giai đoạn huấn luyện, do đó xác suất nó bị loại bỏ là (1 – p).

1.2. tại sao lại bỏ

Câu hỏi đặt ra là: tại sao lại đóng một số nút trong quá trình đào tạo theo đúng nghĩa đen? câu trả lời là: tránh trang bị quá nhiều

nếu một lớp được kết nối đầy đủ có quá nhiều tham số và chiếm hầu hết các tham số, các nút trong lớp đó quá phụ thuộc vào nhau trong quá trình huấn luyện, điều này sẽ hạn chế sức mạnh của mỗi nút, dẫn đến quá phù hợp.

1.3. các kỹ thuật khác

Muốn biết bỏ học là gì thì chỉ cần 2 phần lý thuyết trên là đủ. Trong phần này, tôi cũng giới thiệu một số kỹ thuật có tác dụng tương tự như bỏ học.

Trong học máy, chính quy hóa làm giảm việc trang bị quá mức bằng cách thêm một loạt các giá trị “phạt” vào hàm mất mát. bằng cách thêm 1 trong các giá trị đó, mô hình của bạn sẽ không học được quá nhiều sự phụ thuộc giữa các trọng số. Tôi chắc rằng nhiều người quen thuộc với hồi quy logistic đều biết rằng l1 (Laplacian) và l2 (Gaussian) là hai kỹ thuật ‘phạt đền’.

  • quy trình đào tạo: đối với mỗi lớp ẩn, mỗi trường hợp, mỗi chu kỳ, chúng tôi sẽ bỏ rơi ngẫu nhiên với xác suất (1 – p) cho mỗi nút.

    Xem Thêm : Lô gia là gì? Lô gia tiếng Anh là gì? | Cốp Pha Việt

    quy trình kiểm tra: sử dụng tất cả các kích hoạt, nhưng sẽ giảm hệ số p đi 1 (để tính cho các kích hoạt bị loại bỏ).

    1.4. một số nhận xét

    • người bỏ học sẽ học được các tính năng hữu ích và mạnh mẽ
    • gần như tăng gấp đôi số kỷ nguyên cần thiết để hội tụ. tuy nhiên, thời gian trên mỗi kỷ nguyên ít hơn.
    • chúng tôi có h đơn vị ẩn, với xác suất bỏ cuộc cho mỗi (1 – p), chúng tôi có thể có 2 ^ h mô hình hình ảnh. nhưng trong giai đoạn thử nghiệm, tất cả các nút trong mạng phải được xem xét và mỗi lần kích hoạt sẽ giảm đi 1 hệ số p.

    Nó hơi khó hiểu, vì vậy tôi sẽ viết mã 2 phần để xem người bỏ học trông như thế nào.

    Vấn đề: Bạn đang đi xem một trận đấu bóng đá và bạn đang muốn đoán xem thủ môn sẽ sút bóng vào đâu, cầu thủ đội nhà sút bóng trúng đích.

    Tôi nhập các thư viện cần thiết

    hình dung dữ liệu một chút

    Ta được kết quả Kỹ thuật Dropout (Bỏ học) trong Deep Learning

    dấu chấm màu đỏ là một cầu thủ địa phương đã đánh đầu, chấm màu xanh lá cây là một cầu thủ đã đánh đầu. Công việc của chúng ta là dự đoán vị trí mà thủ môn sẽ ném bóng để cầu thủ địa phương có thể đánh đầu. có vẻ như bạn chỉ cần vẽ một đường để phân chia 2 khu vực.

    2.1. mô hình không có chính quy

    chức năng dự đoán

    xem kết quả

    Xem Thêm : Ngũ uẩn (sắc, thọ, tưởng, hành, thức) và lợi ích của việc quán chiếu ngũ uẩn

    Kỹ thuật Dropout (Bỏ học) trong Deep Learning

    Có thể thấy độ chính xác ở tập training là 94% và tập test là 91% (khá cao). Ta sẽ visualize 1 chút Kỹ thuật Dropout (Bỏ học) trong Deep Learning

    khi không có quy định, chúng tôi thấy rằng đường phân chia được vẽ rất chi tiết, có nghĩa là nó được trang bị quá mức.

    2.2. mô hình chính quy hóa với sự từ bỏ

    2.2.1. nhân giống chuyển tiếp

    2.2.2. nhân giống ngược

    sau khi chúng tôi chuyển tiếp và quay lại, chúng tôi thay thế hai hàm này trong hàm mô hình từ phần trước:

    kết quả:

    Chúng tôi thấy rằng, độ chính xác của bộ kiểm tra lên đến 95%, mặc dù bộ đào tạo đã bị giảm. thực hiện hiển thị:

    Ta được Kỹ thuật Dropout (Bỏ học) trong Deep Learning

    chúng tôi thấy rằng đường phân chia không quá chi tiết, vì vậy bạn nên tránh trang bị quá nhiều.

    2.3. chú ý

    • không sử dụng tính năng bỏ qua cho các thử nghiệm
    • áp dụng tính năng bỏ qua cho các quy trình tiến và lùi
    • giá trị kích hoạt phải giảm 1 hệ số keep_prob, được tính ngay cả đối với các nút thoát.

    phương tiện

Nguồn: https://dongnaiart.edu.vn
Danh mục: FAQ

Lời kết: Trên đây là bài viết Kỹ thuật Dropout (Bỏ học) trong Deep Learning. Hy vọng với bài viết này bạn có thể giúp ích cho bạn trong cuộc sống, hãy cùng đọc và theo dõi những bài viết hay của chúng tôi hàng ngày trên website: Dongnaiart.edu.vn

Related Posts

Euro Diễn Ra Ở Đâu? Sức Ảnh Hưởng Của Giải Đấu Ra Sao?

Euro Diễn Ra Ở Đâu? Sức Ảnh Hưởng Của Giải Đấu Ra Sao?

Euro diễn ra ở đâu? Trước thềm bóng đá mùa giải mới sắp diễn ra, nhịp tim cổ động viên cùng hướng về một điểm. Hôm nay 789bet…

So sánh 2 tướng support Helen vs Rouie trong Liên Quân

Helen và Rouie là hai tướng hỗ trợ trong Liên Quân Mobile, với khả năng hỗ trợ đồng đội và gây sát thương tương đối cao. Tuy…

Nhận thưởng và phần thưởng trong bắn cá

Nhận thưởng và phần thưởng trong bắn cá

Bắn cá là một trò chơi được rất nhiều người yêu thích, bởi tính giải trí cao và khả năng kiếm tiền ở mức độ tương đối….

Cách hack Tiệm lẩu Đường Hạnh Phúc mới nhất tháng 3/2023

Cách hack Tiệm lẩu Đường Hạnh Phúc mới nhất tháng 3/2023

Biết được cách hack Tiệm lẩu Đường Hạnh Phúc, game thủ có thể nhanh chóng và dễ dàng phát triển nhà hàng lẩu của mình lên một tầm…

AE888 – Nhà cái cá cược Online uy tín số 1 Việt Nam

AE888 – Nhà cái cá cược Online uy tín số 1 Việt Nam

AE888 là nền tảng cá cược có tốc độ phát triển nhanh nhất trên thị trường game trực tuyến tính đến thời điểm hiện tại. Với nhiều ưu…

Review Casino999: Nhà cái chiếm lĩnh thị trường giải trí online

Review Casino999: Nhà cái chiếm lĩnh thị trường giải trí online Review Casino999 chi tiết là thông tin được người chơi quan tâm rất nhiều. Bởi nhà cái…