Business analyst

Tốt nhất của arXiv.org cho AI, Máy học và Học sâu – Tháng 7 năm 2021

Trong tính năng định kỳ hàng tháng này, chúng tôi lọc các tài liệu nghiên cứu gần đây xuất hiện trên máy chủ in sẵn arXiv.org để tìm các chủ đề hấp dẫn liên quan đến AI, máy học và học sâu – từ các ngành bao gồm thống kê, toán học và khoa học máy tính – và cung cấp cho bạn những điều hữu ích “tốt nhất trong danh sách ”trong tháng qua. Các nhà nghiên cứu từ khắp nơi trên thế giới đóng góp vào kho lưu trữ này như một bước mở đầu cho quá trình bình duyệt để xuất bản trên các tạp chí truyền thống. arXiv chứa một kho tàng thực sự về các phương pháp học thống kê mà bạn có thể sử dụng một ngày nào đó để giải các bài toán khoa học dữ liệu. Các bài viết được liệt kê dưới đây đại diện cho một phần nhỏ của tất cả các bài báo xuất hiện trên máy chủ in sẵn. Chúng được liệt kê không theo một thứ tự cụ thể nào với một liên kết đến mỗi bài báo cùng với một cái nhìn tổng quan ngắn gọn. Liên kết đến các kho lưu trữ GitHub được cung cấp khi có sẵn. Đặc biệt là các bài viết có liên quan được đánh dấu bằng biểu tượng “thích”. Hãy cân nhắc rằng đây là những bài báo nghiên cứu học thuật, thường hướng đến sinh viên sau đại học, tài liệu đăng bài và các chuyên gia dày dạn kinh nghiệm. Chúng thường chứa một mức độ cao của toán học vì vậy hãy chuẩn bị. Thưởng thức! Học với Đa lớp AUC: Lý thuyết và Thuật toán Diện tích dưới đường cong ROC (AUC) là một thước đo xếp hạng nổi tiếng cho các vấn đề như hệ thống khuyến nghị và học tập không cân bằng. Phần lớn các phương pháp học máy dựa trên tối ưu hóa AUC hiện tại chỉ tập trung vào các trường hợp lớp nhị phân, trong khi bỏ qua các trường hợp đa lớp. Bài báo này bắt đầu thử nghiệm sớm để xem xét vấn đề học các chức năng tính điểm đa kính thông qua việc tối ưu hóa các số liệu AUC đa kính. Nền tảng của chúng tôi dựa trên số liệu M, là một phần mở rộng đa thủy tinh nổi tiếng của AUC. Bài báo xem xét lại số liệu này, cho thấy rằng nó có thể loại bỏ vấn đề mất cân bằng từ các cặp giai cấp thiểu số. Được thúc đẩy bởi điều này, nó là đề xuất một khuôn khổ giảm thiểu rủi ro đại diện theo kinh nghiệm để tối ưu hóa xấp xỉ chỉ số M. Về mặt lý thuyết, nó được chỉ ra rằng: (i) tối ưu hóa hầu hết các tổn thất thay thế có thể phân biệt được phổ biến đủ để đạt được tiệm cận của hàm tính điểm tối ưu Bayes; (ii) khung đào tạo có lỗi tổng quát nhận thức không cân bằng bị ràng buộc, điều này chú ý nhiều hơn đến các mẫu nút cổ chai của các lớp thiểu số so với kết quả O (√ (1 / N)) truyền thống. Trên thực tế, để đối phó với khả năng mở rộng thấp của các hoạt động tính toán, các phương pháp tăng tốc được đề xuất cho ba hàm tổn thất thay thế phổ biến, bao gồm tổn thất theo hàm mũ, tổn thất bình phương và tổn thất bản lề, để tăng tốc độ đánh giá tổn thất và gradient. Cuối cùng, kết quả thử nghiệm trên 11 bộ dữ liệu trong thế giới thực chứng minh tính hiệu quả của khung được đề xuất của chúng tôi. Đánh giá các mô hình ngôn ngữ lớn được đào tạo về mã Bài báo này giới thiệu Codex, một mô hình ngôn ngữ GPT được tinh chỉnh dựa trên mã công khai từ GitHub và nghiên cứu khả năng viết mã Python của nó. Một phiên bản sản xuất riêng biệt của Codex cung cấp cho GitHub Copilot. Trên HumanEval, một bộ đánh giá mới được phát hành để đo tính đúng đắn của chức năng để tổng hợp các chương trình từ docstrings, mô hình giải quyết 28. 8% các vấn đề, trong khi GPT -3 giải quyết 0% và GPT-J giải quyết 11. 4%. Hơn nữa, lấy mẫu lặp lại từ mô hình là một chiến lược hiệu quả đáng ngạc nhiên để tạo ra các giải pháp làm việc cho những lời nhắc khó khăn. Sử dụng phương pháp này, 70. 2% bài toán được giải bằng 100 mẫu cho mỗi bài toán. Điều tra kỹ lưỡng về mô hình cho thấy những hạn chế của nó, bao gồm khó khăn với các docstrings mô tả chuỗi hoạt động dài và với các hoạt động ràng buộc với các biến. Cuối cùng, các tác động tiềm ẩn rộng lớn hơn của việc triển khai các công nghệ tạo mã mạnh mẽ, bao gồm an toàn, bảo mật và kinh tế được thảo luận. Giả thuyết tổng quát về vé xổ số Bài báo này giới thiệu một cách khái quát về giả thuyết vé số, trong đó khái niệm “thưa thớt” được nới lỏng bằng cách chọn một cơ sở tùy ý trong không gian của các tham số. Bằng chứng được trình bày rằng các kết quả ban đầu được báo cáo cho cơ sở kinh điển tiếp tục giữ trong bối cảnh rộng lớn hơn này. Các phương pháp cắt tỉa có cấu trúc được mô tả, bao gồm các đơn vị cắt tỉa hoặc phân tích các lớp được kết nối đầy đủ thành các sản phẩm của ma trận cấp thấp, có thể được coi là các trường hợp cụ thể của giả thuyết vé số “tổng quát hóa” này. YOLOX: Vượt trội hơn YOLO Series trong 2021 Bài báo này trình bày một số cải tiến có kinh nghiệm đối với YOLO series, tạo thành một máy dò hiệu suất cao mới – YOLOX. Máy dò YOLO được chuyển sang cách thức không có mỏ neo và tiến hành các kỹ thuật phát hiện nâng cao khác, tức là đầu tách rời và chiến lược gán nhãn hàng đầu SimOTA để đạt được kết quả hiện đại trên một loạt các mô hình quy mô lớn: Đối với YOLO -Nano với chỉ 0. 91 M tham số và 1. 08 G FLOPs, 25. 3% AP trên COCO được tìm thấy, vượt qua NanoDet 1,8% AP; cho YOLOv3, một trong những thiết bị phát hiện được sử dụng rộng rãi nhất trong ngành công nghiệp và được nâng cấp lên 47. 3% AP trên COCO, vượt trội so với phương pháp hay nhất hiện tại là 3.0 % AP; đối với YOLOX-L với lượng thông số gần giống như YOLOv4-CSP, YOLOv5-L, 50. 0% AP trên COCO đạt được ở tốc độ 68. 9 FPS trên Tesla V 100, vượt YOLOv5-L 1,8% AP. Bạn có thể tìm thấy repo GitHub được liên kết với bài báo này TẠI ĐÂY. CBNetV2: Kiến trúc mạng xương sống tổng hợp để phát hiện đối tượng Các bộ phát hiện đối tượng hoạt động hàng đầu hiện đại phụ thuộc rất nhiều vào mạng đường trục, mà những tiến bộ của nó mang lại hiệu suất nhất quán thông qua việc khám phá các cấu trúc mạng hiệu quả hơn. Bài báo này đề xuất một khung xương sống mới và linh hoạt, cụ thể là CBNetV2, để xây dựng các máy dò hiệu suất cao bằng cách sử dụng các xương sống được đào tạo trước có nguồn mở hiện có theo mô hình tinh chỉnh đào tạo trước. Đặc biệt, kiến ​​trúc CBNetV2 nhóm nhiều xương sống giống hệt nhau, được kết nối thông qua các kết nối tổng hợp. Cụ thể, nó tích hợp các tính năng cấp cao và cấp thấp của nhiều mạng đường trục và dần dần mở rộng trường tiếp nhận để thực hiện hiệu quả hơn việc phát hiện đối tượng. Cũng được đề xuất là một chiến lược đào tạo tốt hơn với sự giám sát của trợ lý cho các máy dò dựa trên CBNet. Không cần đào tạo trước bổ sung về xương sống tổng hợp, CBNetV2 có thể được điều chỉnh cho phù hợp với nhiều xương sống khác nhau (dựa trên CNN so với dựa trên Biến áp) và thiết kế đầu của hầu hết các thiết bị dò chính (một giai đoạn so với hai giai đoạn, dựa trên neo so với neo -dựa trên miễn phí). Bạn có thể tìm thấy repo GitHub được liên kết với bài báo này TẠI ĐÂY. Mạng lưới lọc toàn cầu để phân loại hình ảnh Những tiến bộ gần đây trong mô hình tự chú ý và perceptron nhiều lớp (MLP) thuần túy cho thị giác đã cho thấy tiềm năng to lớn trong việc đạt được hiệu suất đầy hứa hẹn với ít sai lệch quy nạp hơn. Các mô hình này thường dựa trên sự tương tác học tập giữa các vị trí không gian từ dữ liệu thô. Sự phức tạp của sự tự chú ý và MLP tăng lên theo bậc hai khi kích thước hình ảnh tăng lên, điều này làm cho các mô hình này khó mở rộng quy mô khi yêu cầu các tính năng có độ phân giải cao. Bài báo này trình bày về Mạng lọc toàn cầu (GFNet), một kiến ​​trúc đơn giản về mặt khái niệm nhưng hiệu quả về mặt tính toán, tìm hiểu các phụ thuộc không gian dài hạn trong miền tần số với độ phức tạp tuyến tính log. Kiến trúc thay thế lớp tự chú ý trong máy biến áp thị giác bằng ba hoạt động chính: phép biến đổi Fourier rời rạc 2D, phép nhân khôn ngoan phần tử giữa các tính năng miền tần số và bộ lọc toàn cục có thể học được và phép biến đổi Fourier ngược 2D. Sự cân bằng độ chính xác / phức tạp thuận lợi của các mô hình trên cả ImageNet và các tác vụ hạ nguồn được trưng bày. Kết quả chứng minh rằng GFNet có thể là một giải pháp thay thế rất cạnh tranh cho các mô hình kiểu máy biến áp và CNN về hiệu quả, khả năng tổng quát hóa và tính mạnh mẽ. Bạn có thể tìm thấy repo GitHub được liên kết với bài báo này TẠI ĐÂY. Perceiver IO: Kiến trúc chung cho đầu vào & đầu ra có cấu trúc Mô hình Perceiver được đề xuất gần đây thu được kết quả tốt trên một số miền (hình ảnh, âm thanh, đa phương thức, đám mây điểm) trong khi mở rộng tuyến tính trong máy tính và bộ nhớ với kích thước đầu vào. Trong khi Bộ thu phát hỗ trợ nhiều loại đầu vào, nó chỉ có thể tạo ra các đầu ra rất đơn giản như điểm số của lớp. Perceiver IO khắc phục hạn chế này mà không làm mất đi các đặc tính hấp dẫn của bản gốc bằng cách học cách truy vấn linh hoạt không gian tiềm ẩn của mô hình để tạo ra kết quả có kích thước và ngữ nghĩa tùy ý. Perceiver IO vẫn tách độ sâu của mô hình khỏi kích thước dữ liệu và vẫn chia tỷ lệ tuyến tính với kích thước dữ liệu, nhưng giờ đây đối với cả kích thước đầu vào và đầu ra. Mô hình Perceiver IO đầy đủ đạt được kết quả mạnh mẽ đối với các tác vụ có không gian đầu ra có cấu trúc cao, chẳng hạn như ngôn ngữ tự nhiên và hiểu hình ảnh, StarCraft II cũng như các miền đa tác vụ và đa phương thức. Điểm nổi bật là Perceiver IO khớp với đường cơ sở BERT dựa trên Transformer trên chuẩn ngôn ngữ GLUE mà không cần mã hóa đầu vào và đạt được hiệu suất hiện đại trên ước tính lưu lượng quang học của Sintel. Bạn có thể tìm thấy repo GitHub được liên kết với bài báo này TẠI ĐÂY. Chống lại vấn đề dữ liệu ngoài phân phối trong sự nhiễu loạn của XAI Với sự phát triển nhanh chóng của Trí tuệ nhân tạo có thể giải thích được (XAI), các thuật toán XAI dựa trên nhiễu loạn đã trở nên khá phổ biến do tính hiệu quả và dễ thực hiện của chúng. Phần lớn các kỹ thuật XAI dựa trên nhiễu loạn phải đối mặt với thách thức về dữ liệu Ngoài phân phối (OoD) – một cấu trúc của dữ liệu bị xáo trộn ngẫu nhiên trở nên không nhất quán với tập dữ liệu ban đầu. Dữ liệu OoD dẫn đến vấn đề quá tự tin trong các dự đoán của mô hình, làm cho các phương pháp tiếp cận XAI hiện có không đáng tin cậy. Vấn đề dữ liệu OoD trong các thuật toán XAI dựa trên nhiễu loạn chưa được giải quyết đầy đủ trong tài liệu. Bài báo này giải quyết vấn đề dữ liệu OoD này bằng cách thiết kế một mô-đun bổ sung định lượng mối quan hệ giữa dữ liệu bị xáo trộn và phân phối tập dữ liệu ban đầu, được tích hợp vào quá trình tổng hợp. Giải pháp được chứng minh là tương thích với các thuật toán XAI dựa trên nhiễu loạn phổ biến nhất, chẳng hạn như RISE, OCCLUSION và LIME. Các thử nghiệm đã xác nhận rằng các phương pháp được đề xuất cho thấy một sự cải thiện đáng kể trong các trường hợp nói chung bằng cách sử dụng cả các thước đo tính toán và nhận thức. LocalGLMnet: học sâu có thể diễn giải cho dữ liệu dạng bảng Các mô hình học sâu đã trở nên phổ biến rộng rãi trong mô hình thống kê vì chúng dẫn đến các mô hình hồi quy rất cạnh tranh, thường vượt trội hơn các mô hình thống kê cổ điển như mô hình tuyến tính tổng quát. Nhược điểm của các mô hình học sâu là các giải pháp của chúng khó diễn giải và giải thích, và việc lựa chọn biến không dễ dàng thực hiện được vì các mô hình học sâu giải quyết kỹ thuật tính năng và lựa chọn biến trong nội bộ theo cách không rõ ràng. Lấy cảm hứng từ cấu trúc hấp dẫn của các mô hình tuyến tính tổng quát, bài báo này đề xuất một kiến ​​trúc mạng mới chia sẻ các tính năng tương tự như các mô hình tuyến tính tổng quát, nhưng cung cấp khả năng dự đoán vượt trội được hưởng lợi từ nghệ thuật học biểu diễn. Kiến trúc mới này cho phép lựa chọn nhiều dữ liệu dạng bảng và giải thích mô hình học sâu đã hiệu chỉnh, trên thực tế, phương pháp này cung cấp sự phân rã cộng theo tinh thần của các giá trị Shapley và gradient tích hợp. Đăng ký nhận bản tin InsideBIGDATA miễn phí. Tham gia với chúng tôi trên Twitter: @ InsideBigData1 – https://twitter.com/InsideBigData1

  • Trang chủ
  • Trí tuệ nhân tạo
  • Chuyên viên phân tích kinh doanh
  • Thông tin kinh doanh
  • Khoa học dữ liệu
  • Back to top button