Data science

Kinks trong chuỗi cung ứng dữ liệu

Không cần phải nói rằng có một chuỗi cung ứng dữ liệu tốt là công cụ để trở thành một tổ chức dựa trên dữ liệu. Nếu không có một quy trình trơn tru và có thể lặp lại để thu thập, xác thực và chuẩn bị dữ liệu cho quá trình tiêu thụ hạ nguồn, các tổ chức không có nhiều hy vọng đạt được các mục tiêu dựa trên dữ liệu của họ. Thật không may, nghiên cứu mới cho thấy những hạn chế lớn đang xuất hiện trong chuỗi cung ứng dữ liệu của tổ chức. Nghiên cứu được đưa ra dưới dạng một báo cáo nghiên cứu 451 có tiêu đề “Tình huống khó xử của DataOps: Khảo sát tiết lộ khoảng trống trong chuỗi cung ứng dữ liệu”. Được ủy quyền bởi Immuta, cuộc khảo sát được công bố vào đầu tuần này cho thấy rằng nhiều tổ chức đang phải vật lộn để cân bằng các nhu cầu cạnh tranh khi nói đến hoạt động dữ liệu. Cuộc khảo sát có sự tham gia của 525 các nhà thực hành doanh nghiệp ở Mỹ, Canada, Anh, Đức và Pháp và được viết bởi Nhà phân tích nghiên cứu cấp cao Paige Bartley, đã xem xét các khía cạnh khác nhau của dữ liệu văn hóa trong các tổ chức ngày nay. Cuộc khảo sát kết luận, không có gì ngạc nhiên khi dữ liệu ngày càng đóng vai trò quan trọng. Ví dụ: cuộc khảo sát cho thấy 71% người được hỏi đồng ý rằng dữ liệu sẽ trở nên quan trọng hơn đối với việc ra quyết định của tổ chức họ trong tương lai. Một tỷ lệ phần trăm tương tự ((72%) cho biết rằng số lượng người tiêu dùng dữ liệu trong tổ chức của họ đang tăng đều đặn. Rõ ràng, các tổ chức đang mua vào nhu cầu sử dụng dữ liệu như một yếu tố khác biệt trong cạnh tranh, nếu không phải là một phương tiện để tồn tại cơ bản. Nhưng không phải tất cả chó con và cầu vồng đều ở trong vùng đất dữ liệu, theo 451 Nghiên cứu chỉ ra ba nguồn chính gây ra các vấn đề trong chuỗi cung ứng dữ liệu. Đối với những người mới bắt đầu, các quy định của ngành như GDPR và HIPAA, mặc dù rất quan trọng trong việc bảo vệ quyền riêng tư của dữ liệu cá nhân nhạy cảm, nhưng cũng gây thiệt hại cho những người lưu giữ dữ liệu và khách hàng hạ lưu của họ. Theo một cuộc khảo sát nghiên cứu 451 gần đây (Nguồn:

Nghiên cứu) 451 Nghiên cứu phát hiện ra rằng 84 % người trả lời khảo sát tin rằng các yêu cầu về quyền riêng tư và bảo mật dữ liệu “sẽ hạn chế quyền truy cập vào dữ liệu tại tổ chức của họ” trong thời gian tới 24 tháng. Nhiều người trả lời (86%) nói rằng đúng là “các quy tắc bảo mật và quyền riêng tư khiến việc truy cập và sử dụng dữ liệu trở nên khó khăn hơn, ”báo cáo cho biết. Thứ hai, sự thiếu hụt kỹ năng của người dân có nguy cơ làm gián đoạn nguồn cung cấp dữ liệu chất lượng tốt ở thượng nguồn cho người tiêu dùng hạ nguồn, bao gồm cả người dân và ứng dụng. 451 Nghiên cứu cho thấy 38% người trong vai trò nhà cung cấp dữ liệu được coi là thiếu kỹ năng là thách thức hoặc điểm đau lớn nhất. Theo Bartley, điều đó cho thấy một sự thay đổi quan trọng trong cấu trúc của nhóm dữ liệu. “Thông thường, các cuộc thảo luận về kỹ năng trong các tổ chức tập trung vào khía cạnh“ người tiêu dùng ”dữ liệu của phương trình, tập trung vào các chương trình hiểu biết về dữ liệu của nhân viên và tính dễ sử dụng đối với phần mềm tự phục vụ như công cụ trực quan hóa dữ liệu,” cô viết. “Tuy nhiên, khi số lượng người tiêu dùng dữ liệu được đào tạo ngày càng tăng và các công cụ trực quan hóa dữ liệu trở nên dễ sử dụng hơn, tình hình dường như đã thay đổi. Giờ đây, vai trò 'nhà cung cấp' dữ liệu kỹ thuật hơn theo truyền thống đang tụt hậu so với nhu cầu của người tiêu dùng. ” Cuối cùng, báo cáo cho thấy việc thiếu tự động hóa ở cấp độ công nghệ và quy trình đang cản trở khả năng của đội ngũ nhân viên làm việc quá sức trong việc theo kịp các nhu cầu của tòa nhà được đặt trên chuỗi cung ứng dữ liệu. Quá nhiều phức tạp, nhiều nút thắt cổ chai, thiếu tính năng phát trực tuyến theo thời gian thực và thiếu tự động hóa nói chung đã được trích dẫn bởi 29% trở lên trong số các kỹ sư dữ liệu, kiến ​​trúc sư và nhà phát triển, cuộc khảo sát cho thấy. Bartley đã chỉ ra một thủ phạm bất ngờ làm tổn thương chuỗi cung ứng dữ liệu: các mô hình kinh doanh tự phục vụ. Rõ ràng, các chương trình tự phục vụ có thể không phải là thuốc chữa bách bệnh mà chúng thường được tạo ra. Các tắc nghẽn dữ liệu phía cung được trích dẫn phổ biến nhất (Nghiên cứu được phép 451) “Nói một cách đơn giản, các mô hình tự phục vụ rất khó hỗ trợ khi có những điểm xích mích hoặc lỗ hổng trong chuỗi cung ứng dữ liệu, ”cô viết trong báo cáo. “Nhìn chung, chưa đến một nửa (48%) số người trả lời khảo sát 'một phần' hoặc 'hoàn toàn' đồng ý rằng tổ chức của họ cung cấp quyền truy cập và sử dụng dữ liệu tự phục vụ. ” Vậy, tác động của tất cả những thách thức này đối với chuỗi cung ứng dữ liệu là gì? Một điều quan trọng là tính kịp thời của dữ liệu, cuộc khảo sát cho thấy. Theo 63% các nhà khoa học dữ liệu và nhà phân tích dữ liệu đã tham gia cuộc khảo sát, dữ liệu thường bị lỗi thời vào thời điểm được sử dụng. Tuy nhiên, khi nhìn qua lăng kính của các nhà cung cấp dữ liệu thượng nguồn, chỉ 55% tổng số người dùng tham gia khảo sát đồng ý với tuyên bố đó, cho thấy rằng các kỹ sư dữ liệu, kiến ​​trúc sư và nhà phát triển không quá bi quan về tính kịp thời của dữ liệu như người dùng ở phần cuối sắc nét hơn của thanh dữ liệu. (Hoặc có lẽ họ chỉ không liên lạc được với những gì đang thực sự xảy ra trên mặt đất.) 451 đã thu thập thêm bằng chứng về sự khác biệt trong nhận thức về việc ai chịu trách nhiệm về thiếu sót dữ liệu. Các nhà cung cấp dữ liệu, những người phải chịu gánh nặng của các yêu cầu liên tục đối với dữ liệu từ người tiêu dùng dữ liệu nhạy cảm hơn với sự thất vọng nhận thức được, Bartley viết. “Trong khi 62% số người được hỏi tự nhận mình là nhà cung cấp dữ liệu 'một phần' hoặc 'hoàn toàn' đồng ý rằng người tiêu dùng dữ liệu trong tổ chức của họ bày tỏ sự thất vọng khi họ cố gắng truy cập dữ liệu sử dụng, chỉ 24% những người tự nhận là dữ liệu người tiêu dùng đã đồng ý, ”cô viết trong báo cáo. “Người tiêu dùng dữ liệu có thể đơn giản là không nhận thức được mức độ thất vọng mà họ đang truyền tải đến các nhà cung cấp dữ liệu, những người vốn đã quá mỏng và đang làm việc trong bối cảnh các nhóm đang bị thiếu hụt kỹ năng”. Bất kể ai phải đổ lỗi cho vấn đề dữ liệu, tất cả những người chơi dữ liệu trong các tổ chức dường như đều nhận ra rằng toàn bộ nhóm đang hoạt động không tốt như có thể. Có sự chênh lệch đáng kể trong báo cáo kỳ hạn DataOps tự báo cáo (Nguồn: 451 Nghiên cứu) Khi được yêu cầu tự đo lường trên đường cong kỳ hạn DataOps, mức chênh lệch nhiều hơn hoặc ít hơn như Bạn mong chờ. Chỉ 10% số người được hỏi tự cho mình là người đứng đầu lớp, trong “được tối ưu hóa” danh mục, trong đó “DataOps đã ăn sâu vào văn hóa công ty. Đồng thời, chỉ có 5% tự xếp mình vào cuối lớp, giai đoạn “trưởng thành thấp” khi “không áp dụng chiến lược DataOps [is]”. Phần lớn tự đặt mình ở giữa ở các giai đoạn khác nhau của các bước sơ khai, mới nổi và tăng tốc trên đường cong trưởng thành. (451 đã không cung cấp sự phân chia cho người sản xuất / người tiêu dùng, điều này sẽ rất thú vị.) Rõ ràng, vẫn có chỗ để cải thiện chuỗi cung ứng dữ liệu. Có một giám đốc dữ liệu (CDO) được coi là một dấu hiệu cho thấy một tổ chức nghiêm túc trong việc giải quyết các thách thức trong chuỗi cung ứng dữ liệu của mình, mặc dù các loại CDO khác nhau (chiến thuật và chiến lược) dường như cũng tương quan với thành công cuối cùng. Vào cuối ngày, mỗi tổ chức tùy thuộc vào đánh giá vị trí của họ trên đường cong DataOps và những bước họ có thể làm để cải thiện chuỗi cung ứng dữ liệu của mình. Một bước rõ ràng mà gần như tất cả các tổ chức có thể thực hiện là đầu tư vào các nhà cung cấp dữ liệu thượng nguồn và các quy trình mà họ hỗ trợ, tức là các kỹ sư dữ liệu, kiến ​​trúc sư dữ liệu và nhà phát triển dữ liệu, cũng như các công nghệ, công cụ và quy trình mà họ cần để đạt được hiệu quả cao hơn tự động hóa. Để có bản sao đầy đủ của 451 Báo cáo nghiên cứu, hãy nhấp vào đây. Immuta và 451 Nghiên cứu cũng sẽ thảo luận về báo cáo này trong hội thảo trên web vào tháng 8 31 lúc 1 giờ chiều theo giờ ET. Các mục liên quan: Nhu cầu về kỹ sư dữ liệu tăng 50%, Báo cáo cho biết khoa học dữ liệu cần phải phát triển, Domino cho biết Anaconda's 2021 Điểm nổi bật của Báo cáo Khoa học Dữ liệu Hỗ trợ cho Nguồn mở, Tác động từ COVID – 19

Back to top button