Data science

Cloud Surge dựa trên COVID thực hiện thu phí trên dữ liệu

Tốc độ tăng nhanh của quá trình di chuyển lên đám mây trong những tháng qua 18 không hoàn toàn bị ép buộc, nhưng cũng không phải là hoàn toàn tự nguyện. Đối với nhiều công ty, tăng tốc chuyển đổi kỹ thuật số trong COVID là một vấn đề sống còn. Nhưng cuộc hành trình không nhất thiết không có kịch tính, đặc biệt là vì nó liên quan đến dữ liệu. Sự gia tăng đám mây trong COVID đã được ghi nhận rõ ràng vào thời điểm này. Các nhiệm vụ làm việc tại nhà buộc các nhân viên trong ban lãnh đạo ra khỏi các tòa nhà văn phòng và vào các phòng ngủ, phòng khách và nhà bếp thừa trên khắp thế giới. Điều đó bao gồm các nhân viên CNTT, những người thường được yêu cầu cấu hình cơ sở hạ tầng máy tính mới. Thay vì dựng máy chủ, họ tìm đến các đám mây công cộng và riêng tư để chạy cơ sở hạ tầng cho chúng. Có dữ liệu để sao lưu điều này. Doanh thu hàng quý của AWS kể từ khi bắt đầu có COVID đã tăng tốc, đạt gần tỷ đô la 15 trong quý gần đây nhất. Microsoft đã báo cáo 51% tăng trưởng trong Azure trong quý kết thúc vào tháng 6 30, lên tới 7,8 tỷ đô la cho phân khúc “đám mây thông minh”. Chi tiêu trên đám mây cao hơn một chút đến cao hơn đáng kể ở 90% doanh nghiệp, theo Báo cáo trạng thái đám mây của Flexera 2021 . Một cuộc khảo sát vào tháng 6 2021 Devo Technology cho thấy 81% các nhà lãnh đạo doanh nghiệp nói rằng COVID đã đẩy nhanh tiến độ và kế hoạch đám mây của họ. “Không thể rõ ràng hơn từ các cuộc trò chuyện của chúng tôi với các công ty này rằng việc cân nhắc đám mây không còn là một quyết định dựa trên dự án, mà là một chiến lược kinh doanh 'tất cả trong',” Jon Ofterik, nhà phân tích chính cấp cao và là thành viên của ESG Research, cho biết, đã tiến hành cuộc khảo sát thay mặt cho Devo Technology. Tăng trưởng doanh thu AWS (ảnh lịch sự Statista) Và tất nhiên, có nhận xét mà Giám đốc điều hành Microsoft Satya Nadella đưa ra trong một cuộc gọi hội nghị với các nhà phân tích sau kết quả quý của Microsoft vào mùa xuân năm 2020 . Nadella cho biết: “Chúng tôi đã chứng kiến ​​quá trình chuyển đổi kỹ thuật số kéo dài hai năm trong hai tháng,” Nadella nói. Zoomin 'vào Cloud COVID đã đặt ra nhiều vấn đề với dữ liệu đang âm ỉ. Chúng tôi đã lập biểu đồ các mối quan tâm về chất lượng dữ liệu được các cơ quan y tế công cộng và các nhóm chăm sóc sức khỏe thể hiện trong phản ứng của họ với COVID, bao gồm các xét nghiệm, phương pháp theo dõi và xác định dấu vết cũng như tỷ lệ nhiễm trùng, nhập viện và tử vong. Hóa ra, các công ty tư nhân đang phải đối mặt với một loạt thách thức quản lý dữ liệu tương tự trong COVID và phần lớn trong số đó có thể được bắt nguồn từ cuộc hành quân tăng tốc lên đám mây trong đại dịch. Từ sự gia tăng của các cuộc họp Thu phóng và Nhóm, đến việc áp dụng kho dữ liệu Snowflake và Redshift, đến VPN và trò chơi trực tuyến, 2020 là một năm không giống bất kỳ năm nào. COVID yêu cầu các công ty phải thích ứng với thực tế mới hoặc ngừng kinh doanh. Sự thích nghi đó, theo nhiều khía cạnh, có nghĩa là chuyển các ứng dụng lên đám mây hoặc xây dựng các ứng dụng mới ở đó. Krishna Tammana, CTO của Talend, cho biết các công ty đã tăng tốc các kế hoạch đám mây hiện có của họ trong COVID chỉ đơn giản như một phương tiện để duy trì hoạt động kinh doanh. Ông nói: “Mọi người đều có những kế hoạch này để di chuyển lên đám mây, nhưng đại dịch này buộc họ phải di chuyển nhanh hơn. “Trong một số trường hợp, nó thậm chí không phải là một lựa chọn. Vì vậy, chúng tôi chỉ cần di chuyển ngay bây giờ, nếu không một số những gì chúng tôi đang làm sẽ dừng lại. ” Crouching Cloud, Hidden Data Thật không may, quá trình di chuyển trên đám mây không phải lúc nào cũng diễn ra như kế hoạch. Như bạn mong đợi trong quá trình chuyển đổi vội vàng, một số yếu tố của quá trình di chuyển đã diễn ra kém hiệu quả. Ở nhiều công ty, quản lý dữ liệu là một vấn đề cần suy nghĩ sau khi COVID chuyển sang đám mây. (solarseven / Shutterstock) Làm thế nào chúng ta đến được đây? Tammana cho biết sự kết hợp của nhiều yếu tố đã dẫn đến một số vấn đề về quản lý dữ liệu với quá trình chuyển đổi đám mây nhanh chóng. Yếu tố đầu tiên chỉ là biết dữ liệu nào tồn tại và vị trí của nó. “Trong một số vòng kết nối, chúng tôi gọi nó là dữ liệu tối, bởi vì nó chỉ là dữ liệu tồn tại, nhưng không ai biết nó tồn tại,” Tammana nói. “Thông tin tồn tại đã bị khóa trong một góc nào đó.” Công ty càng lớn, các vấn đề về dữ liệu càng trở nên lớn hơn. Một công ty nhỏ hơn với ít hệ thống máy tính và tiêu chuẩn dữ liệu hơn sẽ không gặp khó khăn khi có được cái nhìn rõ ràng về sự thật. Nhưng một công ty đại chúng bao gồm nhiều đơn vị có thể cần phải trải qua các bài tập chuyển đổi dữ liệu để đảm bảo rằng họ đang so sánh táo với táo chứ không phải cam hay chuối. “Nếu bạn có hai công ty con, các định nghĩa về một khách hàng và ID khách hàng có gặp nhau không? Họ có hợp nhau không? Định nghĩa của bạn về doanh thu từ hệ thống này và hệ thống kia có khớp nhau không hay chúng ta cần phải trải qua một số chuyển đổi? ” Tammana nói. “Vấn đề thứ ba là chúng tôi đang thu thập thêm dữ liệu một cách gấp rút,” ông tiếp tục. “Bạn kết hợp ba thứ đó lại, và bạn có một cơn bão hoàn hảo trong việc tạo ra nhiều dữ liệu hơn, nhưng không nhất thiết phải có thể vận hành tất cả theo cách bạn muốn.” Revenge of Hadoop Lake Tammana nhận thấy một số điểm tương đồng giữa những gì đang xảy ra ngày nay trên đám mây và những gì ngành phân tích dữ liệu vừa trải qua liên quan đến việc áp dụng các hồ dữ liệu Hadoop. Nó phụ thuộc vào cách các công ty tiếp cận các chiến lược tích hợp dữ liệu của họ – hoặc liệu họ có từ bỏ chiến lược hoàn toàn trong lúc vội vã đi đến một nơi nào đó nhanh chóng hay không. Có hai lựa chọn rộng rãi mà các công ty có thể thực hiện liên quan đến chiến lược tích hợp dữ liệu của họ: ETL hoặc ELT. Trong một số trường hợp, các công ty có thể sử dụng cả hai; chúng không loại trừ lẫn nhau, vì tốc độ tạo dữ liệu, nhu cầu phân tích kịp thời và sự sẵn sàng chấp nhận chi phí phát sinh từ việc chuyển đổi dữ liệu trả trước khác nhau tùy từng trường hợp. Với quy trình ETL truyền thống, các công ty chọn chuyển đổi (tức là làm sạch, chuẩn hóa và bình thường hóa) dữ liệu trước khi nó được đưa vào kho dữ liệu hoặc hồ, nơi các nhà phân tích dữ liệu và nhà khoa học dữ liệu có thể sử dụng nó để phục vụ các trang tổng quan và tìm kiếm xu hướng. Điều này phần lớn đồng nghĩa với cách tiếp cận “lược đồ khi ghi” đã được áp dụng trước khi kỷ nguyên Hadoop bắt đầu trong 2011 – 2013 khung thời gian. Với cách tiếp cận dựa trên ELT mới hơn, các công ty trước tiên đưa dữ liệu vào hồ dữ liệu hoặc kho dữ liệu và chuyển đổi dữ liệu sau đó, khi có nhu cầu. Đây là phương pháp tiếp cận “lược đồ khi đọc” mà Hadoop đã phổ biến với phần lớn dữ liệu không có cấu trúc và bán cấu trúc và tiếp tục cho đến ngày nay với nhiều hồ dữ liệu và triển khai kho dữ liệu. Tammana nói, những bài học kinh nghiệm rút ra từ Hadoop là rất lớn. Nhưng có ai chú ý không? “ELT có xu hướng là khi mọi người đổ dữ liệu vào hồ và sau đó họ muốn xử lý nó sau,” ông nói. “Nhưng họ rất cảnh giác với những vấn đề mà chúng tôi gặp phải với tư cách là một ngành công nghiệp với Hadoop, chẳng hạn. Mọi người đều có rất nhiều dữ liệu vào Hadoop và mọi người đều mất dấu dữ liệu đó có nghĩa là gì, cách sử dụng nó. Và tất nhiên, điều đó làm phức tạp thêm việc bạn cần nhà phát triển Java đưa dữ liệu vào sử dụng, điều đó khiến bạn không thể lấy được giá trị từ đó. ” Các công cụ của chúng tôi ngày nay tốt hơn và người dùng không còn cần các nhà phát triển Java để lấy dữ liệu nữa. SQL thẳng sẽ đủ và thậm chí Python cũng được hỗ trợ. Các nhà khoa học dữ liệu công dân và phân tích nhúng đang dân chủ hóa quyền truy cập vào dữ liệu. Nhưng điều đó không giải quyết được thực tế là dữ liệu đang chất đống trong các kho và hồ dữ liệu đám mây và mọi người có thể không nhớ theo dõi tất cả. Tammana nói: “Sự kết hợp của việc không biết dữ liệu nào ở đó và cần một số kỹ năng kỹ thuật để có được giá trị từ đó đã tạo ra một vấn đề cho Hadoop. “Nhưng vấn đề đầu tiên là ném tất cả dữ liệu vào, và sau đó không biết phải làm gì với nó, vẫn tồn tại trong thế giới này, ngay cả khi bạn đang sử dụng Snowflake. Tammana lạc quan rằng mọi người đã học được từ trải nghiệm Hadoop và đang cẩn thận hơn với dữ liệu của họ. “Nhưng tôi không nghi ngờ rằng có một vấn đề, ở một mức độ nào đó,” anh nói. Các mục liên quan: Vẫn muốn: (Nhiều) Dữ liệu COVID tốt hơn Sự bùng nổ dữ liệu đám mây lớn thậm chí còn lớn hơn, nhờ COVID – 19

  • Trang chủ
  • Trí tuệ nhân tạo
  • Chuyên viên phân tích kinh doanh
  • Thông tin kinh doanh
  • Khoa học dữ liệu
  • Back to top button