Data science

Nền tảng Hazelcast để mang dữ liệu lịch sử, thời gian thực lại với nhau

Hazelcast được biết đến nhiều nhất với tư cách là nhà phát triển công nghệ lưới dữ liệu trong bộ nhớ (IMDB), một lớp yêu thích RAM để tăng tốc các ứng dụng hoạt động. Nhưng với việc ra mắt Nền tảng Hazelcast hiện được dự kiến ​​vào tháng 9, công ty San Mateo, California đang vượt ra khỏi IMDG và bước sang lĩnh vực ứng dụng thời gian thực kết hợp dữ liệu lịch sử và thời gian thực cho một loạt các trường hợp sử dụng. Manish Devgan, Giám đốc sản phẩm mới của Hazelcast cho biết Nền tảng Hazelcast về cơ bản là sự kết hợp của Hazelcast IMDG với Hazelcast Jet, ứng dụng xử lý luồng thời gian thực mà nó đã giới thiệu cách đây khoảng 4 năm. Bằng cách kết hợp các sản phẩm thời gian thực và lịch sử với nhau thành một sản phẩm duy nhất, nó sẽ giảm đau đầu về tích hợp, giảm thiểu việc di chuyển dữ liệu và hợp lý hóa các dự án DevOps để giải phóng sức mạnh của dữ liệu. Devgan nói với Datanami: “Điều cuối cùng bạn muốn làm trong một hệ thống phân tán là di chuyển dữ liệu xung quanh. “Vì vậy, thay vì khách hàng nói, 'Này, bạn đang kéo tất cả dữ liệu đó vào máy khách', bạn đang nói, tôi nhận được truy vấn này hoặc chức năng tính toán này và tôi sẽ gửi máy tính đến nơi chứa dữ liệu cuộc sống. Vì vậy, đó là lý do tại sao chúng tôi gọi nó là dữ liệu tại chỗ ”. Loại xử lý tại chỗ này rất mạnh mẽ vì nó cho phép khách hàng mang lại dữ liệu mới, theo thời gian thực dựa trên dữ liệu lịch sử và hoạt động mà họ đã lưu trữ trong cụm IMDB. Như Devgan thấy, điều đó mở ra một loạt các trường hợp sử dụng phân tích mới. Devgan nói: “Bây giờ bạn có thể bắt đầu thấy rằng danh mục ứng dụng đã chuyển từ ứng dụng giao dịch, hoạt động thuần túy sang nhiều ứng dụng hơn hiện đang thực hiện phân tích”. “Đó là một chút thay đổi mô hình ở đây, nơi bạn có rất nhiều thông tin chi tiết về dữ liệu hoạt động, thông qua ứng dụng của bạn, vậy tại sao tôi không thực hiện phân tích ngay tại đó?” Thay vì xây dựng các đường ống để di chuyển dữ liệu từ các hệ thống giao dịch sang hệ thống phân tích – hoặc đến các hồ dữ liệu đám mây như S3 hoặc ADLS, sau đó có thể được truy vấn bằng nhiều công cụ khác nhau – Hazelcast đang đáp ứng nhu cầu của khách hàng về việc giữ cho việc di chuyển dữ liệu ở mức tối thiểu. Điều đó cũng giúp tăng độ trễ cho việc đưa ra quyết định quan trọng về thời gian. Nền tảng Hazelcast mới (có sẵn vào tháng tới) kết hợp xử lý dữ liệu lịch sử và thời gian thực (Nguồn: Hazelcast) “Bạn thấy rằng rất nhiều cửa hàng dữ liệu hoạt động có đường ống dẫn dữ liệu, nơi họ di chuyển dữ liệu từ cửa hàng hoạt động đắt tiền này thành một khối lượng công việc trên S3 hoặc ADLS trên Azure, và sau đó bạn thực hiện quá trình xử lý, ”Devgan nói. “Nhưng chúng tôi có khách hàng nói rằng, chúng tôi không muốn làm điều đó.” Devgan cho biết các công ty lớn, như Netflix, có nguồn lực kỹ thuật để xây dựng các loại ứng dụng thời gian thực này. Nhưng các công ty nhỏ hơn phần lớn đã phải vật lộn để cung cấp các loại trải nghiệm hấp dẫn, dựa trên dữ liệu mà khách hàng đang ngày càng yêu cầu trong thời kỳ số hóa sử dụng COVID hiện nay. Devgan nói: “Chúng tôi đang cố gắng hạ thấp giới hạn hoặc dân chủ hóa khái niệm xây dựng các ứng dụng thời gian thực trên dữ liệu đi qua hệ thống của bạn. “Bây giờ bạn truy cập dữ liệu nhanh chóng. Ai quan tâm? Bạn đang di chuyển kim cho doanh nghiệp như thế nào? Làm thế nào để bạn có thể tạo ra cơ hội? Làm cách nào bạn có thể phát hiện và ứng phó với các mối đe dọa và cơ hội trên dữ liệu thời gian thực? Tôi nghĩ rằng điều đó về cơ bản thay đổi cách mọi người xây dựng ứng dụng ”. Với cách tiếp cận nền tảng, Hazelcast đang hướng tới việc hợp nhất số lượng thời gian chạy khác nhau mà theo truyền thống là cần thiết để xây dựng các loại hệ thống này. Năm ngoái tại thời điểm này, IMDG và Jet là những sản phẩm riêng biệt trong dòng sản phẩm của Hazelcast. Nhưng thay vì các sản phẩm riêng biệt, tất cả chúng đều thuộc cùng một cụm, điều này giúp giảm thiểu số thứ có thể xảy ra sai sót, Devgan nói. “Vì vậy, có một cụm. Bạn nhận được một sản phẩm. Bạn có một lần triển khai và điều đó thực hiện cả việc lưu trữ dữ liệu, xử lý dữ liệu cũng như truyền thông tin, nếu bạn định can thiệp vào mô hình học máy được đào tạo, ”Devgan nói. “Về cơ bản đó là sự đơn giản hóa. Đó là một vấn đề lớn đối với chúng tôi, bởi vì tầm nhìn của chúng tôi là dân chủ hóa việc xây dựng các ứng dụng thời gian thực này ”. Với sự phong phú của các đầu nối nguồn (và phần chìm) cho các hệ thống phát trực tuyến như Kafka, Kinesis, Pulsar và hệ thống hàng đợi tin nhắn (chưa kể đến các ổ cắm, trình xem tệp và nhật ký sự kiện cơ sở dữ liệu), dữ liệu có liên quan có thể được truyền trực tuyến vào thành phần công cụ xử lý luồng của Nền tảng Hazelcast (còn được gọi là Máy bay phản lực). Dữ liệu thời gian thực có thể được kết hợp với dữ liệu lịch sử được lưu trữ trong kho lưu trữ trong bộ nhớ và dữ liệu kết quả có thể được truy vấn để cung cấp cho khách hàng thông tin cập nhật nhất. Các nhà phát triển sẽ tạo các ứng dụng cho Nền tảng Hazelcast bằng cách sử dụng bộ công cụ phát triển phần mềm (SDK) cho Java, C #, Go, Node.js, Python và C ++. Họ cũng sẽ có thể tận dụng các chức năng do người dùng xác định để sử dụng lại mã hiện có, công ty cho biết. Nền tảng Hazelcast cũng sẽ sử dụng các kỹ thuật đồ thị vòng có hướng (DAG) để phát triển logic nghiệp vụ trên đỉnh các nút trong cụm. Hazelcast đã công bố Nền tảng Hazelcast vào tháng 7 và cho biết vào thời điểm đó rằng họ đang có kế hoạch ra mắt sản phẩm vào tháng 8. Thời gian biểu đó đã thay đổi phần nào và bây giờ kế hoạch là Nền tảng Hazelcast sẽ có sẵn vào tháng 9, Devgan nói. Là một phần của sự kiện ra mắt Nền tảng Hazelcast, công ty cũng đã giới thiệu một bản cập nhật cho công cụ xử lý cốt lõi của mình. Trong Hazelcast 5.0, sản phẩm có hai chức năng chính: khả năng duy trì dữ liệu vào đĩa cho mục đích khôi phục thảm họa, cũng như hỗ trợ xử lý SQL trên dữ liệu trực tuyến. Về việc hỗ trợ SQL, Hazelcast nói thêm: “Với sự hợp nhất của công cụ xử lý luồng thời gian thực Hazelcast và kho dữ liệu hiệu suất cao, các doanh nghiệp hiện có thể kết hợp dữ liệu lịch sử, dữ liệu sự kiện và dữ liệu dựa trên tệp với một truy vấn duy nhất có độ trễ micro giây . Theo cách tiếp cận này, công cụ phát trực tuyến có thể xử lý trước dữ liệu khi nó được nhập vào trong khi máy tính trong bộ nhớ có thể phân tích và hành động dựa trên thông tin chi tiết trong thời gian thực. Dữ liệu hợp nhất cũng có thể được công cụ phát trực tuyến đưa vào mã máy học để suy luận trong thời gian thực. ” Bản phát hành này cũng mở đường cho việc cung cấp máy chủ không cần máy chủ sắp tới của Hazelcast, sẽ cung cấp khả năng tự động mở rộng quy mô thích ứng với khối lượng công việc của khách hàng và sẽ giảm hơn nữa diện tích bề mặt mà khách hàng chịu trách nhiệm quản lý. Các mục liên quan: Xử lý luồng là một bổ sung tuyệt vời cho lưới dữ liệu, Hazelcast tìm kiếm lưới dữ liệu tạo ra ngôn ngữ 'Go' mới nổi

  • Trang chủ
  • Trí tuệ nhân tạo
  • Chuyên viên phân tích kinh doanh
  • Thông tin kinh doanh
  • Khoa học dữ liệu
  • Back to top button