Data science

Rockset có vừa giải quyết phân tích thời gian thực không?

Các công ty đã thúc đẩy phong trào phân tích thời gian thực và công nghệ nào có khả năng trong nhiều năm. Cùng với đó, Rockset hôm nay tuyên bố họ đã vượt qua các rào cản ngăn cản khách hàng chạy toàn bộ các truy vấn dựa trên SQL trên đầu dữ liệu phát trực tuyến. Tính năng mới lớn được Rockset công bố ngày hôm nay là khả năng tổng hợp mới cho phép khách hàng liên tục chạy các tập hợp dựa trên SQL trên cùng dữ liệu được truyền vào cơ sở dữ liệu thông qua Apache Kafka, AWS Kinesis hoặc từ trình kết nối đến cơ sở dữ liệu hoạt động. Theo Venkat Venkataramani, Giám đốc điều hành và đồng sáng lập của Rockset, tính năng tổng hợp và tổng hợp mới là một gamechanger. “Chỉ cần sử dụng SQL, bạn có thể yêu cầu Rockset duy trì một loạt các chỉ số sẽ được cập nhật đến giây và Rocket có thể làm điều đó rất, rất hiệu quả mà không cần phải tải tất cả dữ liệu thô và sau đó chạy phân tích Venkataramani nói. “Chúng tôi có thể làm điều đó trong thời gian thực, gần giống như ngâm mình vào luồng và theo dõi tất cả các chỉ số mà bạn quan tâm”. Với khả năng cuộn và tổng hợp dữ liệu theo thời gian thực, Rockset gần như trở thành phiên bản thời gian thực của kho dữ liệu Snowflake chạy trên đám mây, Venkataramani, người đã giúp phát triển kho lưu trữ giá trị chính của RocksDB trong khi quản lý Facebook cho biết. hạ tầng trực tuyến từ 2007 đến 2015. “Mọi người đang làm việc với luồng dữ liệu khổng lồ đến, hàng terabyte dữ liệu mà họ đang gửi qua các hệ thống truyền dữ liệu như Kafka và Confluent Cloud hoặc những gì có bạn, và sau đó họ muốn phân tích thời gian thực trên dữ liệu,” anh nói Datanami. “Cách truyền thống là đưa nó vào một hồ dữ liệu và sau đó thực hiện một công việc hàng giờ hoặc một công việc hàng đêm”. Kiến trúc của Rockset Tuy nhiên, điều đó không giúp nó hoạt động dựa trên dữ liệu mới nhất. Ngoài ra, các công ty có thể sử dụng các công cụ tính toán như Spark Streaming hoặc Flink để phân tích dữ liệu, ông nói. Tuy nhiên, các hệ thống đó thiếu lớp phục vụ, chẳng hạn như cơ sở dữ liệu PostgreSQL hoặc MySQL, để có thể phản hồi các truy vấn. Tương tự, cung cấp KSQLdb của Confluent (được xây dựng với RocksDB) cho phép phân tích SQL được chạy trên dữ liệu trực tuyến, như Rockset, nhưng nó cũng thiếu lớp phục vụ hoặc cơ sở dữ liệu để phục vụ các truy vấn. Một số công ty đã tập hợp các hệ thống phân tích thời gian thực của riêng họ, nhưng họ thường thiếu khả năng mở rộng và hiệu suất của một hệ thống được kiến ​​trúc từ đầu để cung cấp điều này theo kiểu gốc đám mây, Venkataramani nói. Ông nói: “Hệ thống sẽ trông giống như băng keo từ nhiều thành phần khác nhau. “Nó sẽ giống như một cỗ máy Rube Goldberg. Sự tươi mới sẽ không có ở đó, và nó sẽ không nhanh như bạn muốn ”. Một ngoại lệ cho điều này là dữ liệu nhật ký. Venkataramani cho biết, có nhiều lựa chọn mà các công ty phải phân tích dữ liệu nhật ký theo thời gian thực. Nhưng, than ôi, họ không hỗ trợ SQL, mặc dù đã ở thập kỷ thứ sáu, vẫn là ngôn ngữ Franca của thế giới phân tích kinh doanh. Rockset đã giải quyết vấn đề bằng cách xây dựng một hệ thống duy nhất từ ​​đầu kết hợp cơ sở dữ liệu đầy đủ cùng với khả năng chạy truy vấn SQL trên dữ liệu sự kiện chuyển động nhanh. Sau khi cho Rockset biết thứ nguyên và truy vấn nào cần theo dõi trong thời gian thực, hệ thống sẽ duy trì cuộn lên đó và cho phép người dùng truy vấn nó giống như bất kỳ bảng cơ sở dữ liệu nào khác, Venkataramani cho biết. Ông nói, công ty đưa toàn bộ trọng lượng của ANSI SQL vào luồng dữ liệu, bao gồm các phép nối, chức năng cửa sổ, sắp xếp, tổng hợp và theo thứ tự. Nó thậm chí còn bao gồm hỗ trợ cho các phần tử SQL không phải ANSI, chẳng hạn như khả năng làm việc trên các mảng và đối tượng lồng nhau được mô tả trong JSON. Khả năng JSON rất hay, nhưng khả năng chạy các truy vấn SQL trên dữ liệu mới thực sự là thứ thúc đẩy quá trình phát triển đối với hầu hết khách hàng, Venkataramani nói. Venkat Venkataramani là người đồng sáng lập và là Giám đốc điều hành của Rockset “Hầu như khách hàng của chúng tôi không thể thực sự xây dựng giải pháp của họ nếu không có SQL,” anh nói. “Nếu bạn có một bảng khác từ một luồng khác hoặc một nguồn khác, như DynamoDB hoặc MongoDB, bây giờ bạn có thể nối chúng chỉ bằng cách sử dụng SQL. Vì vậy, bây giờ bạn có thể thực hiện tất cả các phân tích của mình ngay trên đó như thể đó là một bảng SQL được đánh chỉ mục đầy đủ, được đánh chỉ mục đầy đủ khác chỉ được xây dựng và duy trì cho bạn trên đám mây. ” Cơ sở dữ liệu RocksDB là một yếu tố quan trọng trong hệ thống phân tích của Rockset, nhưng tự nó không đủ và cũng không phải là một thành phần cần thiết, Venkataramani nói. Các yếu tố khác, chẳng hạn như hỗ trợ nhập động mạnh mẽ, nhập dữ liệu không toán học, lập chỉ mục hội tụ, tối ưu hóa chuỗi thời gian, lập kế hoạch truy vấn và kiến ​​trúc gốc đám mây không máy chủ của nó, tất cả đều đóng vai trò phân phối toàn bộ, theo một tháng 8 2020 báo cáo chính thức về thiết kế của Rockset. Ngoài tính năng cuộn lên, Rockset đã giới thiệu hai tính năng mới khác, bao gồm khả năng sử dụng SQL để liên tục biến đổi dữ liệu khi nó được nhập và khả năng thiết lập các chính sách phân vùng và lưu giữ dựa trên thời gian. Rockset hy vọng các nhà phát triển sử dụng tính năng tổng hợp mới để xây dựng các bảng điều khiển tương tác, theo thời gian thực, phản ánh trạng thái hiện tại của nhiều luồng dữ liệu, bao gồm dữ liệu khách hàng, dữ liệu thiết bị và dữ liệu sản phẩm trên thương mại điện tử, hậu cần, theo dõi giao hàng, trò chơi bảng xếp hạng, hệ thống phát hiện gian lận, trình theo dõi sức khỏe và thể chất, và các trường hợp sử dụng mạng xã hội. Venkataramani nói: “Chúng tôi đang tăng tốc chuyển động của mọi người từ hàng loạt sang thời gian thực. “Và đây là một phần rất, rất quan trọng, gần như là nền tảng để ngành có thể thực hiện việc tổng hợp thời gian thực này. Đó và SQL. Với sự kết hợp đó, giờ đây đột nhiên bất kỳ ai cũng có thể đến gặp chúng tôi và nói, đây là công việc hàng loạt mà tôi có. Tôi muốn biến nó thành thời gian thực. Và bây giờ chúng tôi thực sự có thể làm điều đó cho họ, từ đầu đến cuối. ” Việc cung cấp phân tích đám mây của Rockset tách biệt giữa tính toán và lưu trữ, cho phép khách hàng mở rộng quy mô một cách độc lập. Tính năng tổng hợp mới đang ở phiên bản beta công khai và có sẵn cho tất cả khách hàng. Các mục liên quan: Các nhà đầu tư tiếp tục nhắm mục tiêu đến Rockset phân tích thời gian thực Kết nối Kafka với SQL Rockset, SQL Cloud Service, Emerges from Stealth

  • Trang chủ
  • Trí tuệ nhân tạo
  • Chuyên viên phân tích kinh doanh
  • Thông tin kinh doanh
  • Khoa học dữ liệu
  • Back to top button