Ứng dụng hẹn hò quẹt thẻ

Hồ sơ đang hoạt động được đánh index trong OpenSearch với geo_point, chia shard theo vùng địa lý. Stack builder chạy nền: truy vấn theo bán kính và tiêu chí, loại id có trong Bloom filter, xếp hạng (gần, hoạt động gần đây, mức hợp), ghi 100 id vào Redis. API chỉ việc lấy 20 id từ list nên p95 vài ms. Stack được dựng lại khi còn dưới 20 id hoặc khi người dùng đổi vị trí hay tiêu chí.

Đánh đổi: Stack có thể cũ vài phút (người kia vừa tắt tài khoản hoặc đổi vị trí), nên lúc phát ra vẫn kiểm tra nhanh trạng thái hồ sơ; thêm một cụm search và worker phải vận hành.

Nguồn: Grokking Modern System Design · ch.29 Design a Proximity Service (Yelp) ↗ · Design Considerations of Yelp · mục "Search using segments", "Data partitioning" ; Grokking Modern System Design · ch.16 Distributed Cache ↗ · Background of Distributed Cache · mục "Writing policies" (write-around: ghi vào cache sau lần trượt) ; Seven Databases in Seven Weeks ↗ (.zip) · ch.3 HBase · Day 2: Working with Big Data · mục "Compression and Bloom Filters" (How Do Bloom Filters Work?, tr. 110–111) ; Chưa có nguồn trong thư viện: OpenSearch geo_point và mô hình xếp hạng stack là thiết kế của khoá học

LSM-tree ghi tuần tự nên mỗi node nhận hàng chục nghìn ghi/s. Partition key swiper_id, clustering key target_id: kiểm tra 'đã quẹt người này chưa' là một lần đọc theo khóa. Lượt quẹt trái đặt TTL 90 ngày để dữ liệu không phình mãi. Sự kiện quẹt đi qua Kafka cho thống kê và mô hình xếp hạng.

Đánh đổi: Không có join hay transaction nhiều hàng; truy vấn nào cũng phải thiết kế bảng theo đúng mẫu truy cập từ trước.

Nguồn: Grokking Modern System Design · ch.10 Key-value Store ↗ · mục "Consistent hashing" và "Data replication" ; Grokking Modern System Design · ch.9 Databases ↗ · Data Partitioning · mục "Sharding" (Key-range based sharding, Hash-based sharding, Consistent hashing) ; Chưa có nguồn trong thư viện: LSM-tree và TTL của ScyllaDB/Cassandra/DynamoDB (thư viện không có sách về các sản phẩm này)

Cả hai lượt thích ghi vào cùng một bản ghi, nên DB tuần tự hóa chúng. Postgres: INSERT ... ON CONFLICT DO UPDATE SET high_liked = true RETURNING low_liked, high_liked. DynamoDB: UpdateItem với ReturnValues=ALL_NEW. ScyllaDB: lightweight transaction (Paxos) chỉ cho lượt quẹt phải. Ai thấy cả hai cờ true thì tạo match với match_id = hash(low, high); nếu cả hai cùng thấy thì ghi trùng cùng một id, không sinh hai match.

Đánh đổi: LWT tốn khoảng 4 vòng mạng nên chỉ dùng cho quẹt phải (30% lượt quẹt); push báo match phải chống gửi trùng theo match_id.

Nguồn: Chưa có nguồn trong thư viện: LikePair theo khóa (low, high), lightweight transaction của ScyllaDB và UpdateItem của DynamoDB là thiết kế/sản phẩm không có sách trong thư viện ; Grokking Modern System Design · ch.9 Databases ↗ · mục "Hash-based sharding" (khóa quyết định cùng một nơi ghi)

Bloom filter trả lời 'chắc chắn chưa thấy' hoặc 'có thể đã thấy'. Với tỉ lệ dương tính giả 1% cần khoảng 9,6 bit mỗi id, 5.000 id chỉ khoảng 6 KB. Sai thì chỉ bỏ qua nhầm khoảng 1% hồ sơ chưa xem, không bao giờ hiện lại hồ sơ đã quẹt. Cơ chế này cũng là cách HBase dùng Bloom filter để tránh đọc đĩa vô ích (Seven Databases in Seven Weeks, phần HBase).

Đánh đổi: Không xóa được phần tử, nên để quẹt trái hết hạn sau 90 ngày phải xoay vòng 2 filter theo thời gian; filter mất thì dựng lại từ ScyllaDB.

Nguồn: Seven Databases in Seven Weeks ↗ (.zip) · ch.3 HBase · Day 2: Working with Big Data · mục "Compression and Bloom Filters" (How Do Bloom Filters Work?, tr. 110–111) (không có âm tính giả, dương tính giả tăng khi thêm nhiều phần tử, dùng bộ nhớ cố định) ; Grokking Modern System Design · ch.16 Distributed Cache ↗ · mục "Cache client" (Note: Bloom filter kiểm tra phần tử chắc chắn không có) ; Chưa có nguồn trong thư viện: 9,6 bit mỗi id cho tỉ lệ dương tính giả 1% và việc xoay vòng 2 filter là ước lượng/thiết kế của khoá học