Thống kê dữ liệu trên xam

rongden69:

Step 3:
Visualization dữ liệu

T mới chạy sơ sơ cái tiêu đề thớt với thời gian đăng thôi thì có 1 số dữ liệu cho tụi mày xem trước. Tổng t crawl được 336.751 bài đăng.
Nhân dịp nước Đông lào có GDP quý I tăng 6,93% t xin đặt 1 khái niệm mới cho diễn đàn xamvn ta:
Tổng Độ "Xôm" Diễn đàn (TXD) - Giải thích: "Xôm" hay "xôm tụ" chỉ sự sôi nổi, náo nhiệt. Thuật ngữ này đếm số bài đăng trong 1 khoản thời gian trên diễn đàn.

Hỏi: TXD của diễn đàn qua các năm như thế nào?

Dưới sự lãnh đạo sáng suốt, tài tình của Manhthuong, tình hình tăng trưởng TXD đã có những bước phát triển vượt bậc, tăng trưởng thần tốc qua các năm, thể hiện đời sống tư tưởng phong phú và tinh thần thảo luận sôi nổi của quần chúng, góp phần vào sự nghiệp chung của diễn đàn.

Hỏi: TXD quý 1 năm nay có tăng trưởng không?

Tin vui cho mấy tml TMX quý I năm nay của diễn đàn ta tăng 63.11%. Một con số bất ngờ so với năm trước giảm -10.87%. Có lẻ do làng sóng di cư ồ ạt của mấy tml từ trại súc vật voz qua đây.

Hỏi: Anh em Xamer thích đăng bài vào khung giờ nào?

Không nằm ngoài dự đoán, khung giờ từ 7h-11h là khung giờ hoạt động sôi nổi nhất vì đó là lúc anh em tan làm khỏi những công việc mưu sinh trong cuộc sống.

Bấm để mở rộng...

rongden69:

T chuẩn bị crawl hết dữ liệu trên xàm để coi chữ cặc với chữ lồn chữ nào xài nhiều hơn. Thằng nào quan tâm không? T sẽ update dần ở đây

Bấm để mở rộng...

rongden69:

Sau khi test tool thì t quyết định:
- Dùng scrapy để crawl tất cả page vì chỉ cần tải html, lẹ
- Dùng crawlee có headless browser để crawl riêng Hall of Fame vì cần đăng nhập, nhưng chậm vcl
=> Ước tính còn 3-4 tiếng vì t thuê server xịn chạy cho sập xam luôn

Bấm để mở rộng...