Cậu bé tí hon học tập và làm theo gã khổng lồ Google, Bing

**tedhive** · 15-12-2015 11:51

"Cậu bé tí hon" đã bắt đầu chuyến hành trình học tập và làm theo các "gã khổng lồ" Google, Bing. Tuy có thể không bao giờ lớn được như các "gã khổng lồ" nhưng "cậu bé tí hon" vẫn nỗ lực học và làm. Càng học, càng làm, "cậu bé tí hon" càng phát hiện mình nhỏ bé và nhận ra mình có quá nhiều thứ phải học và rèn luyện.

Khởi đầu với chức năng tìm kiếm trang web và hình ảnh, "cậu bé tí hon" không phát triển nhiều tính năng mà chú trọng vào việc thu thập dữ liệu để đạt được kích thước index gần bằng các gã khổng lồ. Mục tiêu trong năm nay của "cậu bé tí hon" là index được 1 tỷ trang web.

Đây là trang chủ của "cậu bé tí hon". Học theo Google, trang chủ của "cậu bé tí hon" vô cùng đơn giản.

Đây là trang tìm kiếm trang web của "cậu bé tí hon".

Đây là trang tìm kiếm hình ảnh của "cậu bé tí hon".

Còn đây là fan page của "cậu bé tí hon". Nếu bạn có hứng thú với dự án của "cậu bé tí hon", hãy gởi nhận xét, đánh giá, góp ý hoặc trao đổi, chia sẽ kinh nghiệm tại trang này.

Sau 2 ngày khởi động, "cậu bé tí hon" đã chạm mốc 200K.

**quangvu** · 15-12-2015 16:29

Sau cứ phải làm theo người Khổng Lồ nhỉ, nếu chú Mark mà đi theo Google/Bing thì giờ anh em làm gì có Phây mà dùng !

**tedhive** · 15-12-2015 16:34

Được gửi bởi quangvu

Sau cứ phải làm theo người Khổng Lồ nhỉ, nếu chú Mark mà đi theo Google/Bing thì giờ anh em làm gì có Phây mà dùng !

Theo mình, quá trình đôi khi quan trọng hơn kết quả. Học tập và làm theo các "gã khổng lồ" có cái lợi là mình sẽ luôn có sự so sánh giữa bản thân với các "gã khổng lồ" để luôn thấy mình quá bé nhỏ và luôn thấy mình có nhiều điều để học hỏi. Từ đó, sau một thời gian kiên trì theo đuổi, tuy kết quả không thành nhưng kinh nghiệm tích lũy được trong quá trình đó lại có thể hữu dụng trong những trường hợp, hoàn cảnh khác.

**tedhive** · 15-12-2015 17:17

Máy tìm kiếm Hulbee có bộ lọc rất ấn tượng. "Cậu bé tí hon" nên học theo Hulbee.

https://hulbee.com/?query=java+read+...nguage=browser

**trumdkny** · 16-12-2015 01:55

Bác tedhive cho mình hỏi?

Bác dùng CSDL gì để chứa index này thế? Dùng tool gì để crawler dữ liệu?

**tedhive** · 16-12-2015 04:27

Được gửi bởi trumdkny

Bác dùng CSDL gì để chứa index này thế? Dùng tool gì để crawler dữ liệu?

Mình dùng ElasticSearch để chứa index. Mình tự viết spider bằng Java và Jsoup.

**tedhive** · 16-12-2015 06:27

"Cậu bé tí hon" vừa khởi động chiến dịch gây quỹ cộng đồng để thu thập 48 tỷ trang web từ Internet. Hãy ủng hộ "Cậu bé tí hon" và chia sẽ chiến dịch này trên các mạng xã hội giúp "cậu bé tí hon"

Thumboy follows search giants

**tedhive** · 16-12-2015 07:47

"Cậu bé tí hon" đã chạm mốc 300K.

**tedhive** · 16-12-2015 14:42

Theo tính toán mới nhất của "cậu bé tí hon", để đánh chỉ mục 1 tỷ trang web cần 667 ngày (hoặc 1.82 năm) với 1 máy chủ có giá 18.75 triệu đồng. Chi phí này cao hơn tính toán trước đây 3.15 triệu đồng nhưng bù lại, "cậu bé tí hon" có thể sở hữu 1 máy chủ sau 1.82 năm và dùng lại nó cho việc thu thập dữ liệu tiếp theo.