View Full Version : Social Finder: xã hội hóa máy tìm kiếm
Bạn muốn thu thập thông tin trên Internet hay còn gọi là data mining? Bạn sẽ cần danh sách các trang web hiện có trên Internet nhưng các cỗ máy tìm kiếm hiện tại như Google, Bing lại hạn chế số lượng kết quả trả về. Social Finder đưa ra giải pháp cho vấn đề trên: cùng nhau tìm kiếm. Nếu mỗi người trong chúng ta chạy ứng dụng Social Finder khi làm việc trên máy tính, thì số lượng liên kết thu thập được sẽ rất lớn. Danh sách các liên kết sẵn sàng cho tất cả mọi người thông qua API.
Hãy giúp chúng tôi thu thập liên kết trên Internet bằng cách:
+ Thêm liên kết bằng tay: Suggest Link | Social Finder (http://www.socinder.com/suggest.php)
+ Chạy chương trình tự động thu thập liên kết: Social Finder for Windows (http://www.socinder.com/dowload/socinder-1.0.exe)
Test thử có vài link thôi mà.
Sao phải chờ tool người dùng đóng góp nhỉ. Bạn viết tool tự crawl luôn. Khó gì đâu ta.
Với lại chưa thấy lợi ích của tools này.
ngoc_ann_00
10-05-2013, 12:38
mình ko nghĩ là có ai đó muốn chạy phần mềm đó.gần như ko có lí do
Test thử có vài link thôi mà.
Sao phải chờ tool người dùng đóng góp nhỉ. Bạn viết tool tự crawl luôn. Khó gì đâu ta.
Với lại chưa thấy lợi ích của tools này.
Crawler (hay Spider) tôi đã viết xong rồi. Link download: http://www.socinder.com/download/latest-social-finder-for-windows.php
Vấn đề là tôi không có nhiều máy tính để chạy nhiều spider nên cần đến sự hợp tác của cộng đồng. Lợi ích của việc hợp tác này là chúng ta sẽ có được danh sách tất cả các link trên Internet. Từ cơ sở dữ liệu này sẽ dẫn đến các ý tưởng dạng sau: http://www.ddth.com/showthread.php/1189162-%C3%9D-t%C6%B0%E1%BB%9Fng-Ki%E1%BA%BFm-ti%E1%BB%81n-v%E1%BB%9Bi-adf-ly-v%C3%A0-m%C3%A1y-t%C3%ACm-ki%E1%BA%BFm
mình ko nghĩ là có ai đó muốn chạy phần mềm đó.gần như ko có lí do
Mình đang tìm kiếm lý do đó. Đây là một ý tưởng: http://www.ddth.com/showthread.php/1189162-%C3%9D-t%C6%B0%E1%BB%9Fng-Ki%E1%BA%BFm-ti%E1%BB%81n-v%E1%BB%9Bi-adf-ly-v%C3%A0-m%C3%A1y-t%C3%ACm-ki%E1%BA%BFm
Đến 1 VPS bạn cũng không có để chạy tool thì ng dùng có chịu cài tool của bạn trên máy họ và thu thập data giùm bạn thì cái server của bạn có chịu nổi lượng data khổng lồ đó hay không.
Chưa nói đến việc check link còn sống hay không.
Cực kỳ tốn tài nguyên đó bạn.
Chưa kể đến việc quy mô như vậy mà chỉ ngắm kiếm tiền từ adf.ly vốn chỉ dành cho webmaster kiếm thêm mà thôi.
Còn muốn thử, bạn khỏi cần kêu gọi, hãy chuẩn bị server web của bạn thật tốt đi. Mình cho tool mình chạy 3 ngày thôi. Xem server của cậu chịu nổi không. Lúc đó tính tiếp.
Đến 1 VPS bạn cũng không có để chạy tool thì ng dùng có chịu cài tool của bạn trên máy họ và thu thập data giùm bạn thì cái server của bạn có chịu nổi lượng data khổng lồ đó hay không
Khi mình dùng máy desktop thì mình cho chạy Social Finder và tiếp tục làm việc. Mình thấy chương trình không ảnh hưởng nhiều đến performance của máy tính. Khi viết chương trình mình không tận dụng tối đa tài nguyên để crawl và dùng càng ít thư viện càng tốt (để giảm kích thước). Mình hy vọng người dùng sẽ không thấy phiền nếu chạy Social Finder trên máy của họ. Thay vì đầu tư các VPS để chạy spider, mình sẽ nhờ người dùng chạy thay còn mình sẽ dồn tiền đầu tư nâng cấp server. Hiện tại mình có một server riêng (2GB RAM, 1TB ổ cứng). Nếu số lượng người dùng lớn và dẫn đến quá tải server mình sẽ mua thêm server, nâng cấp đường truyền.
Chưa nói đến việc check link còn sống hay không.
Cực kỳ tốn tài nguyên đó bạn.
Mình nghĩ không tốn tài nguyên lắm vì mình chỉ lấy header về mà không lấy data.
Chưa kể đến việc quy mô như vậy mà chỉ ngắm kiếm tiền từ adf.ly vốn chỉ dành cho webmaster kiếm thêm mà thôi.
Kiếm tiền từ adf.ly chỉ dành cho người dùng hợp tác với mình. Người dùng không mất nhiều lắm (cả thời gian và tiền bạc) để tham gia. Họ chỉ cần cho chạy Social Finder rồi tiếp tục sử dụng máy tính. Thu nhập từ adf.ly tuy không nhiều (còn tùy thuộc vào khả năng marketing website của mình) nhưng cũng gọi là khích lệ.
Riêng mình, mình không định kiếm tiền từ adf.ly hay GA thông qua ý tưởng này. Cái mình hướng đến là áp dụng data mining để thu thập các thông tin có giá trị và bán chúng.
Còn muốn thử, bạn khỏi cần kêu gọi, hãy chuẩn bị server web của bạn thật tốt đi. Mình cho tool mình chạy 3 ngày thôi. Xem server của cậu chịu nổi không. Lúc đó tính tiếp.
Mình rất hoan nghênh nếu bạn ủng hộ bằng cách cho chạy Social Finder một cách bình thường (chạy Social Finder trên máy và tiếp tục làm việc như bình thường). Với cách đó mình nghĩ là server của mình tạm thời có thể chịu được. Còn nếu bạn dùng tool tận dụng tối đa tài nguyên để crawl và cập nhật server thì e là server mình không chịu nổi (nó cũng hơi giống như DDOS). Như đã nói ở trên, khi số lượng người dùng tăng cao mình sẽ xem xét việc chuyển server đến data center (để có đường truyền tốt hơn, hiện tại mình dùng ADSL) và mua thêm server để chia tải.
Tớ nghĩ là cậu cố tình không hiểu thì phải.
Giả sử 1 tool chạy tối đa bằng với 10 tool chạy bình thường. Sao bạn cứ phải khổ sở đi thuyết phục 10 người kia làm gì. Mục tiêu của bạn là data cơ mà, càng nhanh càng nhiều thì càng tốt.
Còn bạn có mục đích khác khi ng dùng cài tool thì mình chịu. Nhưng mình thấy ko có động lực cho ng dùng cài. Chưa nói đến việc bạn có uy tín hay không khi không biết tool này có gián điệp hoặc sử dụng cho mục đích khác.
Về cơ bản với con dedicated server cậu đang có. Thì vừa chạy web vừa chạy tool thì thoải mái con gà mái. Chạy vài ngày có khi lên đến vài tỷ record ấy chứ.
Nếu như bạn nói mục đích chính là bán data thì cơ bản khỏi cần web luôn. Bao giờ data đủ lớn, lúc đó mang bán cũng ok mà.
Cơ bản data minning cần hệ thống server khủng với công nghệ database mạnh. Khi đó mới chứa được nhiều. Vì lĩnh vực này data lớn mới có giá trị.
Khuyên:
Nếu bạn tâm đắc tốt nhất tạm thời cứ làm 1 mình đi đã. Chưa có đk làm rộng thì tạm thời làm sâu. Khi có doanh thu lấy nó nuôi nó, đến khi lớn mạnh bạn mở lớn cũng chưa muộn. Vừa tránh rủi ro nếu thất bại thì cũng ít. Còn thành công thì khỏi bàn rồi.
Vấn đề này tựa như reo lúa thí điểm đó.
Cậu thử làm ví dụ pdf tube chỉ chuyên về 1 loại link rồi kiếm tiền từ adf.ly, thu nhập dc 100$/tháng thì mua tiếp server và mở rộng sang các mảng khác.
Chúc thành công!
nunanunong1102
13-05-2013, 12:59
chưa hiểu rõ nội dung bài của bạn, sao lại phải chạy tool và việc này đem lại kết quả gì
superthin
13-05-2013, 14:11
Nói chung là chủ topic không đưa ra được các lý do thuyết phục người dùng cài tool để chạy nhằm hỗ trợ cho dự án. Bởi vì đa phần các dự án mà cần sự hỗ trợ chung tay của cộng đồng kiểu điện toán lưới hoặc siêu máy tính thường nó là các dự án khoa học, có ban tổ chức rất uy tín, quy mô chặt chẽ (ví dụ như để giải quyết các bài toán về khí hậu, môi trường, giải mã gen, giải mã thông điệp người ngoài hành tinh để lại,...).
Đàng này, dự án của chủ topic không có tính nhân văn và hướng thiện mà đơn giản là để anh ta thử nghiệm data mining gì đó và kiếm tiền. Lại không có trang web để giới thiệu tool làm gì, cách thức làm việc ra sao, cá nhân người làm ra tool là ai, anh ta sẽ làm gì,... e rằng số người cài tool chạy chỉ đếm trên đầu ngón tay.
Đàng này, dự án của chủ topic không có tính nhân văn và hướng thiện mà đơn giản là để anh ta thử nghiệm data mining gì đó và kiếm tiền. Lại không có trang web để giới thiệu tool làm gì, cách thức làm việc ra sao, cá nhân người làm ra tool là ai, anh ta sẽ làm gì,... e rằng số người cài tool chạy chỉ đếm trên đầu ngón tay.
Cám ơn bạn đã nhắc nhở. Đúng là tôi đã không có tài liệu giải thích rõ về tool và tại sao nên chạy tool cùng lợi ích của nó. Tại đây tôi xin giải thích:
+ Website: www.socinder.com là danh sách các liên kết có trên Internet. Danh sách này có được bằng 3 cách:
-- Chạy GET: http://www.socinder.com/api.php?method=addLink&link=<URL>
-- Thêm vào từ trang http://www.socinder.com/suggest.php
-- Chạy tool Social Finder for Windows (http://www.socinder.com/download/latest-social-finder-for-windows.php)
+ Danh sách này được cung cấp miễn phí thông qua trang web và qua API (xem cách dùng API tại http://www.socinder.com/docs/ )
+ Danh sách này sẽ có ích cho bạn khi data mining trên Internet. Dĩ nhiên bạn có thể tự làm nhưng sẽ lâu và lặp lại công việc mà những người khác đã hoặc sẽ làm. Website này làm một lần và cung cấp dữ liệu cho bạn dùng.
+ Bạn chạy tool là để giúp thu thập thêm liên kết vào danh sách. Chương trình được viết tối giản trong mức có thể để bạn có thể chạy nó mà không ảnh hưởng đến performance của máy tính bạn đang dùng.
+ Tôi không có uy tín gì trong giới khoa học cũng như cộng đồng mạng nên không thể mong chờ cộng đồng hỗ trợ xây dựng danh sách nếu mọi người không tin tưởng vào lợi ích của việc này.
+ Mọi người có thể hình dung ra lợi ích của việc này thông qua website con: pdf.socinder.com đi kèm với tool Social Finder Collecting PDF for Windows . Tại site này, danh sách liên kết ở www.socinder.com được lọc lại (chỉ những liên kết file pdf), các file pdf được upload lên website và chia sẽ miễn phí trên website (người dùng có thể xem online hoặc download). Để cộng đồng có thêm động lực để chạy tool, website cho phép người dùng dùng tạo link adf.ly cho download file. Đây là hình thức chia sẽ lợi nhuận theo slogan "Share profit, build product" .
+ Việc kiếm tiền từ site này chỉ là mục đích phụ (chủ yếu là để có tiền trả cho các cộng tác viên (như kiểm duyệt viên chẳng hạn)).
+ Còn về việc thử nghiệm data mining, đúng là tôi đang thử nghiệm để tìm ra cách giải quyến vấn đề lớn hơn mà tôi đang theo đuổi. Tuy nhiên tôi nhận thấy thử nghiệm này cũng đem lại lợi ích cho cộng đồng (đó là cung cấp danh sách các link trên Internet và máy tìm kiếm file PDF)
Cuối cùng nó sẽ cho ra
https://ahrefs.com/index.php
hay
http://www.majesticseo.com/
hay google.com nhỉ , mình không có time để tìm hiểu tools của bạn ngay .
Cuối cùng nó sẽ cho ra
https://ahrefs.com/index.php
hay
http://www.majesticseo.com/
hay google.com nhỉ , mình không có time để tìm hiểu tools của bạn ngay .
www.socinder.com chỉ đơn thuần là danh sách các liên kết trên Internet, không có thêm thông tin về SEO như 2 site bạn nêu. Mặt khác, www.socinder.com cung cấp danh sách miễn phí qua liệt kê trên web hoặc qua API. Muốn phát triển site như trên bạn có thể dùng dữ liệu của www.socinder.com làm bước khởi đầu.
Powered by vBulletin® Version 4.2.0 Copyright © 2024 vBulletin Solutions, Inc. All rights reserved.