Update mortakaz integration proposals
هذا الالتزام موجود في:
@@ -1,7 +1,45 @@
|
||||
# Integration 2: Advanced Monitoring
|
||||
# Integration Proposal 2: Crawleo + mithal.space
|
||||
|
||||
This document details the advanced monitoring integration for the Mortakaz project.
|
||||
## Product Description
|
||||
Crawleo مشروع منشور على مرتكز يركز على الزحف إلى المواقع (Web Crawling) واستخراج البيانات.
|
||||
|
||||
- Log aggregation
|
||||
- Alert routing
|
||||
- Incident management linkage
|
||||
## Proposed Integration
|
||||
ربط Crawleo مع mithal.space لمراقبة أداء عمليات الزحف وتحليلها.
|
||||
|
||||
يقوم Crawleo بإرسال المقاييس إلى mithal مثل:
|
||||
- Request Latency
|
||||
- Success Rate
|
||||
- Failed Requests
|
||||
- DNS Time
|
||||
- SSL Status
|
||||
- Response Time
|
||||
|
||||
ثم تعرض mithal Dashboard لحظية للمستخدم.
|
||||
|
||||
## Benefits
|
||||
- مراقبة أداء الزحف لحظياً.
|
||||
- اكتشاف الأعطال بسرعة.
|
||||
- تحسين سرعة عمليات Crawling.
|
||||
- تنبيهات عند زيادة الأخطاء أو زمن الاستجابة.
|
||||
|
||||
## Architecture Sketch
|
||||
```text
|
||||
Websites
|
||||
│
|
||||
▼
|
||||
Crawleo
|
||||
│
|
||||
Metrics
|
||||
▼
|
||||
mithal.space
|
||||
│
|
||||
Dashboard
|
||||
│
|
||||
Alerts
|
||||
```
|
||||
|
||||
## Challenges
|
||||
- التعامل مع Rate Limits.
|
||||
- اختلاف بنية المواقع المستهدفة.
|
||||
- تخزين كمية كبيرة من المقاييس.
|
||||
- الحفاظ على خصوصية البيانات.
|
||||
|
||||
المرجع في مشكلة جديدة
حظر مستخدم