ניסויי כלי AI, בצורה מדידה
ToolLab מנהלת את מחזור החיים המלא של בדיקת כלים לחיסכון בעלויות Claude Code — סקילים, שרתי MCP, אסטרטגיות prompt-caching, ניתוב מודלים ודחיסת קונטקסט — מהצעה ועד החלטת אימוץ מבוססת נתונים.
- ✗מפתחים אקראיים מנסים כלים אקראיים — בלי קו בסיס (baseline) להשוואה
- ✗אין פרוטוקול בדיקה אחיד, כל אחד בודק אחרת
- ✗אף אחד לא עוקב אחרי הזמן והכסף שהושקעו בבדיקות
- ✗אין תוצאות ברות-השוואה, אז ההחלטות מתקבלות על תחושת בטן
- ✗כלים מותקנים בלי שום סקירת אבטחה
- מרכז כלים אחד עם סטטוס, היסטוריה וציון אימוץ לכל כלי
- שער אבטחה חובה: אף כלי לא נבדק לפני אישור CISO
- ניסויי A/B מובנים: תקופת baseline בלי הכלי מול תקופת treatment איתו, עם מינימום סשנים לכל משתתף
- נתונים אובייקטיביים (טוקנים, עלות, סשנים) + דיווח סובייקטיבי מודרך
- ציון אימוץ משוקלל 0–100 והשלכה כספית שנתית ברמת המחלקה
איך המערכת עובדת
כל כלי עובר מכונת מצבים אכופה בקוד — וכל מעבר נרשם ביומן ביקורת בלתי-ניתן-לשינוי.
ניסוי מובנה
ברירת מחדל: 5 ימי baseline בלי הכלי, 5–10 ימי treatment איתו, ומינימום 10 סשנים לכל תקופה — כולל קבוצת ביקורת אופציונלית.
איסוף נתונים בשני ערוצים
מספרים אובייקטיביים (טוקנים, עלות, סשנים — ידנית או מקובץ ייצוא של ccusage/OTel) לצד אשף דיווח סובייקטיבי עם שמירה אוטומטית.
ציון אימוץ שקוף
חיסכון בטוקנים (35), חיסכון שנתי נטו (25), איכות (20), חיכוך (10), מאמץ התקנה (5) וסיכון אבטחה (5) — משקולות הניתנות לכיוון בהגדרות.
התפקידים במערכת
משתמש יכול להחזיק כמה תפקידים במקביל; כל ההרשאות נאכפות בצד השרת.
מציעים כלים, משתתפים בניסויים לפי פרוטוקול מובנה, מדווחים נתוני שימוש (ידנית או בהעלאת קובץ ccusage) וממלאים אשף דיווח מודרך בסוף כל ניסוי.
מנהל/ת את מרכז הכלים: יצירת ניסויים מתבניות, שיבוץ מפתחים בעזרת מנוע ההמלצות, מעקב אחר עלויות וחיסכון, וקבלת החלטת האימוץ הסופית.
סוקר/ת כל כלי מוצע לפי צ׳קליסט מובנה לפני שמתחילה כל בדיקה: אישור, דחייה או אישור עם מגבלות. רואה יומן ביקורת מלא ותקריות שדווחו.
מאשר/ת את תקציב שעות המפתחים לניסויים של הצוות לפני שהם יוצאים לדרך.
מאשר/ת הרשמות חדשות, מנהל/ת משתמשים ותפקידים, ומכוונ/ת את הגדרות המערכת: משקולות הניקוד, תעריף שעה, גודל המחלקה ועוד.
איך מתחילים
- 1
נרשמים
ממלאים שם, אימייל, סיסמה ופרופיל פיתוח (Backend / Frontend / Infra / Data) בעמוד ההרשמה.
- 2
ממתינים לאישור אדמין
חשבון חדש נכנס לסטטוס "ממתין לאישור"; האדמין מאשר אותו במסך הניהול.
- 3
מתחברים ומתחילים
מציעים כלי חדש במרכז הכלים, מצטרפים לניסוי פתוח, או ממתינים לשיבוץ — וכל ההתקדמות מופיעה בלוח הבקרה האישי.