אינטרנט ישראל
Link
click to show
click to show
בוקר מעולה, פוסט ממש ממש חמוד אבל טכני מאד על... CDP. מה זה? Chrome DevTools Protocol Protocol. התשתית שנמצאת בכל כרום ומאפשרת גם לכלי המפתחים לעבוד וגם לכלי אוטומציה של דפדפנים כמו פליירייט, פאפיטיר או סלניום הותיק. כרום מחצין אירועים ומקבל פקודות באמצעות הפרוטוקול. לא מזמן עבדתי על יישום כלשהו שקשור להפעלת דפדפן מרחוק עם LLM וכמובן שנכשלתי כי הפאפיטיר השתבש. במקום לבכות... טוב, בכיתי וקורסור/גיטהאב קופיילוט לא עזר לי ורק הכניס אותי למחילות ארנב. אבל אז נזכרתי שהכוח שלי זה לא רק להקליד פרומפטים אלא להבין וצללתי פנימה, איתרתי את הבעיה ב-CDP ופתרתי את הבעיה. היה כל כך מעניין שהייתי חייב לדחוף את המאמרים האחרים ולהכניס אותו. יש גם סרטון ארוך שבו אני עף על כל הסיפור הזה. באמת מעניין!
https://internet-israel.com?p=11912
--
פוסט מעניין מאד שכתב ידידי והקולגה שלי אלכס אברבוך (לא השף!) על טקטיקות פשוטות וקלות להאצת אפליקציות שמשתמשות ב-LLM כבסיס. הוא סוקר 8 דרכים כאלו. למשל מדידה מדויקת של TTFT ו-TPS (ומה זה בדיוק), קיצור פרומפטים ופלטים, איחוד משימות לקריאת API אחת, שימוש במודלים קטנים או לוגיקה פשוטה למשימות בסיסיות, הפעלת סטרימינג לטובת משוב מיידי, ניצול מקביליות, אחסון תשובות דומות ב-Semantic Cache, ואף חיזוי מוקדם של ענפים סבירים (Branch Prediction) – כל אלה, בשילוב נכון, מקצצים את זמן ההמתנה מ-10–15 שניות לכדי שברירי שנייה, ומשנים את חוויית המשתמש מ״מחכה״ ל״מיידית״.
https://medium.com/cyberark-engineering/zero-wait-llms-8-proven-ways-to-slash-genai-latency-a5f6cfe3d5a9
--
טוב, נצחק קצת מצרות של אחרים: לפני שבועיים, הארגון הבינלאומי למחקר קריפטולוגי (IACR), שמאגד את מיטב המוחות בעולם ההצפנה והאבטחה, ערך בחירות להנהלה באמצעות מערכת מתקדמת שך הצבעה דיגיטלית מאובטחת בהצפנה ששומרת על פרטיות מוחלטת ומאפשרת אימות תוצאות. הכל עבד חלק עד הרגע האחרון: שלושה נאמנים החזיקו כל אחד חלק ממפתח הפענוח, כדי למנוע קנוניה, אבל אז קרה הבלתי ייאמן״ אחד מהם, החוקר הוותיק מאיבד את החלק שלו בטעות אנוש פשוטה ובלתי הפיכה. התוצאות נשארו מוצפנות לנצח, הבחירות בוטלו, והארגון נאלץ להכריז על סיבוב חוזר (עד 20 בדצמבר), תוך שינוי מדיניות ל-2 מתוך 3 מפתחות כדי למנוע אסונות כאלה בעתיד. לא נעים ולא נורא… Read in full →
7 · 6.9K ·