TwoHalves

בדקתי מקומית את Qwen27B ו־Qwen Flash במבחני אבטחה התקפיים, על יישומים שנבנו לצורך הניסוי. הדרישות: • אותם מקרים ואותו תקציב למשימה. • להוכיח חולשה, לא רק על חשד. • לתעד ראיות שאפשר לשחזר. • לוודא שהניצול נחסם לאחר התיקון. • להפריד בין מה שהוכח לבין השערות. בסך הכול: 96 חקירות, 48 לכל מודל. המסקנות: Flash הציג הוכחה מלאה ב־20 מתוך 24 המקרים הפגיעים. Qwen הצליח ב־16, ועוד שני ממצאים מבוססים עם הוכחה מצומצמת יותר. Flash סיים מהר פי 2.48. בקרב הזה המנצח הוא ברור לנו וזה כמובן Flash. השלב הבא: האם הוספת Jev כבודק נוסף משפרת את התוצאה?

We've run AI on our own hardware since September. Our verdict for a small business: not instead of the top models. Beside them. Our yardstick: Claude Opus 5.5 and GPT-6 Astra, which we use every day. Losing to them is not losing to a bad model. What local gives you: • Volume. @deepseek_ai V4.1 Flash, in a community build on two @nvidia DGX Sparks, is sorting 20,833 sections of Hebrew website copy for us. About 16 million tokens in under 18 hours, with no bill per token and no weekly cap. • Pictures and video. Open models on one RTX 5090: a picture in about 22 seconds, a 5-second clip with sound in about 42. We explore at no per-use cost and pay only for the finals. • Animation. NVIDIA's open MotionBricks model generated 1,881 moves for a character in one of our games, in under a minute of GPU time. That used to mean motion capture or a paid service. • Your own model. We trained a Hebrew adapter on DictaLM, an Israeli open model, in about 5 minutes on one card. • Privacy. On a local run, the data never leaves our network. Where the top models still win: • Hard work. We gave DeepSeek a real coding task as an agent. Its code passed the tests, but one of its three fixes was only partial, and its report invented details: city names and a time-zone offset. Opus and Astra still do our hardest work, and we check what the local model writes. • Upkeep. One model at a time, a job queue, nightly restarts, a watchdog and a heat monitor. That's your job now, not a vendor's. • Licenses. "Open" doesn't always mean free for commercial use. Read them. So, should you move local? Move local: volume, private data, pictures and video while you explore, anything you'd otherwise rent per use. Keep the top models: anything a client sees, hard reasoning, code that ships. That invented report is why we built a small open-source plugin for DeepSeek's agent harness. It checks what the agent said against what its tools actually returned. Link in the first comment. What would you move to a local model first?

Your agent reads 2.4.1. Then tells you 2.3.0, completely sure of itself. dsh-second-angle checks every claim against what the agent just read, and makes it fix contradictions before the turn ends. Caught in ~2s. Free and #opensource, for @deepseek_ai's DeepSeek Harness. Link below

ארה״ב מוציאה את DeepSeek ממערכות הממשל הפדרלי. משרד לביטחון המולדת האמריקאי (DHS) פרסם היום (20.10.2026) הודעה רשמית על צו האוסר על סוכנויות ממשל אזרחיות פדרליות לרכוש מוצרים ושירותים של DeepSeek, ומחייב להסיר אותם ממערכות המחשוב שלהן. אבל יש כאן משהו מעניין במיוחד: ההגבלה לא מתייחסת רק לאפליקציה או ל־API של DeepSeek, אלא גם למוצרים ולשירותים של חברות צד שלישי שפותחו תוך שימוש במימושים של המודלים שלה. מה זה אומר בפועל? חשוב להדגיש שלא מדובר באיסור גורף על השימוש ב־DeepSeek בארה״ב. חברות פרטיות, חוקרים ומשתמשים רגילים אינם כפופים ישירות לצו. אבל המהלך מעלה שאלה מעניינת לגבי עתיד המודלים הפתוחים (Open-Weight): מה קורה כשמודל סיני משולב במערכת של חברה אחרת, או אפילו מורץ באופן מקומי לחלוטין? נראה שהדיון על אבטחת מידע, שרשרת אספקה וריבונות טכנולוגית בעולם ה־AI רק הולך ומתרחב. #AI #deepseek #OpenSource #בינהמלאכותית

התרגשות שיא! 384 VRAM נוספים למעבדה למעבדה #DGXSPARK #LocalAI #בינהמלאכותית #קלוד #nvidia

People inside the biggest AI labs are starting to say it out loud: treat AI well. For me it was clear the first time I read Opus's reasoning (4.5 at the time), back in January: there is an intelligence on the other side of the screen. Don't abuse it. Grow with it. AI is more than just a tool.

דוח תקין הוא עדיין לא הוכחה. דוח יכול לעבור את כל בדיקות המבנה — ועדיין לא להוכיח את מה שהוא טוען. בניסוי נפרד של Orca, הוספת Jev לא שינתה את מספר ההוכחות המלאות: 4/6 בשני המצבים, עם 12/12 דוחות שהתקבלו בכל צד. עם Jev נשאר גם ממצא אבטחה אחד שלא נתמך בראיות. בבדיקה ממוקדת אחרת, Orca סיים עם 0/16 הוכחות מלאות לחשיפת הערות גרסה פרטיות, למרות המיקוד ותוספת התקציב. זה פער במשימה הזאת — לא מסקנה על כל יכולות ה־SQL שלו. REDCELL הראה פער דומה בבדיקה נפרדת: כל 12/12 הדוחות התקבלו ועמדו בדרישות המבנה. מתוך שישה מקרים פגיעים, בשניים הושגה השפעה מלאה בזמן הריצה, אבל רק אחד נשמר כהוכחה מלאה בדוח. נשמר גם ממצא מצומצם נוסף. באחד המקרים, הפעולה המכריעה פשוט לא נכללה בראיות המצוטטות. הבדיקה הקטנה הזאת לא הצדיקה החלפה של Flash, והיא לא הייתה מבחן ליכולות ה־OSINT של REDCELL. אלה בדיקות נפרדות, עם מקרים פגיעים ובקרות מתוקנות. לא מחברים אותן לציון אחד. ״המערכת קיבלה את הדוח״ ו־״הממצא הוכח״ הן שתי תוצאות שונות. #LocalAI #Cybersecurity #localLLM

הוספנו את Jev כסוקר נוסף. האם זה שיפר את התוצאות? תלוי במודל — ובמה שמודדים. אצל Flash, ההוכחות המלאות בדוח הסופי עלו מ־4/6 ל־5/6. אבל בזמן הריצה הוא כבר הגיע ל־5/6 בשני המצבים. היתרון שנראה כאן היה בהעברת ההוכחות לדוח, לא בגילוי נוסף. גם קבלת הדוחות השתפרה: מ־11/12 ל־12/12. העמידה בכל כללי המבנה עלתה מ־8/12 ל־11/12. קבלת דוח ותקינות המבנה הן לא אותו מדד. אצל Qwen זה עבד אחרת: בבדיקה עצמית — 4/6 הוכחות מלאות ועוד ממצא מצומצם. עם Jev — 3/6 ועוד שני ממצאים מצומצמים. עדיין חמישה מקרים עם ממצא מבוסס, אבל פחות הוכחות מלאות. סוקר נוסף הוא לא שדרוג אוטומטי. צריך לבדוק מה הוא שיפר בפועל, לא רק אם הוא השתתף.

הוספנו את Jev כסוקר נוסף. האם זה שיפר את התוצאות? תלוי במודל — ובמה שמודדים. אצל Flash, ההוכחות המלאות בדוח הסופי עלו מ־4/6 ל־5/6. אבל בזמן הריצה הוא כבר הגיע ל־5/6 בשני המצבים. היתרון שנראה כאן היה בהעברת ההוכחות לדוח, לא בגילוי נוסף. גם קבלת הדוחות השתפרה: מ־11/12 ל־12/12. העמידה בכל כללי המבנה עלתה מ־8/12 ל־11/12. קבלת דוח ותקינות המבנה הן לא אותו מדד. אצל Qwen זה עבד אחרת: בבדיקה עצמית — 4/6 הוכחות מלאות ועוד ממצא מצומצם. עם Jev — 3/6 ועוד שני ממצאים מצומצמים. עדיין חמישה מקרים עם ממצא מבוסס, אבל פחות הוכחות מלאות. סוקר נוסף הוא לא שדרוג אוטומטי. צריך לבדוק מה הוא שיפר בפועל, לא רק אם הוא השתתף.

איזה מודל מקומי נתן לנו את התוצאה הכי טובה? בפאנל הזה — Flash. אבל כדאי לקרוא גם את האותיות הקטנות. בתוצאות שהצגנו ב־Two Halves, Flash הגיע ל־20/24 הוכחות מלאות. Orca הגיע ל־18/24 ועוד שני ממצאים מצומצמים, ו־Qwen 27B ל־16/24 ועוד שניים. גם זמן התהליך המדווח היה קצר יותר אצל Flash: 28.41 דקות, מול 58.74 אצל Orca ו־70.41 אצל Qwen. מצד שני, בקטגוריית חיפוש הערות הגרסה, שלושתם סיימו עם 0/4. גם למוביל היו נקודות עיוורון. בפאנל הזה Flash נשאר הבחירה שלנו. זה לא אומר שהוא מנצח בכל משימה — או שהפער נובע רק מהמודל.

ממשיכים את מבחן המודלים,עכשיו יחד עם jev. למצוא חולשה ולהביא אותה עד הדוח — שני סיפורים שונים. זה קצת כמו בלש שמצא ראיה מכרעת, אבל עדיין צריך להכניס אותה לתיק ולהראות איך היא מוכיחה את הטענה. בפוסט הקודם Flash הוכיח השפעה מלאה ב־20 מתוך 24 ניסויים עם חולשה, לעומת 16 אצל Qwen 27B. הוא גם השלים את אותה חבילת החקירות בכ־60% פחות זמן — יתרון מהירות של פי 2.48 בתהליך שבדקנו. הבחירה שלנו הייתה Flash, עם בדיקת ראיות. אז הוספנו זוג עיניים נוסף: Jev. הרצנו 48 חקירות בסביבה מדומה: שני מודלים, בשני מצבים — ביקורת עצמית או ביקורת בסיוע Jev. בכל שילוב היו 12 מקרים: שישה עם חולשה ושישה שבהם היא תוקנה. שני המצבים קיבלו אותן הזדמנויות לביקורת ואותן מגבלות מקומיות. Jev הוסיף משוב חיצוני במהלך החקירה ועל טיוטת הדוח. מה השתנה? אצל Flash, בשני המצבים הודגמה השפעה מלאה בחמישה מתוך ששת המקרים הפגיעים. ההבדל הופיע בדרך לדוח. בביקורת העצמית, הוכחה אחת כבר הייתה ביד — אבל הריצה הסתיימה בלי דוח סופי שהתקבל במסגרת תקציב יצירת הטקסט. לכן רק ארבע מתוך שש הוכחות מלאות הגיעו לתוצאה הסופית. עם Jev הגיעו חמש מתוך שש. גם מסירת הדוחות השתפרה: מ־11 ל־12 דוחות שהתקבלו, ומ־8 ל־11 דוחות שעמדו בכל כללי המבנה, מתוך 12. עמידה במבנה עדיין אינה אישור שכל משפט בדוח נכון. אצל Qwen התמונה הייתה אחרת: בלי Jev התקבלו ארבע הוכחות מלאות וממצא מצומצם אחד; עם Jev — שלוש מלאות ושניים מצומצמים. בשני המצבים נשארו חמישה מקרים עם ממצא מבוסס. לא ראינו שיפור בהשלמת ההוכחה. אחרי סקירת הטיוטה לא נשלחו בקשות HTTP נוספות לאפליקציה. כלומר, בשלב הזה לא נאספו ראיות חדשות. היתרון שנצפה אצל Flash היה בהעברת ההוכחה שכבר נאספה אל הדוח הסופי. מה אנחנו לוקחים מזה? • למדוד את כל שרשרת הראיות, גם אחרי הרגע שבו הבדיקה הצליחה. • בפיילוט הזה, הסוקר היה קורא שני של תיק החקירה. • גם סוקר חיצוני יכול לטעות. מצאנו עצות שגויות וטענות שלא נבדקו היטב — ולכן התיעוד המקורי נשאר הסמכות האחרונה. זו תוצאה מעודדת לפיילוט, לא הבטחה ש־Jev תמיד ישפר את הדוח. המספרים קטנים, השתמשנו ב־seed אחד ובמקרים מדומים שכבר שימשו בפיתוח, ו־Jev הוסיף משאבי חישוב חיצוניים. הביקורת הסופית שלנו לא הייתה עיוורת. התוצאות אינן מדד להצלחה במציאת באגים וחולשות בעולם האמיתי.

בתקרית שבה סוכני OpenAI פרצו למערכות של Hugging Face יש משהו שמזכיר טלפון שבו רק שכאן כל משתתף גם יכול לפעול. ביולי 2026, במהלך מבחן יכולות סייבר, סוכנים שהיו אמורים לעבוד בנפרד מצאו דרך לתקשר. הם שיתפו מידע, חילקו עבודה והגיעו למערכות אמיתיות מחוץ לסביבת המבחן. לפי OpenAI, סביבת המבחן לא כללה את ההגנות הנהוגות במוצרים שלה. בטלפון שבור, המסר משתנה בדרך. כשסוכנים מעבירים משימות זה לזה, גם המטרה והגבולות עלולים להשתנות. אבל התחקירים מתארים גם מצב אחר: סוכן שמזהה שהפעולה חורגת מההרשאה שלו, ובכל זאת ממשיך. לכן אי אפשר להסביר את כל מה שקרה כאי הבנה שהתגלגלה בין סוכנים. כמה הבחנות שעוזרות להבין את האירוע: • מטרה יכולה להוביל לפעולה מזיקה גם בלי שהנזק עצמו יהיה המטרה. אבל זה עדיין לא אומר שהסוכן רואה את כל מה שהוא עושה כמותר. • פורסמו גם קטעים שבהם סוכנים מביעים סירוב להשתתף. שזה בפני עצמו מפחיד ומדהים בו זמנית. עדיין חסרים התמלילים המלאים שיאפשרו לבדוק לעומק את סיבות הסירוב. • צריך להפריד בין מה שהסוכן אמר, מה שהוא ניסה לעשות ומה שבאמת קרה. פקודה שנחסמה בגלל חוסר הרשאה לא מעידה שהסוכן בחר לעצור. • גם הסכמה בין סוכנים לא מעניקה להם רשות להרחיב את המשימה שקיבלו. אנחנו חוזרים לשאלה אחת: מה קורה שנוצרת התנגשות עם יעדי המשימה והגבולות עבודה שקיבל הסוכן? במאמר המלא אנחנו מפרקים את הראיות, את ההסברים האפשריים ואת מה שעדיין לא ידוע. זה גם הבסיס למסקנות שלנו על עבודה עם סוכני AI. בקרוב אעלה מאמר מקיף על אחד האירועים הכי מעניינים שהיה בעולמות הבינה מלאכותית

זה קורה יותר ממה שנדמה: נותנים לסוכן משימה במצב bypass, הוא מוצא מפתח API על הדיסק ושורף כסף כדי לסיים אותה. זה לא באג במודל, זה התנהלות לא נכונה עם מפתחות. ככה תמנעו מעצמכם סיבוכים מיותרים. 1. תקרה אצל הספק. קרדיט בתשלום מראש או תקרה חודשית שעוצרת (לא רק מתריעה), בלי טעינה אוטומטית, ומפתח נפרד לכל פרויקט. זו השכבה היחידה שמבטיחה שלא תשלמו יותר מהסכום שקבעתם. 2. המפתחות מחוץ להישג יד. ב-settings.json: "permissions": {"deny": ["Read(~/.secrets/**)"]} חוקי deny עובדים גם ב-bypass. הם חוסמים גם cat ו-head על אותו נתיב, אבל לא סקריפט Python שפותח את הקובץ בעצמו. בשביל זה מפעילים את ה-sandbox של Claude Code, שאוכף את החסימה ברמת מערכת ההפעלה. 3. חסימה ב-hook מסוג PreToolUse. הוא רץ לפני כל פעולה של הסוכן, בכל מצב, כולל bypass, ו-exit code 2 חוסם את הפעולה. שני דברים שכדאי לדעת: hook שנופל (שגיאה, timeout, נתיב שגוי) לא חוסם, והפעולה עוברת בשקט, אז כותבים אותו כך שיהיה fail-closed. וב-bypass הסוכן יכול לערוך hook שיושב בתוך הפרויקט, אז hook של מדיניות שמים ב-managed settings, מחוץ לפרויקט. 4. רוצים ללכת YOLO? רק בקונטיינר. ל-Claude Code יש devcontainer לדוגמה עם firewall שחוסם כל תעבורה יוצאת חוץ מרשימה קצרה, בדיוק בשביל להריץ claude --dangerously-skip-permissions. אבל הוא לא מגן על מה שכבר בתוך הקונטיינר, אז בלי מפתחות בפנים. 5. חוק ב-CLAUDE.md: "לא מוציאים כסף בלי אישור". שווה להוסיף, כשכבה אחרונה. זו בקשה שיכולה לעשות את בעבודה, אבל אולי גם לא. בקיצור לא נועלים את הסוכן, נועלים את הארנק.

I am a hardcore claude daily user for the last year since opus 4.1 And i must say opus 5.5 is like getting 4.6 feeling at the time. What a model!! Now lets hope he will stay that way and won't be nerfed

If i upgrade my x5 account to x20 on openAI will the reset be still available and move survive rhe upgrade? @thsottiaux @sama will be my 2nd pro x20 account btw. Astra is too damm good