כל המחשבים בבית רעדו
Follow
Nir Ben-Zvi
@nir_benz
Twin girl dad. Deep Learning Consultant. I help companies with ML & computer vision.
Ex: trigo, Amazon, Disney.
Also: Pizza, whisky, art.
Nir Ben-Zvi’s Tweets
וואו חלום שלי לחיות בטיימליין שבו מתקיימת ״האימפריה ההסבורגית החדשה״.
6
1
23
גוגל ריסרצ׳ שיחררה בשקט-יחסית עוד עבודת text-to-image שמעיפה את המוח; עריכת ווידאו באמצעות מודלי דיפוזיה. יצירה של ווידאו מתוך מספר תמונות, עריכה של ווידאו באמצעות טקסט ועוד. תראו את הווידאו, ג׳יזס.
כל החוקרים מגוגל ישראל ומהעברית.
dreamix-video-editing.github.io
9
10
129
לפי דיווחים, גוגל משקיעה 300M$ (מתוך סה״כ 580M$ שהושקעו בסבב) ב-Anthropic, סטרטאפ שמפתח מודלי שפה ומתיימר להתחרות ב-OpenAI (ובדומה אליהם בתחילת הדרך, מדבר על AI safety, equality וכו׳).
אגב, אפשר כבר להירשם לבטא של הגרסא שלהם ל-ChatGPT שנקראת Claude.
Quote Tweet
We're excited to use Google Cloud to train our AI systems, including Claude! anthropic.com/news/announcem
3
1
20
עדין פחות קר מירושלים בפברואר
Quote Tweet
1
7
תגידו, מה עושים כדי שתותים יחזיקו יותר מרבע שעה אחרי שנרכשו?
לחילופין: מוזמנים להיכנס איתי ברבע קילו תותים. ת״א, פרטים בפרטי.
26
1
43
אגב הציוץ הזה הוא מהפכה השקולה להכרזת האייפון
19
Show this thread
״מדובר במהפכה השקולה להכרזת האייפון״ - כל הכרזה טכנולוגית שריגשה מעט מעל הממוצע מאז 2007.
8
98
Show this thread
ואי אפשר בלי להתלהב מזה שאיליה סוצקבר ישראלי-לשעבר ועשה את התואר הראשון שלו בפתוחה
1
10
Show this thread
סערה ב-HN ועולם ה-ML: ג׳ון קרמק סיפר בראיון שנפגש עם איליה סוצקבר (chief scientist ב-OpenAI) וקיבל ממנו רשימת מאמרים ש-״If you really learn all of these, you’ll know 90% of what matters today.״.
כמו כולם אני סקרן מאוד מי המאמרים שנבחרו
news.ycombinator.com/item?id=346413
3
14
Show this thread
ראיתי כאן מישהי שממש רבה בציוצים עם בוט. הן ממש צ׳ילבוט.
4
42
הגיבור שמגיע לנו
Quote Tweet
לפני איזה חודש, @ItaiS ואני ישבנו ואכלנו פיצה ועלה לנו רעיון הבא: לארגן ערב שבו שמונה אנשים עוברים בשמונה פיצריות, אוכלים סלייס אחד בכל מקום, ואז מחליטים מהי הפיצרייה הכי טובה בעיר.
אז הכנתי מפה, הערב זה הערב, והגשם לא יעצור אותנו.
Show this thread
13
מצטרף לממליצים, זה פרק מצוין.
5
לא תוצאה מפתיעה (לדעתי) אבל עדין תוצאה מעניינת; מסתבר שאפשר לשחזר בקלות יחסית תמונות מה-train set של מודלי text-to-image. מעבר לבעיית הזכויות יוצרים העצומה, זה מאתגר את התפיסה שהמודלים האלה ״לומדים ליצור״ ולא פשוט זוכרים בע״פ כל מה שהם ראו על מנת לחבר בין תמונות בצורה חכמה.
Quote Tweet
Diffusion models can be made to regurgitate training data.
This adds fuel to the lawsuits Microsoft/OpenAI/StabilityAI are currently facing.
And prominent AI researchers like Yann LeCun said these things get inspired like human artists do yet they are just lookup tables.
Show this thread
4
14
אני מת
Quote Tweet
הדבר הכי גולנצ'יקי שאי פעם גוליין twitter.com/RotterNet/stat…
2
קבוצת חוקרים מאוניברסיטת מרילנד מציעה פיתרון אלגנטי בטירוף שמאפשר לייצר watermark לטקסטים שיוצרו ע״י מודלי שפה גדולים (כלומר, מאפשר לייצר טקסט בצורה שמאפשרת לבדוק אם הוא אנושי או לא בקלות).
Quote Tweet
#OpenAI is planning to stop #ChatGPT users from making social media bots and cheating on homework by "watermarking" outputs. How well could this really work? Here's just 23 words from a 1.3B parameter watermarked LLM. We detected it with 99.999999999994% confidence. Here's how 
Show this thread
10
28
הייטקיסטים: פחחח איזה זוג מפגרים אין להם מושג מהחיים שלהם!
גם הייטקיסטים: יש לי דיעות מוצקות על אפידמיולוגיה והמלחמה באוקראינה
Quote Tweet
ינון: "איזו הוצאת כסף מישראל? עינת גז ממש 'ענקית ההייטק', סטארט-אפ שלא הונפק. היא מפגינת שמאל מטוללת. הרפורמה תעבור, אתם יכולים לקפוץ".
בן: "תבדוק קצת מה זה פאפאיה, שזה הדבר הכי מוערך היום בהייטק. היא לא הנפיקה משיקול אסטרטגי". @BenCaspit @YinonMagal
6
30
Quote Tweet
למה אני טוען ש-״פריצת הדרך המשמעותית ביותר מאחורי Dall-E 2 היא CLIP״?
הגיע הזמן לשרשור על CLIP, או בשמו המלא, Contrastive Language-Image Pre-Training, והסבר על איך בעצם מגיעים דרכו מטקסט לתמונה.
>>
Show this thread
1
17
Show this thread
>> מסתבר שאם נבנה מודל *חדש* כך שידע *להפוך* את הייצוג הזה חזרה לתמונות, ו*נאמן* אותו מול אותם מיליארדי תמונות ש-CLIP אומן עליהן - נקבל את היכולת לייצר תמונות חדשות עבור תיאורים שלא היו חלק מהדאטא המקורי.
המודל הזה נקרא unCLIP, והתהליך כולו נקרא Dall-E 2.
1
35
Show this thread
>> אז אם שכנעתי אתכם שההבנה הויזואלית של CLIP משוגעת, נשאל שאלה חדשה; מה משמעות ה״ייצוג״ של CLIP עבור משפט מורכב שמתאר סיטואציה מסוימת, שהוא לא נתקל בה? ובכן, זו שאלה טובה!
>>
1
15
Show this thread
>> מסתבר ש-CLIP גם ״מבין״ מדהים את הקשר בין תיאורים גרפיים לבין איורים שלהם. קשר שנעשה בו שימוש בעבודה בשם CLIPasso, שם CLIP שימש כדי לייצר איור אבסרקטי של דימויים שונים.
>>
1
16
Show this thread
>> בגלל העושר העצום שקיים במאגר של מיליארדי תמונות, CLIP הוא מודל כללי שפשוט ״מבין״ תמונות. למרות שלא אומן על אף סוג ספציפי של דאטא, המודל מכיר סוגים שונים של אוכל, בעלי חיים, ביגוד, טקסטורות, סגנונות איור, כלי שיט, מפורסמים ועוד.
>>
1
16
Show this thread
>> אם ניקח תמונה של גוואקמולה, יחד עם המשפט ״זוהי תמונה של גוואקמולה״ - המודל אמור לספר לנו שה״מרחק״ בניהן אפסי. כלומר, המשפט והמלל אכן מתאימים. כמובן שזה לא *כזה* פשוט וצריך לבנות את המשפט בצורה חכמה (וכמובן לבנות משפט מתאים לקטגוריות אחרות).
>>
2
16
Show this thread
>> מסתבר שהמודל שהתקבל בעל המון יכולות מרהיבות. למשל, zero shot. כזכור, המודל לא קיבל דאטא מתוייג והוא לא יודע מה זה כלב. אבל הוא כן יודע להתאים משפטים לתמונה מתאימה ולהיפך.
>>
1
16
Show this thread
>> חשוב לעצור רגע ולהבין שמדובר בטקסט חופשי ושלפעמים הקשר לתמונה קלוש. תמונה של יער שמופיעה בכתבה על פסטיבל מוזיקה? תמונה של בניין משרדים בכתבה על מסעדה חדשה? וכמובן שאותה תמונה לפעמים מופיעה מאות פעמים עם טקסטים שונים. הדאטא הזה *רועש*, אבל הוא לא דורש שום תיוג ידני.
>>
1
16
Show this thread
>> באו OpenAI ואמרו ״ומה אם נאמן מודל שמבין את המרחק בין תמונה לטקסט שמתאר אותה?״.
אז נלקחו להן כמה מיליארדי זוגות טקסט+תמונה מרחבי האינטרנט. מודל אחד מייצר ״ייצוג״ עבור התמונה, מודל שני מייצג ״ייצוג״ עבור הטקסט, ו-CLIP מייצג עבורם ייצוגים שיהיו ״קרובים״ או ״רחוקים״ בהתאם.
>>
1
18
Show this thread
>> נתחיל מ״למידת מרחקים״. לפעמים נרצה מודל שמבין את הדמיון בין אובייקטים שונים מאותו ״סוג״.
למשל, עבור פרצופים נרצה מודל ש״יבין״ שה״מרחק״ בין שתי תמונות של אותו אדם *קטן* מהמרחק בין שתי תמונות של אנשים שונים. נכון כשגוגל Photos מקבץ תמונות של אנשים ביחד? ככה זה קורה.
>>
1
1
21
Show this thread
למה אני טוען ש-״פריצת הדרך המשמעותית ביותר מאחורי Dall-E 2 היא CLIP״?
הגיע הזמן לשרשור על CLIP, או בשמו המלא, Contrastive Language-Image Pre-Training, והסבר על איך בעצם מגיעים דרכו מטקסט לתמונה.
>>
7
8
163
Show this thread
Representation matters
351
41.5K
418.2K
>> הטקסט לפעמים ״לא קשור״ לתמונה ותמונה אחת יכולה לחזור מאות פעמים עם טקסט שונה.
נחזור להתחלה - OpenCLIP מגיע ל-80% הצלחה על ImageNet. עד ממש לא מזמן זו הייתה התוצאה של המודלים הטובים ביותר שאומנו על מליון תמונות ש*הותאמו ידנית* לאחת מ-1000 קטגוריות. הישג מדהים.
7
Show this thread
>> בציוץ פה מעל מוצג אימון מחדש של OpenCLIP - גרסאת קוד פתוח של CLIP (שזמין בקוד פתוח אבל ללא הדאטא עליו אומן) שאומנה מחדש על 2 מיליארד (!!!) זוגות של תמונות וטקסט חופשי שנכרו מהאינטרט. הדאטא לא אומת ולא נוקה, ובוודאי שלא תוייג באיזשהי צורה. >>
1
7
Show this thread
זירו-שוט היא היכולת לקחת מודל ML ו*ללא כל אימון מחדש* לקבל מודל שמצליח מעולה על משימה אחרת שלא אומן עליה ודורשת תיוג מורכב. על CLIP כתבתי בעבר, אבל אתזכר; זה ה״מנוע״ שמאחורי דאלי2, StableDiffusion ו-Midjourney (ובעצמו עבודה מטורפת של OpenAI).
>>
Quote Tweet
3
28
Show this thread
ג'יזס, זו חתיכת הצהרה מהד אוף פרודקט ב-OpenAI. אבל אחרי הציוץ החמוץ של יאן לקון מישהו היה צריך להגיד את זה כבר.
Quote Tweet
On the one hand, I feel for @ylecun and Meta/Google researchers. Not seeing your research released in usable products due to big tech bureaucratic bs would be hard to stomach. Yet what they have released has been so fumbled it suggests a profound ignorance about shipping product
Show this thread
2
36
מנגד, הנקנקיות באמת צפות כשהמים רותחים.
Quote Tweet
טוב, הגיע הזמן לשבור את המיתוס המטומטם הזה: לא, לא הכי חשוך לפני עלות השחר. דווקא יש טיפה אור. ב-12 בלילה הרבה יותר חשוך. תאמינו לי, עשיתי מלא שמירות בשעות האלו
Show this thread
1
4
דל״פ (?): אלרגי לאנשים שקוראים לעצמם ״מומחה״ בכל מקום שהוא לא הלינקדאין שלהם. בפראפרזה על ת׳אצ׳ר - If you have to tell people you are, you aren't.
Quote Tweet
הוא קורא לעצמו מומחה ChatGPT 
5
31
Imagine it's Sunday morning. You've been allowed to sleep in as long as you want, and you have no chores or responsibilities all day. There's fresh fallen snow on the ground. Your mom makes Cinnamon rolls and serves you breakfast. But you're almost 3, so you are blind with rage.
359
10.8K
152.1K
Show this thread
נראה שהמעצבים הגרפיים כבר שובתים
1
2
93
די לינקדאין די
1
36
או בחוזי עבודה, NDAs. מעוניין מאוד.
Quote Tweet
imagine a ChatGPT browser extension that reads the Terms and Conditions agreement and flags anything that is non-standard
Show this thread
3
10