אני כמעט תמיד מתעצבן כשיש עבודה שטוענת שהיא "מגדירה את ה-Resnet מחדש". בדרך כלל מדובר באיזשהי אקטיבציה חדשה (מישהו שמע מ-Mish?) אבל לרוב יש לעבודות האלה אחת משלוש בעיות: החוקרים ניסו לאמן רק על משימה אחת (בדרך כלל קלסיפיקציה של תמונות) יש איזשהו טריידאוף שהוא לא תמיד ברור (האימון נהיה מהיר יותר, אבל התוצאות פחות … המשך לקרוא ReZero -אלגוריתם לאימון מהיר של רשתות עמוקות במיוחד