קרן התוכנה של אפאצ'י

.

קרן התוכנה של אפאצ’י (ASF) הוא ארגון צדקה ציבורי 501(c)(3) המוקדש לקידום ופיתוח של תוכנת קוד פתוח. ב-8 השנים שבהן שירתתי כמנהל מערכת של ה-ASF, התשתית שולשה הן בגודל והן בהיקף. הלכנו ממכונות חצי הקבינט ב-2006 ליותר מ-4 ארונות בשווי של 2014, והתחלנו בתהליך של התרחבות לענן.

כשהתחלתי לעבוד באפאצ’י ב-2006, הנושא הקשה ביותר היה שירותי הדואר הנכנס עמוסים מדי. הארגון טבע בספאם, וב-1.5 מיליון חיבורים נכנסים ליום הוא עלה על המשלוח היוצא של הארגון והדהים את התוכנה. המשימה הראשונה שלי הייתה לפתור את המצב הזה, אז מה שעשיתי היה גישה כפולה: שדרוג ראשון. Qpsmtpd אל אפאצ'י::Qpsmtpd, mod_perl גרסה ניסיונית שממירה httpd לתוך שרת דואר נכנס.

אפאצ'י::Qpsmtpd צריך כמה תיקונים כדי להפוך אותו מתאים לשירות ארגוני, אשר סיפקתי. זה טיפל בדאגות המיידיות סביב העומס המוחץ על השירות, אבל אם מגמות הצמיחה ימשיכו זה אומר השקעות מתמשכות יותר
וחומרה ותוכנה טובים יותר, בעיקר כדי לתת שירות לכל הגידול בחיבור לספאם. אפילו ניסינו מאמץ ננטש לפרוס האצהאשר על ציוד אפל לא היה יציב מספיק עבורנו כדי להגר בשנת 2006. האצה (כיום ידוע בשם מומנטום מאת מערכות הודעותהיא תוכנה מהונדסת להפליא, עם איזון מרשים של לולאות אירועים, הליכי משנה של עובדים ונקודות הרחבה, אבל בסופו של דבר overkill עבור ASF. פתרונות קוד פתוח היו “טובים מספיק”.

הזן את החלק השני של הגישה שלי: ניסיון להניא ספאם מלכתחילה להכות את שרתי הדואר של ASF. זה מעורב תיקון Qpsmtpdשל מוקדמים תוסף שיופעל ב- נתונים שלב, בשילוב עם אשרור העיכוב עד 20 שניות - סכום גבוה אך נסבל עבור כל סוכני מסירת הודעות תואמי RFC. זה היה איזון עדין כמו רמות ספאם עלה ל 2 מיליון אז 2.5 מיליון ליום, כי מוקדמים העיכוב הגדיל את רמות המקביליות 4-5 פעמים מעל רמות “נורמליות” ואת הספאם המשיך לגדול. דחפנו httpdשל MaxClients הגדרות במהלך תקופה זו, אפילו עד לנקודה של צורך בהידור מותאם אישית httpd כדי להעלות את הגבול המהודר, אבל אחרי כמה חודשים התחלנו לראות שיפורים מדידים.

בדרך כלל מוקדמים פועל לפני שהבאנר מועבר, שהוא suboptimal כאשר התוסף הראשי שלך לטיפול בספאמרים סובב סביב רשימות שחורות dns. רץ מוקדמים כמה שיותר מאוחר ב SMTP משמעות המושב היא כי תוספים אחרים, מהר יותר, אנטי ספאם יכול להפיל את החיבור בהקדם האפשרי, לפני העיכובים התחילו לבעוט ולקשור את httpd ילדים. גם ספאם לשלם את מחיר עיכוב זה עבור כל הודעה שנשלחה כאשר מוקדמים ריצות ב נתונים שלב, לא רק על אתחול של חיבור וזה מה שקורה כאשר אתה מריץ אותו לפני הבאנר. במילים אחרות, אין דרך לעקוף אותו אלא על ידי שליחת רשימת נמענים ארוכה שעשויה לעורר כלים אחרים נגד ספאם.

מעל 8 שנים, ההשפעה האקולוגית שלי מוקדמים ההתאמות היו ברורות: הפסקנו את מספר חיבורי הספאם הנכנסים היומיים פי עשרה, עד סביב 150K ליום, מפוזרים על פני שני שרתים. Spammers היו פשוט להפסיק של שליחת הודעות apache.org, וזה היה הפתרון הטוב ביותר נגד דואר זבל אפשרי.

מעבר למטלות השגרתיות העומדות בפני כל מנהל מערכת, ההישג העיקרי השני שלי ב-ASF היה יצירתו של מנהל המערכת. אפאצ'י. הסיבות וההיגיון שמאחוריהן היו מתועד, אך חשוב לציין שהתוכנה פותחה במהירות על פני תקופה של 3 חודשים לפני שנלחצה לייצור עבור אתר האינטרנט של http://www.apache.org/. זה השיג פופולריות בתוך ASF מעבר לציפיות הפרועות ביותר שלי: מעל 100 פרויקטים כיום מסתמכים על זה עבור צרכי האתר שלהם. היא יורדת לאתרים קטנים אך מורכבים כמו אפאצ’י טריפט, תוך התרחבות כדי לענות על הצרכים של אתר 5GB כמו OpenOffice.org.

נהניתי ממרבית זמני לשרת את הצרכים של קהילת אפאצ’י, אבל אחרי 8 שנים הגיע הזמן לשינוי. אני תמיד אסתכל בחיבה על הזיכרונות והחברים הרבים שעשיתי שם ומאחל לאפאצ’י את כל הטוב ביותר.