А можно объяснить человеку что вокруг него сплошные негодяи из-за которых он страдает. Поэтому он должен брать власть в свои руки, чтобы его не третировали нехорошие люди.
Стали объяснять женщинам какая у них тяжелая и безрадостная жизнь под мужским гнетом. Какие негодяи и подлецы мужики, которые не хотят учавствовать в домашних делах, не готовят, не рожают, живут на всем готовом в любви и неге. И абсолютно не ценят беззаветную преданность женщин, их домашнюю работу и заботу. Стали устраивать ток шоу, на которых мужики плачут и рассказывают какие они негодяи просто потому что они родились мужиками и не заботятся, не ценят, ничего не делают, живут на всем готовом.
Единственный вариант существования уважающей себя женщины в таком мире - это полная независимость от скомпроментировавших себя мужчин. Пошел процесс так называемой эмансипации.
В принципе - очень похоже на СССР где и мужчинам и женщинам дали равные права. Отличие только в одном - в СССР - и мужчины и женщины понимали что они делают одно дело, содержат семью, выращивают детей. Жизнь поодиночке возможна, но будет гораздо тяжелее чем жизнь вместе.
В Америке же был выбран другой акцент. Женщины - гораздо лучше мужчин и поэтому им негоже зависеть от последних. В результате пошла дискриминация уже по половому признаку. В школах например нередко бывает что девочки начинают воспринимать себя лучшим полом, парней искренне считают париями. Парни же в свою очередь учатся тихо ненавидеть девочек. За такое отношение. Естественный эффект от этой политики - разрушение института семьи. Семья стала не нужна ни тем ни другим. Зачем семья если люди полностью независимы друг от друга не ценят и не уважают своих партнеров.
И как то за всем этим политическим бредом потерялось понимание того что у мужчин и у женщин права могут быть одинаковые, но физически и ментально они разные. И это здорово, иначе человечество бы не выжило. А так как они разные - у них есть свои слабые и сильные стороны. Глупо требовать чтобы женщина забивала сваи и таскала грузы наравне с мужчинами. Так же глупо от мужчин требовать вышивать крестиком. В каких то отраслях есть преимущество у женщин, в каких то у мужчин. И это нормально. В любой ситуации надо трезво оценивать свои слабые и сильные стороны и умело ими пользоваться. А не яростно бороться за равенство. Ненормально - это когда женщина начинает уподобляться мужчинам, а мужчины начинают вести себя как женщины.
В принципе предпринятые меры позволили во многом решить проблему женской дискриминации. Домашнее насилие в современной Америке - выглядит как исключение. Прием в вузы и на работу тоже проводится на конкурентной основе. Возможны какие то отклонения - но повторяюсь - это скорее исключение чем правило.
Но тем не менее борьба за равноправие продолжается и сейчас, 50 лет спустя. Есть целый ряд женских организаций, которые занимаются тем что пытаются улучшить жизнь женщин. Помогают с трудоустройством, отслеживают статистику сколько женщин и где работает. Как только находят денежные отрасли где работает мало женщин - устраиваются публичные разборки, принимают законы которые заставляют компании набирать на эти позиции женщин.
Хорошо это или плохо… Давайте зададимся вопросом - что будет если все начнут бороться за свои права. Так же как сейчас к примеру борются женщины в Америке. Китайцы, индусы, немцы, русские, французы. Будет ли комфортно жить в таком мире - где любая общность гребет под себя без оглядки на окружающих. Конечно нет - все эти движения будут вызывать протест окружающих. Если кто то борется за свои права а остальные не борются - эта группа людей начинает наживаться за счет остальных. Ресурс ограничен - а любая борьба приводит к перераспределению этого ресурса в пользу борцов. К примеру - казалось бы невинная борьба за равенство числа женщин среди разработчиков ПО. Чем это плохо. Плохо это тем что когда начинают принимать людей на позиции не лучших в своем деле, лучших для компании, а согласно половому или национальному признаку то появляется большое число людей которые не могут справиться со своими прямыми обязанностями. Это приводит к токсичной атмосфере в коллективе - где есть целый ряд выделенных людей которым прощается их некомпетентность. Остальные смотрят на них и думают - если им можно то и мы не будем напрягаться. В конечном счете страдает бизнес, страдает страна - страдают все живущие в этой стране. В выигрыше оказываются буквально единицы, получают они за счет этой борьбы копейки - а страна из-за их активности терпит миллиардные убытки. Если в других странах такой борьбы нет - они выигрывают.
Была в России такая партия - партия пива. Они поставили своей целью - обеспечить население пивом хорошего качества. Обеспечили и объявили о самороспуске - так как поставленная цель был выполнена. Было бы хорошо чтобы и остальные партии давали четкие ориентиры чего они добиваются и прекращали свою деятельность после выполнения задачи. Зачастую в какой то момент деятельность движений становится контр продуктивной. И их деятельность необходимо прекращать.
Я в общем ничего не имею против того чтобы продолжалась борьба против дискриминации. Но это должна быть борьба против дискриминации в целом, борьба за лучшую жизнь общества в целом а не борьба за лучшую жизнь женщин, китайцев, украинцев, евреев каждого в отдельности. В какой то момент можно сфокусировать усилия на решении конкретной проблемы, если обнаруживаются существенные проблемы с данной категорией людей которых нет у остальных. Но после решения проблемы (когда проблемы пострадавшей категории уже не выделяются на фоне остальных категорий), работу этой целевой группы надо прекращать и возвращаться к отслеживанию, исправлению ситуации в целом. Я против того чтобы под видом борьбы с дискриминацией пытались отбирать ресурс у окружающих - как это постоянно происходит сейчас.
С афроамериканцами судя по всему было проще. В 1968 году запретили дискриминационные законы - только для белых, дали им равные права как и остальным. На этом и успокоились - вот вам права, дальше действуйте как хотите. Не дали им цели и стимула для полноценного вливания в общество. В результате афроамериканцы так нормально и не влились в производственные цепочки. Особо не стремятся получать образование, многие из них объединяются в банды, и живут криминалом по своим законам. Так проще, так привычней.
В результате многие из них до сих пор чувствуют себя оторванными от остальных американцев, противопоставляют их себе, достаточно сильно их не любят. Что не может не приводить к социальным конфликтам.
По хорошему эту ситуацию должны были бы увидеть группы борьбы против дискриминации, организовать группу помощи афроамериканцам. Выяснить что происходит, какие причины. Что и как можно исправить, так чтобы ситуация нормализовалась и поддерживаюсь в будущем без внешнего вмешательства. Основная цель - добиться того чтобы афроамериканцы участвовали в развитии общества наравне со всеми, и как результат - улучшение их уровня жизни. После решения проблемы - группу распустить, переориентировать на решение других проблем.
Бедные и богатые
В Америке 60-ых годов было огромное количество людей за чертой бедности. Чтобы снизить социальную напряженность в обществе президент Джонсон объявил войну бедности в 1964 году. Это позволило снизить процент людей за чертой бедности с 17% в 1964 до 11% в 1970. С тех пор он находится примерно на одном уровне.
В данный момент отношение к этой программе противоречивые. Какой то результат получен, но дорого и не идеально.
Основная претензия - борьба с бедностью в основном велась прямыми денежными переводами бедным людям - программа wellfair. Либо прямая помощь - покупка и раздача еду. Какие то льготы на жилье, работу, прочее.
Есть хорошая поговорка в Америке - хочешь помочь человеку - дай ему удочку. Если даешь ему рыбу - ничего хорошего не будет. Людей приучают к мысли что можно жить ничего не делая, просто за счет пособия. Зачем работать, учиться. Можно и так прожить. Положительная обратная связь, правда результат не тот которого бы хотелось достичь.
На пособие начинает жить достаточно большой процент населения, их дети идут по стопам родителей. Порочный круг.
Правильным подходом было бы как и в случае с дискриминацией - выделение рабочей группы. Она должна была бы изучить состав населения за чертой бедности. Причины по которой они здесь оказались. Выяснить что можно сделать чтобы дать им возможность зарабатывать деньги и достойно жить. Пособие в этой ситуации будет играть скорее деструктивную роль демотиватора - хотя возможно для определенных групп и правильно (инвалидов, пенсионеров).
Далее как дела делаются в бизнесе - выделяется пилотный проект. Целевая группа которой пытаются помочь, ограниченное число денег. Тестируется эффективность придуманных подходов на целевой группе. На основе полученных данных - делается оценка как можно помочь большему количеству людей. Желательно при этом использовать методы конкуренции - сделать конкурс в которых принимают участие несколько команд каждой из которых может быть выделен одинаковый бюджет. Сравниваются результаты, берется в разработку парочка наиболее перспективных. Выделяются большие деньги только под проекты с известным заранее результатом.
Разработка подходов - должна делаться профессионально - людьми которые специалисты в данной отрасли с поддержкой от волонтеров. Возможно привлечение и чисто волонтерских организаций.
Другой принцип - принцип итерационного приближения. Если дело новое - незнакомое, сразу получить хорошее решение очень тяжело. Есть масса факторов, которые могут привести к непредсказуемому результату. Поэтому при разработке новых технологий очень важен итерационный подход. Делают одну попытку. Разбирают результат - что получилось хорошо, что не очень. Делают вторую попытку. И уже к третьей - четвертой итерации удается найти правильное решение.
Не просто вложили денег, сделали и используем это всегда. Сделали - проанализировали результат, сказали что нравится что не нравится. Сделали еще раз - и так до тех пор пока не будет видно очевидных путей улучшения.
Примером такой разработки в бизнесе - можно взять разработку воркфлоу - скедулера который по времени будет выполнять разные задачи - индексировать, править ошибки, вычислять статистику и прочее и прочее. Исходно задача решалась с помощью системной крон джобы. В операционную систему встроена система которая может запускать задачи по таймеру. Но пользоваться ей неудобно. Нет веб интерфейса, язык задачи заданий - достаточно убогий. Нет поддержки перезапуска, мониторинга и так далее. С появлением хадуп и спарк - во многих компаниях возникла потребность в такой системе, с отслеживанием ошибок выполнения и перезапуском.
Одновременно задачу стали решать в 3-х компаниях (конкурсная основа).
Apache (oozie), LinkedIn (Azkaban), Spotify(luigi). Идея интерфейса была заложена одинаковая - веб интерфейс чтобы можно было запускать, следить за задачами. Отличие было в исполнении и языках имплементации. Azkaban - самый большой и тяжелый проект (100М в гит) был написан как джава веб приложение, которое через свой веб интерфейс позволяет настраивать задачи. Легок в использовании, тяжел в настройке - за счет джавы. Не очень гибкий
Oozie - более легкий проект (50М) написанный тоже на джаве, с конфигурацией настраиваемой в виде xml файла. Использует DAG (графы) для описания задач. Настройка, использование тяжелое (xml, java) - но обладает огромной гибкостью.
Luigi - самый легкий проект из всех (20M). Его разрабатывали в отличие от остальных проектов с жесткими лимитами по ресурсам. Цикл разработки сделали очень коротким. Взяли в качестве языка разработки - питон чтобы можно было быстрее и легче писать коды. Было сделано несколько подходов к разработке - сначала пытались писать на питоне интерфейс с задачами… в конце остановились на модели - они пишут библиотеку на питоне которой можно пользоваться для описания задач (работа со спарком, перезапуск)... а потом управляющая программа показывает созданные задачи в вебе и запускает их
Из плюсов - легкость написания задач, но к сожалению не был реализован DAG (графы) - в результате строить зависимости между задачами было не просто.
Так как были использованы итерации - удалось используя в 10 раз меньшие ресурсы чем конкуренты построить более удобную библиотеку. Ключ к успеху - быстрый цикл разработки с анализом что хорошо что плохо - создание следующей модели. Цикл быстрый, все не специфичные сервисы пытаются взять готовые, чтобы не тратить на них время.
Остальные команды не были ограничены ресурсами - на стадии разработки тратили слишком большое время на продумывание тяжелого дизайна, потом долго строили. Оказывались в ситуации когда проектировали - было не ясно как удобно будет пользоваться продуктом. Когда продукт доводили до конца - было слишком дорого от него отказываться, менять и улучшать. Результаты получились сомнительные.
Ну и лучшим решением на сегодняшний день можно считать Airflow - они взяли лучшее от Luigi - питоновоская библиотека, взяли DAG от Oozie, улучшили недостатки интерфейса и превзошли в результате всех конкурентов.
Это пример очередной итерации с целью исправления проблемных мест других решений и объединения сильных сторон других решений. Чем сложнее задача, чем хуже наше понимание конечного результата - тем больше итераций требуется сделать чтобы построить оптимальное решение.
Другой пример итерационного подхода - решение проблем рек в Германии. В стране много рек, они часто меняют русло в результате большие территории оказываются исключены из сельского хозяйства. Решили исправить ситуацию - забрать все речки в деревянные срубы. Забрали в прямые желоба - это привело к тому что вода стала очень быстро уходить с полей - возникли проблемы с поливом, с пресной водой. Осознали проблему - переделали проект - стали делать деревянное русло рек не прямое, а с большим количеством изгибов - чтобы вода текла по квадрату - прямо, право, прямо, лево. Это решило проблему с быстрым уходом воды.
На этом примере видно что очевидное решение очевидной проблемы далеко не всегда дает ожидаемый положительный результат. В случае с прямыми реками результат был настолько очевиден - что замолчать, проигнорировать проблему было просто невозможно. В результате решение проблемы было быстро исправлено.
В политике к сожалению так дела делаются далеко не всегда. Сплошь и рядом берутся достаточно случайные решения задачи. Потом бездумно применяют. Не смотрят за результатом, продолжают их использовать. Сказать что правительство сделало ошибку - невозможно. Признание ошибки правительством зачастую приводит к громким политическим скандалам и отставкам. Поэтому правительство поставлено в ситуацию когда оно не может признать ошибку, борется всеми средствами чтобы отстоять свою правоту.
Стали объяснять женщинам какая у них тяжелая и безрадостная жизнь под мужским гнетом. Какие негодяи и подлецы мужики, которые не хотят учавствовать в домашних делах, не готовят, не рожают, живут на всем готовом в любви и неге. И абсолютно не ценят беззаветную преданность женщин, их домашнюю работу и заботу. Стали устраивать ток шоу, на которых мужики плачут и рассказывают какие они негодяи просто потому что они родились мужиками и не заботятся, не ценят, ничего не делают, живут на всем готовом.
Единственный вариант существования уважающей себя женщины в таком мире - это полная независимость от скомпроментировавших себя мужчин. Пошел процесс так называемой эмансипации.
В принципе - очень похоже на СССР где и мужчинам и женщинам дали равные права. Отличие только в одном - в СССР - и мужчины и женщины понимали что они делают одно дело, содержат семью, выращивают детей. Жизнь поодиночке возможна, но будет гораздо тяжелее чем жизнь вместе.
В Америке же был выбран другой акцент. Женщины - гораздо лучше мужчин и поэтому им негоже зависеть от последних. В результате пошла дискриминация уже по половому признаку. В школах например нередко бывает что девочки начинают воспринимать себя лучшим полом, парней искренне считают париями. Парни же в свою очередь учатся тихо ненавидеть девочек. За такое отношение. Естественный эффект от этой политики - разрушение института семьи. Семья стала не нужна ни тем ни другим. Зачем семья если люди полностью независимы друг от друга не ценят и не уважают своих партнеров.
И как то за всем этим политическим бредом потерялось понимание того что у мужчин и у женщин права могут быть одинаковые, но физически и ментально они разные. И это здорово, иначе человечество бы не выжило. А так как они разные - у них есть свои слабые и сильные стороны. Глупо требовать чтобы женщина забивала сваи и таскала грузы наравне с мужчинами. Так же глупо от мужчин требовать вышивать крестиком. В каких то отраслях есть преимущество у женщин, в каких то у мужчин. И это нормально. В любой ситуации надо трезво оценивать свои слабые и сильные стороны и умело ими пользоваться. А не яростно бороться за равенство. Ненормально - это когда женщина начинает уподобляться мужчинам, а мужчины начинают вести себя как женщины.
В принципе предпринятые меры позволили во многом решить проблему женской дискриминации. Домашнее насилие в современной Америке - выглядит как исключение. Прием в вузы и на работу тоже проводится на конкурентной основе. Возможны какие то отклонения - но повторяюсь - это скорее исключение чем правило.
Часть же проблем - так и не решена. Государство со своей стороны не сделало никаких шагов чтобы облегчить жизнь женщин - взять часть заботы о детях на себя. Нет тут ни бесплатных детских садов, ни кружков как было сделано в СССР. Но эти проблемы не афишируются и ими никто не занимается.
Но тем не менее борьба за равноправие продолжается и сейчас, 50 лет спустя. Есть целый ряд женских организаций, которые занимаются тем что пытаются улучшить жизнь женщин. Помогают с трудоустройством, отслеживают статистику сколько женщин и где работает. Как только находят денежные отрасли где работает мало женщин - устраиваются публичные разборки, принимают законы которые заставляют компании набирать на эти позиции женщин.
Хорошо это или плохо… Давайте зададимся вопросом - что будет если все начнут бороться за свои права. Так же как сейчас к примеру борются женщины в Америке. Китайцы, индусы, немцы, русские, французы. Будет ли комфортно жить в таком мире - где любая общность гребет под себя без оглядки на окружающих. Конечно нет - все эти движения будут вызывать протест окружающих. Если кто то борется за свои права а остальные не борются - эта группа людей начинает наживаться за счет остальных. Ресурс ограничен - а любая борьба приводит к перераспределению этого ресурса в пользу борцов. К примеру - казалось бы невинная борьба за равенство числа женщин среди разработчиков ПО. Чем это плохо. Плохо это тем что когда начинают принимать людей на позиции не лучших в своем деле, лучших для компании, а согласно половому или национальному признаку то появляется большое число людей которые не могут справиться со своими прямыми обязанностями. Это приводит к токсичной атмосфере в коллективе - где есть целый ряд выделенных людей которым прощается их некомпетентность. Остальные смотрят на них и думают - если им можно то и мы не будем напрягаться. В конечном счете страдает бизнес, страдает страна - страдают все живущие в этой стране. В выигрыше оказываются буквально единицы, получают они за счет этой борьбы копейки - а страна из-за их активности терпит миллиардные убытки. Если в других странах такой борьбы нет - они выигрывают.
Была в России такая партия - партия пива. Они поставили своей целью - обеспечить население пивом хорошего качества. Обеспечили и объявили о самороспуске - так как поставленная цель был выполнена. Было бы хорошо чтобы и остальные партии давали четкие ориентиры чего они добиваются и прекращали свою деятельность после выполнения задачи. Зачастую в какой то момент деятельность движений становится контр продуктивной. И их деятельность необходимо прекращать.
Я в общем ничего не имею против того чтобы продолжалась борьба против дискриминации. Но это должна быть борьба против дискриминации в целом, борьба за лучшую жизнь общества в целом а не борьба за лучшую жизнь женщин, китайцев, украинцев, евреев каждого в отдельности. В какой то момент можно сфокусировать усилия на решении конкретной проблемы, если обнаруживаются существенные проблемы с данной категорией людей которых нет у остальных. Но после решения проблемы (когда проблемы пострадавшей категории уже не выделяются на фоне остальных категорий), работу этой целевой группы надо прекращать и возвращаться к отслеживанию, исправлению ситуации в целом. Я против того чтобы под видом борьбы с дискриминацией пытались отбирать ресурс у окружающих - как это постоянно происходит сейчас.
С афроамериканцами судя по всему было проще. В 1968 году запретили дискриминационные законы - только для белых, дали им равные права как и остальным. На этом и успокоились - вот вам права, дальше действуйте как хотите. Не дали им цели и стимула для полноценного вливания в общество. В результате афроамериканцы так нормально и не влились в производственные цепочки. Особо не стремятся получать образование, многие из них объединяются в банды, и живут криминалом по своим законам. Так проще, так привычней.
В результате многие из них до сих пор чувствуют себя оторванными от остальных американцев, противопоставляют их себе, достаточно сильно их не любят. Что не может не приводить к социальным конфликтам.
По хорошему эту ситуацию должны были бы увидеть группы борьбы против дискриминации, организовать группу помощи афроамериканцам. Выяснить что происходит, какие причины. Что и как можно исправить, так чтобы ситуация нормализовалась и поддерживаюсь в будущем без внешнего вмешательства. Основная цель - добиться того чтобы афроамериканцы участвовали в развитии общества наравне со всеми, и как результат - улучшение их уровня жизни. После решения проблемы - группу распустить, переориентировать на решение других проблем.
Бедные и богатые
В Америке 60-ых годов было огромное количество людей за чертой бедности. Чтобы снизить социальную напряженность в обществе президент Джонсон объявил войну бедности в 1964 году. Это позволило снизить процент людей за чертой бедности с 17% в 1964 до 11% в 1970. С тех пор он находится примерно на одном уровне.
В данный момент отношение к этой программе противоречивые. Какой то результат получен, но дорого и не идеально.
Основная претензия - борьба с бедностью в основном велась прямыми денежными переводами бедным людям - программа wellfair. Либо прямая помощь - покупка и раздача еду. Какие то льготы на жилье, работу, прочее.
Есть хорошая поговорка в Америке - хочешь помочь человеку - дай ему удочку. Если даешь ему рыбу - ничего хорошего не будет. Людей приучают к мысли что можно жить ничего не делая, просто за счет пособия. Зачем работать, учиться. Можно и так прожить. Положительная обратная связь, правда результат не тот которого бы хотелось достичь.
На пособие начинает жить достаточно большой процент населения, их дети идут по стопам родителей. Порочный круг.
Правильным подходом было бы как и в случае с дискриминацией - выделение рабочей группы. Она должна была бы изучить состав населения за чертой бедности. Причины по которой они здесь оказались. Выяснить что можно сделать чтобы дать им возможность зарабатывать деньги и достойно жить. Пособие в этой ситуации будет играть скорее деструктивную роль демотиватора - хотя возможно для определенных групп и правильно (инвалидов, пенсионеров).
Далее как дела делаются в бизнесе - выделяется пилотный проект. Целевая группа которой пытаются помочь, ограниченное число денег. Тестируется эффективность придуманных подходов на целевой группе. На основе полученных данных - делается оценка как можно помочь большему количеству людей. Желательно при этом использовать методы конкуренции - сделать конкурс в которых принимают участие несколько команд каждой из которых может быть выделен одинаковый бюджет. Сравниваются результаты, берется в разработку парочка наиболее перспективных. Выделяются большие деньги только под проекты с известным заранее результатом.
Разработка подходов - должна делаться профессионально - людьми которые специалисты в данной отрасли с поддержкой от волонтеров. Возможно привлечение и чисто волонтерских организаций.
Другой принцип - принцип итерационного приближения. Если дело новое - незнакомое, сразу получить хорошее решение очень тяжело. Есть масса факторов, которые могут привести к непредсказуемому результату. Поэтому при разработке новых технологий очень важен итерационный подход. Делают одну попытку. Разбирают результат - что получилось хорошо, что не очень. Делают вторую попытку. И уже к третьей - четвертой итерации удается найти правильное решение.
Не просто вложили денег, сделали и используем это всегда. Сделали - проанализировали результат, сказали что нравится что не нравится. Сделали еще раз - и так до тех пор пока не будет видно очевидных путей улучшения.
Примером такой разработки в бизнесе - можно взять разработку воркфлоу - скедулера который по времени будет выполнять разные задачи - индексировать, править ошибки, вычислять статистику и прочее и прочее. Исходно задача решалась с помощью системной крон джобы. В операционную систему встроена система которая может запускать задачи по таймеру. Но пользоваться ей неудобно. Нет веб интерфейса, язык задачи заданий - достаточно убогий. Нет поддержки перезапуска, мониторинга и так далее. С появлением хадуп и спарк - во многих компаниях возникла потребность в такой системе, с отслеживанием ошибок выполнения и перезапуском.
Одновременно задачу стали решать в 3-х компаниях (конкурсная основа).
Apache (oozie), LinkedIn (Azkaban), Spotify(luigi). Идея интерфейса была заложена одинаковая - веб интерфейс чтобы можно было запускать, следить за задачами. Отличие было в исполнении и языках имплементации. Azkaban - самый большой и тяжелый проект (100М в гит) был написан как джава веб приложение, которое через свой веб интерфейс позволяет настраивать задачи. Легок в использовании, тяжел в настройке - за счет джавы. Не очень гибкий
Oozie - более легкий проект (50М) написанный тоже на джаве, с конфигурацией настраиваемой в виде xml файла. Использует DAG (графы) для описания задач. Настройка, использование тяжелое (xml, java) - но обладает огромной гибкостью.
Luigi - самый легкий проект из всех (20M). Его разрабатывали в отличие от остальных проектов с жесткими лимитами по ресурсам. Цикл разработки сделали очень коротким. Взяли в качестве языка разработки - питон чтобы можно было быстрее и легче писать коды. Было сделано несколько подходов к разработке - сначала пытались писать на питоне интерфейс с задачами… в конце остановились на модели - они пишут библиотеку на питоне которой можно пользоваться для описания задач (работа со спарком, перезапуск)... а потом управляющая программа показывает созданные задачи в вебе и запускает их
Из плюсов - легкость написания задач, но к сожалению не был реализован DAG (графы) - в результате строить зависимости между задачами было не просто.
Так как были использованы итерации - удалось используя в 10 раз меньшие ресурсы чем конкуренты построить более удобную библиотеку. Ключ к успеху - быстрый цикл разработки с анализом что хорошо что плохо - создание следующей модели. Цикл быстрый, все не специфичные сервисы пытаются взять готовые, чтобы не тратить на них время.
Остальные команды не были ограничены ресурсами - на стадии разработки тратили слишком большое время на продумывание тяжелого дизайна, потом долго строили. Оказывались в ситуации когда проектировали - было не ясно как удобно будет пользоваться продуктом. Когда продукт доводили до конца - было слишком дорого от него отказываться, менять и улучшать. Результаты получились сомнительные.
Ну и лучшим решением на сегодняшний день можно считать Airflow - они взяли лучшее от Luigi - питоновоская библиотека, взяли DAG от Oozie, улучшили недостатки интерфейса и превзошли в результате всех конкурентов.
Это пример очередной итерации с целью исправления проблемных мест других решений и объединения сильных сторон других решений. Чем сложнее задача, чем хуже наше понимание конечного результата - тем больше итераций требуется сделать чтобы построить оптимальное решение.
Другой пример итерационного подхода - решение проблем рек в Германии. В стране много рек, они часто меняют русло в результате большие территории оказываются исключены из сельского хозяйства. Решили исправить ситуацию - забрать все речки в деревянные срубы. Забрали в прямые желоба - это привело к тому что вода стала очень быстро уходить с полей - возникли проблемы с поливом, с пресной водой. Осознали проблему - переделали проект - стали делать деревянное русло рек не прямое, а с большим количеством изгибов - чтобы вода текла по квадрату - прямо, право, прямо, лево. Это решило проблему с быстрым уходом воды.
На этом примере видно что очевидное решение очевидной проблемы далеко не всегда дает ожидаемый положительный результат. В случае с прямыми реками результат был настолько очевиден - что замолчать, проигнорировать проблему было просто невозможно. В результате решение проблемы было быстро исправлено.
В политике к сожалению так дела делаются далеко не всегда. Сплошь и рядом берутся достаточно случайные решения задачи. Потом бездумно применяют. Не смотрят за результатом, продолжают их использовать. Сказать что правительство сделало ошибку - невозможно. Признание ошибки правительством зачастую приводит к громким политическим скандалам и отставкам. Поэтому правительство поставлено в ситуацию когда оно не может признать ошибку, борется всеми средствами чтобы отстоять свою правоту.
