Так это и происходит. Исходники (обычно находящиеся где-нибудь в Git) попадают к мэйнтейнерам, которые адаптируют их для каждого отдельного дистрибутива и выкладывают на билд-сервер, который по скрипту, безо всяких GUI, в автоматическом режиме собирает из них бинарники под разные архитектуры, которые потом попадают в репозиторий, откуда их и скачивают пользователи. На нескольких стадиях в исходники вмешиваются другие люди, проверяя их и адаптируя под конкретный дистрибутив.
Конечного пользователя никто не заставляет что-то компилировать, о чём я уже говорил, но у него обязательно должна быть такая возможность - в соответствии с GPL и просто правилами не наплевательского отношения к пользователю. А если он захочет что-то поправить, то может и IDE себе установить - а может и не устанавливать, но это он сам может для себя решить.
"Опытные программисты", видимо, никогда не пользовались достижениями последних двадцати лет в области version control systems...