Удалять файлы и папки в Убунту так же как и в Windows. Но раз вы намеренно перешли на пользование Linux, то хочешь не хочешь, а миновать Терминал не получиться.