[показать]

Откройте нужное Вам изображение

[показать]

Зажав Ctrl, кликните на слое с этим изображением

[показать]

Выберите Select > Modify > Smooth (задайте любой радиус, к примеру, 15px)

[показать]

Теперь выберите Select > Inverse (Ctrl+Shift+I)

[показать]

Нажмите клавишу Delete, а затем Ctrl+D, чтобы снять выделение

[показать]

Готово! 

Источник: http://www.tutorialcut.com/tutorials/photoshop/basics/Rounded-Frame