[448x699]
 

Выбираем инструмент Rounded Rectangle Tool (Прямоугольник с закругленными углами) с указанными настройками. Радиус (у меня 50 пкс) зависит от размера фото и т.д.

[503x393]
 

Из угла фото до противоположного проводим прямоугольник, следите, чтобы его стороны совпали с краями фото (хотя, это не обязательно)

[600x451]
 

Кликаем внутри прямоугольника правой кнопкой мыши и выбираем Создать выделение (Make selection)

[434x326]
[400x300]
 

Затем из выделения создаем новый слой - нажать Ctrl+J

[369x277]
 

На вкладке слоев переходим на слой Фон (Background), кликнув на нем левой кнопкой мыши, и удаляем его, нажимая соответствующий значок в меню слоев (первый справа) 

[368x276]
 

Осталось только сохранить результат в формате GIF* или PNG* (не забудьте при сохранении выставить Transparency - Прозрачность)