Есть слой. Он наложен в режиме Screen. Задача создать такой слой и такую маску слоя, чтобы они повторяли цвета и прозрачность данного(на черном цвете)
Сразу огорчу: решения не знаю, но знаю, что тривиальным наложением обесцвеченного слоя как маску дело не ограничится.
Леммы:
Перегнать цвет каждого пикселя в максимально яркий. (например, 010000 перегонится в ff0000)
Перегнать цвет каждого пикселя в определенный процент от максимума.
Определить этот самый процент по самому яркому (непрозрачному) цвету.