Команда "Растрировать векторную маску" (Rasterize Vector Mask) преобразует векторную маску в пиксельную, после чего к ней можно применять обычные растровые инструменты, фильтры и т.д.
Если перед растрированием слой содержал ещё и пиксельную маску, после преобразования обе маски объединяются в одну растровую маску.