Решил проблему методом проб и ошибок. Получились следующие настройки в этом же меню (Edit Global Configuration - Application)
Request Encoding - utf-8;
Response Encoding - windows-1251;
В итоге письма с помощью mailto генерируется без искажения кодировки, а так же значения lookup-field при создании действий отображаются нормально
