2011 RU12 поставили... косяки...

[kh_heckfy]

Так, из гриды я открываю форму, которая на заднем плане
showModalDialog
а потом в ней по клику на кнопке самодельной пишу

OpenLookup("10031");

function OpenLookup(objectCode) {
            var url = Xrm.Page.context.getServerUrl() + "/_controls/lookup/lookupsingle.aspx?class=null&objecttypes=" + objectCode + "&browse=0&ShowNewButton=0&ShowPropButton=1&DefaultType=0";
            var lookUp = window.showModalDialog(url, "entity", "width=500,resizable=1,height=400,menubar=0,status=1,location=0,toolbar=0,scrollbars=1");
            if (lookUp != null) {
                alert(lookUp.items[0].id);
            }
        }