1.
Согласен с ShurikovEv, надо проверять на нулл.
Напечатайте то что получаете
(alert(sSelectedRows)
2.
У себя сделал для проверки, все работает. Передавал параметры как в сдк было написано:
<Grid>
<MenuBar>
<Buttons>
<Button Title="Grid" ToolTip="Info on Test"
Icon="/_imgs/ico_18_debug.gif"
Url="/_resources/mydialog.aspx"
WinParams=""
WinMode="2" />
</Buttons>
</MenuBar>
</Grid>