AXForum  
Вернуться   AXForum > Microsoft Dynamics AX > DAX: Программирование
All
Забыли пароль?
Зарегистрироваться Правила Справка Пользователи Сообщения за день Поиск Все разделы прочитаны

 
 
Опции темы Поиск в этой теме Опции просмотра
Старый 06.04.2011, 09:46   #10  
S.Kuskov is offline
S.Kuskov
Участник
Лучший по профессии 2017
Лучший по профессии 2015
Лучший по профессии 2014
 
3,448 / 1792 (66) ++++++++
Регистрация: 28.04.2007
Адрес: Калуга
Цитата:
Сообщение от raz Посмотреть сообщение
Если тут прописать:
X++:
b = 0.0353731871241599;
То результат: ....
Вот где вкралась неточность в ваших расчётах!
Переменная b, значение которой вы вычисляете как 100 / 2827 на самом деле инициализируется не 0.0353731871241599, а 0.3537318712415989e-1. это легко проверить
X++:
b = 100 / 2827;
info(num2str(10*b, 0, 16, 0, 0));
Дело в том что когда мы говорим о точности в 16 знаков после запятой, на самом деле имеются в виду 16 значащих цифр мантисы. Функция же num2str возвращает непосредственно первые 16 цифр после запятой, в момент преоброзования отбрасывая все невместившиеся значащие цифры и округляя 17 знак.

Интересно а есть ли в аксапте возможность преобразовать вещественное значение в строку без потери значащих разрядов (т.е в экспоненциальном формате)?

Последний раз редактировалось S.Kuskov; 06.04.2011 в 09:57.
Теги
округление

 

Похожие темы
Тема Автор Раздел Ответов Посл. сообщение
Глюк RunBase (AX40sp2) Alexx7 DAX: Программирование 7 22.01.2010 10:59
DeadLock. Один сеанс - несколько процессов. Владимир Максимов DAX: Программирование 20 12.07.2008 11:02
Глюк автоматическое рассопопоставление Logger DAX: Функционал 4 14.07.2006 10:09
Enum: глюк? Gorlum DAX: Программирование 11 10.02.2006 07:43
Help! Странный глюк.. AfA DAX: Прочие вопросы 8 25.02.2004 23:58
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход

Рейтинг@Mail.ru
Часовой пояс GMT +3, время: 14:08.