Интересно как из 95987.4453125 получается 95987.43, что это за интересное округление или я чего то не понимаю?
Добрый день.
Для хранения данных в архивах используется стандартный формат с плавающей точкой одинарной точности (IEEE754). Данный формат имеет только 6-7 значащих чисел, которые передаются без погрешности, значения всех остальных разрядов не гарантируются. Например, число 95987.4453125 может стать 95987.43, т.к. значение седьмого разряда не гарантируется форматом. Более того все арифметические операции в этом формате неассоциативны: (10^20+1) -10^20=0 ≠ (10^20-10^20) +1=1.
С 23 прибором для исключения таких погрешностей поможет сброс интеграторов или ориентироваться только на 6 значащих цифр.
Это касается только отображения на экране - внутри прибора расчеты происходят с числами двойной точности и таких погрешностей нет.