Системность обработки данных в малом. Вывод 11.
- 02.04.23 г.
- 9772225665000 23012
Анализ предобработки данных поставил новые вопросы, а также в определенной мере прояснил сложившуюся в науках и информационных технологиях критичную ситуацию, связанную с подготовкой данных к содержательной обработке, – вопросы, касающиеся данных и их обработки, в первую очередь, концептуального характера.
Действительно, в науках и информационных технологиях, во-первых, имеется большое разнообразие методов и операций, однако нет понимания порядка их выполнения, – они исполняются в случайном порядке, по решению специалиста, а не исходя из внутренних определений данных и задачи, – из их субъективного понимания специалистом. При этом, во-вторых, многие из этих методов и операций могут использоваться на разных этапах обработки данных: в частности, статистическая обработка данных, их систематизация и визуализация присущи не только предобработке данных, но и другим этапам информационных технологий. Этот феномен говорит о неоднозначности позиционирования методов в рамках информационных технологий, однако это в науках не рассмотрено и не оценено. Например, означает ли это возможность своего рода «склейки» этапов обработки данных, и если «да», то что же это означает объективно в смысле трансформации данных? (Ответ на этот вопрос будет рассмотрен отдельно.) В-третьих, повторяемость и даже дублирование методов и отдельных операций на разных этапах обработки данных обозначает вопрос не столько даже о повторении действий, сколько об очевидной методологической непроработанности вопроса о порядке (принципе) осуществления методов как таковых или той или иной их совокупности в целом. При этом, в-четвертых, следует учитывать то, что методы информационных технологий оказываются в ряде случаев взаимосвязанными, взаимозаменяемыми и даже дублирующими друг друга, что, с одной стороны, подчеркивает их системность, но, с другой стороны, из-за их необоснованных повторов, явных или нет, несомненно снижает эффективность обработки данных и информационных технологий в целом. Однако взаимозаменяемость увеличивает эффективность их применения (это положение, как противоречащее предыдущему, упущено в науках и информационных технологиях, но его можно будет обсудить отдельно).
Существует и ряд других методологических и предметных положений (их перечень может быть приведен отдельно). Например, анализ указанных выше методов группового преобразования совокупности данных позволяет сделать вывод о том, что каждый из них сам может рассматриваться как совокупность определенных функций (этот термин используется по аналогии с функциями агрегирования), причем качественно различных: например, функций группирования (в том числе индексация) и функций агрегирования (в том числе вычисление среднего), а также возможно использование функций других классов (их полный перечень может быть приведен отдельно). Однако в информационных технологиях указанный вопрос даже не рассматривается, и дело не в его реализации (думается, что современные программисты легко справляться с этой нетривиальной задачей), а в его смысле – в новом понимании существа и применения методов, обусловливающем представления о программном обеспечении нового типа (следующим за формообразованием нейросетей).
Кроме того, обозначаются процедурные и содержательные положения (их перечень может быть приведен отдельно), например, следующие:
– понимание статистических методов обработки данных как методов предобработки данных,
– значение классификации для предобработки данных и для их содержательной обработки.
В своей совокупности эти (и другие) положения обусловливают ряд гносеологических и методологических вопросов, не акцентированных в науках, но требующих своего решения (перечень соответствующих вопросов может быть приведен отдельно). Например, (1) в науках не проработаны вопросы о содержательности и сочетании методов обработки данных. При этом понятно, что (2) ряд из них не может не выполняться несколько раз, причем на разных этапах исполнения информационных технологий и применительно к одним и тем же данным, точнее к разным их состояниям, определяемым глубиной их обработки. И тут (3) возникает еще один вопрос: это одни и те же данные, пусть более уточненные, или это уже разные данные? Ответ на этот вопрос в науках отсутствует, хотя он имеет большое значение, так как именно он определяет не только (4) дублирование и взаимозамену операций и последовательности их выполнения, но и (5) разделение обработки данных на этапы, различные фазы, и деление методов, вплоть до акцентирования отдельных операций, причем суть и глубина такого деления имеют колоссальное значение, в первую очередь, в смысле обозначенной выше системности. И др.
Особо следует выделить следующие отдельные положения:
– группирование операций различных этапов обработки данных,
– соотношение групп операций различных этапов обработки данных,
– исследование вопроса о системе методов и операций обработки данных.
Иными словами, обозначается утверждение о системе методов и операций обработки данных, причем рассматриваемой двояко (этот вопрос в науках даже не обозначен).
В науках такого рода вопросы не могут быть решены.
В первом приближении можно выделить ряд базовых, не сводимых друг к другу действий, имеющихся на разных этапах работы с данными и в системе (ее мы рассмотрим позже). Например, на этапе предобработки данных актуальны
– выявление аномалий данных,
– очистка данных,
– исправление ошибок,
– организация данных,
– масштабирование данных,
– группирование и агрегирование данных,
– классификация данных,
– первичная предметная обработка данных,
– визуализация данных,
– исследование и обобщение результатов предобработки данных.
На основе указанного рассмотрения совокупности и представления методов обработки данных определяется возможность их группирования, структурирования и системного применения как методов информационных технологий.
Указанные положения выражают существенные философские положения, но которые обычно даже не озвучиваются в науках (перечень соответствующих положений может быть приведен отдельно).
Приведенные и другие положения (их полный перечень может быть приведен отдельно) обусловливают идею (причем в соответствии с видами ее метаморфоз, указанными Платоном) нового рассмотрения совокупности методов информационных технологий, их группирования и структурирования, причем понятие «группирование данных» требует различения и их применения в системе.
Однако идея о возможности группирования, структурирования и системного применения методов информационных технологий не может быть положена ими, так как они могут обозначить лишь внешнюю к ней гносеологическую особенность группирования (системы) методов.
Необходим еще один фактор, который является более общим и фундаментальным по отношению к методам и их совокупностям и который нужно установить. Или требуется установить особенность, позволяющую дать хоть какое-нибудь различение для общей совокупности методов.
При этом сначала следует в качестве параметров (или характеристик) вопроса понять существо
– цельности предобработки данных,
– группирования операций предобработки данных,
– соотношения групп операций предобработки данных,
– соотношения групп операций в ходе предобработки данных с другими этапами обработка вообще данных.
Рассмотрение других последовательностей и вариантов применения методов обусловливает исследования системных признаков обозначенного положения.
В диалектике эти и многие другие вопросы рассматриваются с точки зрения свойств диалектически определяемых данных и их развития (получения результатов их обработки), что в свою очередь определяет вывод о необходимости осмысления сути (понятия) совокупности методов и операций обработки данных и их конфигурации – не только их последовательностей и групп, но и их опосредствования и замещения друг другом. Это принципиально новое для наук положение (его также требуется обсудить отдельно), а для диалектики оно является логичным следствием обнаруженного ранее рефлектирования, а) относящегося как к данным, так и к обработке данных, б) приводящего к выяснению ряда обстоятельств, например, противоречие, группирование методов и операций обработки данных и соотнесение (опосредствование) их совокупностей.
Таким образом, имеется ряд существенных, имеющих сверхсуммарный эффект концептуальных, классификационных и системных положений, почему-то не рассматриваемых в науках и информационных технологиях, относящихся к этапу предобработки данных в частности и к информационным технологиям в целом.
Они обозначают, по сути, системность обработки данных в малом (ее раскрытию будут посвящены последующие статьи настоящего Раздела – о содержательной обработке данных), в том числе а) разделение этапов обработки данных на различные фазы и б) понятие последовательности выполнения и дублирования операций.
Концептуальное значение системности обработки данных в малом заключается в системном понимании существа и применений совокупности методов, являющимся новым для имеющихся информационных технологий и обусловливающим их новое понимание (новые информационные технологии) и, соответственно, программное обеспечение нового вида, в том числе, диалектико-ориентированное программирование и новые информационные технологии.
Дискуссии и конференции. Методы.