免费智能真题库 > 历年试卷 > 软件设计师 > 2021年下半年 软件设计师 下午试卷 案例
  第1题      
  知识点：   数据流图   监控   结构化方法   控制器   数据采集   数据流   维护   预测   智能化

 
【说明】某现代农业种植基地为进一步提升农作物种植过程的智能化，欲开发智慧农业平台，集管理和销售于一体，该平台的主要功能有:
1.信息维护。农业专家对农作物、环境等监测数据的监控处理规则进行维护。
2.数据采集。获取传感器上传的农作物长势、土壤墒情、气候等连续监测数据，解析后将监测信息进行数据处理、可视化和存储等操作。
3.数据处理。对实时监测信息根据监控处理规则进行监测分析，将分析结果进行可视化并进行存储、远程控制对历史监测信息进行综合统计和预测，将预测信息进行可视化和存储。
4.远程控制。根据监控处理规则对分析结果进行判定，依据判定结果自动对控制器进行远程控制。平台也可以根据农业人员提供的控制信息对控制器进行远程控制。
5.可视化。实时向农业人员展示监测信息:实时给农业专家展示统计分析结果和预测信息或根据农业专家请求进行展示。 现采用结构化方法对智慧农业平台进行分析与设计，获得如图1-1所示的上下文数据流图和图1-2所示的0层数据流图。
 
问题：1.1   (4分)
使用说明中的词语，给出图1-1中的实体E1~E4的名称。
 
问题：1.2   (4分)
使用说明中的词语，给出图1-2中的数据存储D1~D4的名称。
 
问题：1.3   (4分)
根据说明和图中术语，补充图1-2中缺失的数据流及其起点和终点。
 
问题：1.4   (3分)
根据说明，“数据处理”可以分解为哪些子加工?进一步进行分解时，需要注意哪三种常见的错误?
 
 
 

   知识点讲解    
   · 数据流图    · 监控    · 结构化方法    · 控制器    · 数据采集    · 数据流    · 维护    · 预测    · 智能化
 
       数据流图
        数据流图也称数据流程图（Data Flow Diagram，DFD），它是一种便于用户理解、分析系统数据流程的图形工具。它摆脱了系统的物理内容，精确地在逻辑上描述系统的功能、输入、输出和数据存储等，是系统逻辑模型的重要组成部分。
        1）数据流图的基本图形元素
        数据流图中的基本图形元素包括数据流（Data Flow）、加工（Process）、数据存储（Data Store）和外部实体（Extemal Agent）。其中，数据流、加工和数据存储用于构建软件系统内部的数据处理模型；外部实体表示存在于系统之外的对象，用来帮助用户理解系统数据的来源和去向。
        （1）数据流。
        数据流由一组固定成分的数据组成，表示数据的流向。在DFD中，数据流的流向可以有以下几种：从一个加工流向另一个加工；从加工流向数据存储（写）：从数据存储流向加工（读）；从外部实体流向加工（输入）；从加工流向外部实体（输出）。
        DFD中的每个数据流用一个定义明确的名字表示。除了流向数据存储或从数据存储流出的数据流不必命名外，每个数据流都必须有一个合适的名字，以反映该数据流的含义。值得注意的是，DFD中描述的是数据流，而不是控制流。
        数据流或者由具体的数据属性（也称为数据结构）构成，或者由其他数据流构成。组合数据流是由其他数据流构成的数据流，它们用于在高层的数据流图中组合相似的数据流，以使数据流图更便于阅读。
        （2）加工。
        加工描述了输入数据流到输出数据流之间的变换，也就是输入数据流经过什么处理后变成了输出数据流。每个加工都有一个名字和编号。编号能反映出该加工位于分层DFD中的哪个层次和哪张图中，也能够看出它是哪个加工分解出来的子加工。
        一个加工可以有多个输入数据流和多个输出数据流，但至少有一个输入数据流和一个输出数据流。
        （3）数据存储。
        数据存储用来存储数据。通常，一个流入加工的数据流经过加工处理后就消失了，而它的某些数据（或全部数据）可能被加工成输出数据流，流向其他加工或外部实体。除此之外，在软件系统中还常常要把某些信息保存下来以供以后使用，这时可以使用数据存储。
        每个数据存储都有一个定义明确的名字标识。可以有数据流流入数据存储，表示数据的写入操作；也可以有数据流从数据向数据存储，表示对数据的修改。
        这里要说明的是，DFD中的数据存储在具体实现时可以用文件系统实现，也可以用数据库系统实现。数据存储的存储介质可以是磁盘、磁带或其他存储介质。
        （4）外部实体（外部主体）。
        外部实体是指存在于软件系统之外的人员或组织，它指出系统所需数据的发源地（源）和系统所产生的数据的归宿地（宿）。例如，对于一个考务处理系统而言，考生向系统提供报名单（输入数据流），所以考生是考务处理系统的一个源；而考务处理系统要将考试成绩的统计分析表（输出数据流）传递给考试中心，所以考试中心是该系统的一个宿。
        在许多系统中，某个源和某个宿可以是同一个人员或组织，此时，在DFD中可以用同一个符号表示。考生向系统提供报名单，而系统向考生送出准考证，所以在考务处理系统中，考生既是源又是宿。
        源和宿采用相同的图形符号表示，当数据流从该符号流出时，表示它是源；当数据流流向该符号时，表示它是宿；当两者皆有时，表示它既是源又是宿。
        2）数据流图的扩充符号
        在DFD中，一个加工可以有多个输入数据流和多个输出数据流，此时可以加上一些扩充符号来描述多个数据流之间的关系。
        （1）星号（*）。
        星号表示数据流之间存在"与"关系。如果是输入流则表示所有输入数据流全部到达后才能进行加工处理；如果是输出流则表示加工结束将同时产生所有的输出数据流。
        （2）加号（+）。
        加号表示数据流之间存在"或"关系。如果是输入流则表示其中任何一个输入数据流到达后就能进行加工处理；如果是输入流则表示加工处理的结果是至少产生其中一个输出数据流。
        （3）异或（⊕）。
        异或表示数据流之间存在"互斥"关系。如果是输入流则表示当且仅当其中一个输入流到达后才能进行加工处理；如果是输出流则表示加工处理的结果是仅产生这些输出数据流中的一个。
        3）数据流图的层次结构
        从原理上讲，只要纸足够大，一个软件系统的分析模型就可以画在一张纸上。然而，一个复杂的软件系统可能涉及上百个加工和上百个数据流，甚至更多。如果将它们画在一张图上，则会十分复杂，不易阅读，也不易理解。
        根据自顶向下逐层分解的思想，可以将数据流图按照层次结构来绘制，每张图中的加工个数可大致控制在"7加减2"的范围内，从而构成一套分层数据流图。
        （1）层次结构。
        分层数据流图的顶层只有一张图，其中只有一个加工，代表整个软件系统，该加工描述了软件系统与外界之间的数据流，称为顶层图。
        顶层图中的加工（即系统）经分解后的图称为0层图，也只有一张。处于分层数据流图最底层的图称为底层图，在底层图中，所有的加工不再进行分解。分层数据流图中的其他图称为中间层，其中至少有一个加工（也可以是所有加工）被分解成一张子图。在整套分层数据流图中，凡是不再分解成子图的加工称为基本加工。
        （2）图和加工的编号。
        首先介绍父图和子图的概念。
        如果某图（记为A）中的某一个加工分解成一张子图（记为B），则称A是B的父图，B是A的子图。若父图中有n个加工，则它可以有0一刀张子图，但每张子图只对应一张父图。
        为了方便对图进行管理和查找，可以采用下列方式对DFD中的图和加工编号。
        ①顶层图中只有一个加工（代表整个软件系统），该加工不必编号。
        ②0层图中的加工编号分别为1、2、3--。
        ③子图号就是父图中被分解的加工号。
        ④对于子图中加工的编号，若父图中的加工号为X的加工分解成某一子图，则该子图中的加工编号分别为x.1、x.2、X.3…。
        4）分层数据流图的审查
        在分层数据流图画好后，应该认真检查图中是否存在错误或不合理（不理想）的部分。
        （1）分层数据流图的一致性和完整性。
        ①分层数据流图的一致性。
        a．父图与子图的平衡。
        b．数据守恒。
        c．局部数据存储。
        d．一个加工的输出数据流不能与该加工的输入数据流同名。
        ②分层数据流图的完整性。
        a．每个加工至少有一个输入数据流和一个输出数据流。
        b．在整套分层数据流图中，每个数据存储应至少有一个加工对其进行读操作，另一个加工对其进行写操作。
        c．分层数据流图中的每个数据流和文件都必须命名（除了流入或流出数据存储的数据流），并保持与数据字典一致。
        d．分层数据流图中的每个基本加工都应有一个加工规约。
        （2）构造分层DFD时需要注意的问题。
        ①适当命名。
        a．名字应反映整个对象（如数据流、加工），而不是只反映它的某一部分。
        b．避免使用空洞的、含义不清的名字，如"数据""信息""处理""统计"等。
        c．如果发现某个数据流或加工难以命名，往往是DFD分解不当的征兆，此时应考虑重新分解。
        ②画数据流而不是控制流。
        ③避免一个加工有过多的数据流。
        a．把需要重新分解的某张图的所有子图连接成一张图。
        b．把连接后的图重新划分成几个部分，使各部分之间的联系最小。
        c．重新定义父图，即第b步中的每个部分作为父图中的一个加工。
        d．重新建立各子图，即第b步中的每个部分都是一张子图。
        e．为所有的加工重新命名并编号。
        ④分解尽可能均匀。
        ⑤先考虑确定状态，忽略琐碎的细节。
        ⑥随时准备重画。
        （3）分解的程度。
        在自顶向下画数据流图时，为了便于对分解层数进行把握，可以参照以下几条与分解有关的原则。
        ①7加减2。
        ②分解应自然，概念上应合理、清晰。
        ③只要不影响DFD的易理解性，可适当增加子加工数量，以减少层数。
        ④一般来说，上层分解得快一些（即多分解几个加工），下层分解得慢一些（即少分解几个加工）。
        ⑤分解要均匀。
 
       监控
        主要包括故障监控和性能、流量、负载等状态监控，这些监控关系到集群的健康运行及潜在问题的及时发现与干预。
        （1）服务故障、状态监控：主要是对服务器自身、上层应用、关联服务数据交互监控；例如针对前端Web Server，就可以有很多种类型的监控，包括应用端口状态监控，便于及时发现服务器或应用本身是否崩溃、通过ICMP包探测服务器健康状态，更上层可能还包括应用各频道业务的监控，这些只是一部分，还有多种监控方式，依应用特点而定。还有一些问题需解决，如集群过大，如何高性能地进行监控也是一个现实问题。
        （2）集群状态类的监控或统计，为合理管理调优集群提供数据参考，包括服务瓶颈、性能问题、异常流量、攻击等问题。
 
       结构化方法
        结构化方法属于自顶向下的开发方法，其基本思想是“自顶向下，逐步求精”，强调开发方法的结构合理性及所开发软件的结构合理性。结构是指系统内各个组成要素之间的相互联系、相互作用的框架。结构化开发方法提出了一组提高软件结构合理性的准则，如分解与抽象、模块独立性、信息隐蔽等。针对软件生存周期各个不同的阶段，它包括了结构化分析（Structured Analysis, SA）、结构化设计（Structured Design, SD）和结构化程序设计（Structured Programing, SP）等方法。本章后续介绍的分析、设计、测试等内容，都是以结构化方法为基础的。
               结构化方法的基本原则
               为保证系统开发的顺利进行，结构化方法强调遵循以下几个基本原则：
               （1）面向用户的观点。在开发过程中，开发人员应该始终与用户保持联系，从调查研究入手，充分理解用户的信息需求和业务活动，不断地让用户了解工作的进展情况，校准工作方向。
               （2）严格区分工作阶段，每个阶段有明确的任务和应得的成果。
               （3）按照系统的观点，自顶向下地完成系统的开发工作。
               （4）充分考虑变化的情况。在系统设计中，把系统的可变更性放在首位。
               （5）工作成果文献化、文档化。
               结构化分析
               SA方法使用抽象模型的概念，按照软件内部数据传递、变换的关系，自顶向下、逐层分解，直至找到满足功能要求的所有可实现的软件为止。SA方法给出一组帮助系统分析人员产生功能规约的原理与技术。它一般利用图形表达用户需求，使用的手段主要有数据流图、数据字典、结构化语言、判定表及判定树等。
               SA方法的步骤如下：
               （1）分析当前的情况，做出反映当前物理模型的数据流图（Data Flow Diagram, DFD）。
               （2）推导出等价的逻辑模型的DFD。
               （3）设计新的逻辑系统，生成数据字典和基元描述。
               （4）建立人机接口，提出可供选择的目标系统物理模型的DFD。
               （5）确定各种方案的成本和风险等级，据此对各种方案进行分析。
               （6）选择一种方案。
               （7）建立完整的需求规约。
               结构化设计
               SD方法给出一组帮助设计人员在模块层次上区分设计质量的原理与技术。它通常与SA方法衔接起来使用，以数据流图为基础得到软件的模块结构。SD方法尤其适用于变换型结构和事务型结构的目标系统。在设计过程中，它从整个程序的结构出发，利用模块结构图表述程序模块之间的关系。
               SD方法的步骤如下：
               （1）评审和细化数据流图。
               （2）确定数据流图的类型。
               （3）把数据流图映射到软件模块结构上，设计出模块结构的上层。
               （4）基于数据流图逐步分解高层模块，设计中下层模块。
               （5）对模块结构进行优化，得到更为合理的软件结构。
               （6）描述模块接口。
               SD方法的设计原则是：
               （1）使每个模块执行一个功能（坚持功能性内聚）。
               （2）每个模块使用过程语句（或函数方式等）调用其他模块。
               （3）模块间传送的参数作为数据使用。
               （4）模块间共用的信息（如参数等）尽量少。
               结构化方法的缺点
               结构化方法是目前最成熟、应用较广泛的一种工程化方法。当然，这种方法也有不足和局限性：
               （1）开发周期长。一方面使用户在较长的时间内不能得到一个可实际运行的物理系统，另一方面难以适应环境变化。
               （2）早期的结构化方法注重系统功能，兼顾数据结构的方面不多。
               （3）结构化程度较低的系统，在开发初期难于锁定功能要求。
               这些问题在应用中有的已经解决，同时也产生了其他一些方法，例如原型法、面向对象方法等。
 
       控制器
        控制器是指挥、协调计算机各大部件工作的指挥中心。控制器工作的实质就是解释、执行指令。它每次从存储器中取出一条指令，经分析译码，产生一串微操作命令，发向各个执行部件并控制各部件，使整个计算机连续地、有条不紊地工作。
        为了使计算机能够正确执行指令，CPU必须能够按正确的时序产生操作控制信号，这是控制器的主要任务。
        如下图所示，控制器主要由下列部分组成。
        
        控制器组成图
        （1）程序计数器（PC）。又称指令计数器或指令指针（IP），在某些类型的计算机中用来存放正在执行的指令地址；在大多数机器中则存放要执行的下一条指令的地址。指令地址的形成有两种可能：一是顺序执行的情况，每执行一条指令，程序计数器加“1”以形成下条指令的地址。该加“1”计数的功能，有的机器是PC本身具有的，也有的机器是借用运算器完成的；二是在某些条件下，需要改变程序执行的顺序，这常由转移类指令形成转移地址送到PC中，作为下条指令的地址。
        （2）指令寄存器（IR）。用以存放现行指令，以便在整个指令执行过程中，实现一条指令的全部功能控制。
        （3）指令译码器。又称操作码译码器，它对指令寄存器中的操作码部分进行分析解释，产生相应的控制信号提供给操作控制信号形成部件。
        （4）脉冲源及启停控制线路。脉冲源产生一定频率的脉冲信号作为整个机器的时钟脉冲，是周期、节拍和工作脉冲的基准信号。启停线路则是在需要的时候保证可靠地开放或封锁时钟脉冲，控制时序信号的发生与停止，实现对机器的启动与停机。
        （5）时序信号产生部件。以时钟脉冲为基础，产生不同指令相对应的周期、节拍、工作脉冲等时序信号，以实现机器指令执行过程的时序控制。
        （6）操作控制信号形成部件。综合时序信号、指令译码信息、被控功能部件反馈的状态条件信号等，形成不同指令所需要的操作控制信号序列。
        （7）中断机构。实现对异常情况和某些外来请求的处理。
        （8）总线控制逻辑。实现对总线信息传输的控制。
 
       数据采集
        数据采集阶段的主要任务就是获取各个不同数据源的各类数据，按照统一的标准进行数据的转换、清洗等工作，以形成后续数据处理的符合标准要求的数据集。
        原始数据往往形式多样，包括：结构化数据，例如业务系统中的交易明细、操作日志等；非结构化数据，例如企业中的各种文档数据，视频、音频等数据；半结构化数据，例如Web页面的HTML文档等。而且其来源和种类也存在很大差距。
        当前的大数据处理中，数据的种类一般包括：
        .传感数据：传感数据是由感知设备或传感设备感受、测量及传输的数据。这些感知设备或传感设备实时和动态地收集大量的时序传感数据资源。传感数据种类有很多，如人身体的传感数据，网络信号的传感数据和气象的传感数据等。近年来随着物联网、工业互联网的日益发展，传感数据越来越丰富，人们也逐渐发现了其数据价值。
        .业务数据：企业业务系统在执行日常业务活动时产生的大量数据，包括设备工况、操作记录、交易流水，以及用户在使用系统时遗留下来的大量行为数据。这些数据反映了人或者物的属性、偏好，在推荐或预测系统中有很大的利用价值。
        .人工输入数据：用户通过软件人机交互等主动输入的数据，典型代表是微博、微信、抖音等系统的用户输入数据。随着互联网的不断深入，手机APP应用的不断发展，这种用户产生的数据也越来越多，越来越丰富。
        .科学数据：通过科学研究和科学实验不断搜集和汇聚的数据，一般是以电子记录或文本的形式存在。
        从大数据的来源进行划分，其种类包括：
        .企业数据：企业自建的各种业务系统，如ERP、在线交易系统、招聘系统等，也会产生各种数据集。
        .政府数据：政府信息化已发展多年，构建了很多业务数据。近年来政府也在不断地建设大数据中心，发布各种数据，包括人社、医疗、税务、工商、财务等。
        .互联网数据：互联网数据是当前大数据应用的一个重要的数据来源。互联网上存在各种应用沉淀下来的大量数据，包括门户网站、社交信息、电商网站等等。
        其中，企业数据一般属于内部数据，而政府数据、互联网数据往往属于外部数据。
        从上面大数据的分类可以看出，数据来源渠道众多，差异非常大。因此，数据采集的主要任务就是进行数据的汇聚，为后续的数据处理做好准备。这个阶段工作中主要涉及的技术包括针对内部数据的数据集成和ETL技术，针对外部数据，尤其是互联网数据的爬虫技术。
        数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
        ETL（Extract Transform Load）用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
        基本的ETL体系结构示意图如下图所示。
        
        ETL体系结构示意图
        ETL过程中的主要环节是数据抽取、数据转换和加工、数据加载。一般ETL工具中，围绕上述三个核心环节进行了功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持和统计信息等，尽量降低ETL阶段的工作强度，减少工作量。
        数据转换和加工是三个环节的重点，因为抽取的数据中往往存在各种问题，例如数据格式不一致、数据输入错误、字段不匹配、字段类型不符、数据不完整等。ETL一般以组件化的方式实现数据转换和加工。常用的数据转换组件有字段映射、数据过滤、数据清洗、数据替换、数据计算、数据验证、数据加解密、数据合并、数据拆分等，并以工作流的形式进行各种方式的组合，以满足数据转换的需求。有的ETL工具也提供脚本支持，满足用户定制化的数据转换需求。
        常用的ETL工具有三种：DataStage、Informatica PowerCenter和Kettle。
        .DataStage：IBM公司的DataStage是一种数据集成软件平台，专门针对多种数据源的ETL过程进行了简化和自动化，同时提供图形框架，用户可以使用该框架来设计和运行用于变换和清理、加载数据的作业。它能够处理的数据源有主机系统的大型数据库、开发系统上的关系数据库和普通的文件系统。
        .Informatica PowerCenter：Informatica公司开发的为满足企业级需求而设计的企业数据集成平台。可以支持各类数据源，包括结构化、半结构化和非结构化数据。提供丰富的数据转换组件和工作流支持。
        .Kettle：Kettle是一款国外开源的ETL工具，纯Java编写，可以在Windows、Linux、UNIX上运行，数据抽取高效稳定。管理来自不同数据库的数据，提供图形化的操作界面，提供工作流支持。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Kettle包括4个产品：Spoon、Pan、Chef、Kitchen。Spoon通过图形界面来设计ETL转换过程（Transformation）。Pan批量运行由Spoon设计的ETL转换（例如使用一个时间调度器），是一个后台执行的程序，没有图形界面。Chef创建任务（Job），任务通过允许每个转换、任务、脚本等等，更有利于自动化更新数据仓库的复杂工作。Kitchen批量使用由Chef设计的任务（例如使用一个时间调度器）。
        由于很多大数据应用都需要来自互联网的外部数据，因此，爬虫技术也称为数据采集阶段的一个主要基础性的技术。
        网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。网络爬虫基本的体系结构如下图所示。
        
        爬虫框架示意图
        爬虫调度器主要负责统筹其他四个模块的协调工作。URL管理器负责管理URL链接，维护已经爬取的URL集合和未爬取的URL集合，提供获取新URL链接的接口。HTML下载器用于从URL管理器中获取未爬取的URL链接并下载HTML网页。HTML解析器用于从HTML下载器中获取已经下载的HTML网页，并从中解析出新的URL链接交给URL管理器，解析出有效数据交给数据存储器。
        网络爬虫大致可以分为以下几种类型：通用网络爬虫、聚焦网络爬虫、深层网络（Deep Web）爬虫。实际的大数据应用由于往往聚焦于某个特定的应用目标，其采用的网络爬虫系统通常是聚焦网络爬虫、深层网络爬虫技术相结合实现的。
        通用网络爬虫，爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。通用网络爬虫的结构大致可以分为页面爬行模块、页面分析模块、链接过滤模块、页面数据库、URL队列、初始URL集合几个部分。为提高工作效率，通用网络爬虫会采取一定的爬行策略。常用的爬行策略有：深度优先策略、广度优先策略。
        聚焦网络爬虫，是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。和通用网络爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，可以很好地满足一些特定人群对特定领域信息的需求。聚焦网络爬虫和通用网络爬虫相比，增加了链接评价模块以及内容评价模块。聚焦爬虫爬行策略实现的关键是评价页面内容和链接的重要性，常见的爬行策略有基于内容评价的爬行策略、基于链接结构评价的爬行策略、基于增强学习的爬行策略、基于语境图的爬行策略等。
        深层网络爬虫用于专门爬取那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。Deep Web爬虫爬行过程中最重要的部分就是表单填写，包含两种类型：基于领域知识的表单填写，此方法一般会维持一个本体库，通过语义分析来选取合适的关键词填写表单；基于网页结构分析的表单填写，此方法一般无领域知识或仅有有限的领域知识，将网页表单表示成DOM树，从中提取表单各字段值。常见的爬虫工具有如下三种：
        .Nutch：一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch有Hadoop支持，可以进行分布式抓取、存储和索引。Nutch采用插件结构设计，高度模块化，容易扩展。
        .Scrapy：是Python开发的一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便地修改。它提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫、Web2.0爬虫等。
        .Larbin：Larbin是一种开源的网络爬虫／网络蜘蛛，用C++语言实现。Larbin目的是能够跟踪页面的URL进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
        当数据采集到以后，需要对采集并清洗后的数据进行存储。具体的存储技术在13.1.3云关键技术中的分布式数据存储中介绍，此处不再详述。
 
       数据流
        数据流由一组固定成分的数据组成，表示数据的流向。在DFD中，数据流的流向可以有以下几种：从一个加工流向另一个加工；从加工流向数据存储（写）；从数据存储流向加工（读）；从外部实体流向加工（输入）；从加工流向外部实体（输出）。
        DFD中的每个数据流用一个定义明确的名字表示。除了流向数据存储或从数据存储流出的数据流不必命名外，每个数据流都必须有一个合适的名字，以反映该数据流的含义。
        数据流或者由具体的数据属性（也称为数据结构）构成，或者由其他数据流构成。组合数据流是由其他数据流构成的数据流，它们用于在高层的数据流图中组合相似的数据流，以使数据流图更便于阅读。
        控制流是对数据流图的补充，采用虚线表示，是对由触发系统功能的事件进行描述。
        另外，一个加工可以有多个输入数据流和多个输出数据流，此时可以加上一些扩充字符符号或图形元素来描述多个数据流之间的关系。如：
        （1）星号（*）。星号表示数据流之间存在“与”关系。如果是输入流则表示所有输入数据流全部到达后才能进行加工处理；如果是输出流则表示加工结束将同时产生所有的输出数据流。
        （2）加号（+）。加号表示数据流之间存在“或”关系。如果是输入流则表示其中任何一个输入数据流到达后就能进行加工处理；如果是输出流则表示加工处理的结果是至少产生其中一个输出数据流。
        （3）异或（⊕）。异或表示数据流之间存在“互斥”关系。如果是输入流则表示当且仅当其中一个输入流到达后才能进行加工处理；如果是输出流则表示加工处理的结果是仅产生这些输出数据流中的一个。
 
       维护
        维护阶段是软件生存期中时间最长的阶段。软件一旦交付正式投入运行后便进入软件维护阶段。该阶段的关键任务是通过各种必要的维护活动使系统持久地满足用户的需要。每一项维护活动都应该准确地记录下来，作为正式的文档资料加以保存。
 
       预测
        随着项目进展，项目团队可根据项目绩效，对完工估算（EAC）进行预测，预测的结果可能与完工预算（BAC）存在差异。如果BAC已明显不再可行，则项目经理应考虑对EAC进行预测。预测EAC是根据当前掌握的绩效信息和其他知识，预计项目未来的情况和事件。预测要根据项目执行过程中所提供的工作绩效数据来产生、更新和重新发布。工作绩效信息包含项目过去的绩效，以及可能在未来对项目产生影响的任何信息。
        有关预测的相关计算会在15.4节中详细说明。
 
       智能化
        这是物流自动化、信息化的一种高层次应用，物流作业过程大量的运筹和决策，如库存水平的确定、运输（搬运）路径的选择、自动导向车的运行轨迹和作业控制、自动分拣机的运行、物流配送中心经营管理的决策支持等问题都需要借助于大量的知识才能解决。在物流自动化的进程中，物流智能化是不可回避的技术难题。
   题号导航      2021年下半年 软件设计师 下午试卷 案例   本试卷我的完整做题情况  
1 /
2 /
3 /
4 /
5 /
6 /
 
第1题    在手机中做本题