数据仓库中的ETL过程

1       数据的ETL

ETL指的是Extraction, Transformation与Loading。Extraction指的是如何将数据从源系统中截取出来，Transformation指在截取出来的数据格式与数据仓库所需要的数据做转换，Loading指的是将数据加载到数据仓库中。ETL过程的设计和实现是数据仓库建设过程中的至关重要的一部分，采用良好的ETL设计结构可以有效的提高数据仓库的查询性能，并且更能够方便开发人员的维护和升级。

2       ETL系统架构设计

以上为一个数据仓库的ETL系统架构图，从图上可以看出整个数据仓库体系结构主要有源系统、源系统数据文件、数据仓库平台、数据集市等主要数据存储区。另外在数据仓库平台中还包括临时数据区和基础数据区两个集中存放数据仓库数据的区域与一个用来控制与调度ETL加载任务的控制数据库。

数据使用文本文件格式从源系统到处后使用FTP将数据传输到数据仓库服务器，而后经过第一步ETL加载过程进入数据仓库临时数据区，在这个过程中主要将数据文件中的数据进行清洗和整理按照源系统的数据字典情况转换为数据仓库中对应的数据格式，将所有数据文件中的数据全部存入临时数据表中。而后数据又经过第二步ETL过程将临时数据区中的数据按照数据仓库逻辑数据模型和物理数据模型设计的主题、关系表、代码表等业务逻辑全部进入基础数据区。这一步骤是数据仓库建设过程中至关重要的一部分，在这一步骤中ETL过程主要处理整合数据和优化数据结构。第三步ETL为数据集市从基础数据区抽取相应的数据到数据集市，这一步骤一般只是直接抽取所需要的数据。

3       ETL体系逻辑模块。

ETL数据处理过程：即数据的抽取、加载与转换。该模块是整个ETL体系的核心，所有源数据层与数据服务层之间的数据映射关系以及数据转换与计算逻辑关系，都蕴含在该模块中。

数据质量检查：是数据在转移和转换过程中正确性保证的重要手段，从实现层次上具备文件级检查、记录级检查、数据级检查和业务级检查四部分的功能，除业务级检查外，其他三类均在ETL过程中实现。

出错处理与回溯：是指各种异常情况的发生而导致数据ETL过程出错时，通过回溯操作可使数据库中的数据恢复到数据正确最近的时点，从而进行恢复性加载。保证EDW数据的可恢复性和数据处理的灵活性。在出错的情况中，比较严重的是当数据库中的数据出现较多错误时，需要对数据库中的数据进行回溯到前一天或数据正确最近的时点

任务调度与控制：统一的任务调度、自动化的流程控制与日志跟踪机制，无论是ETL过程本身，还是过程中的数据质量检查以及出错处理和数据回溯，都需要统一在一个自动化的流程控制中，所有的任务根据其定义进行统一的调度，同时，每一个处理过程都进行日志记录，以便将来的追溯与跟踪。

3.1    数据检查

数据检查在ETL过程中时刻在发挥这作用，数据检查主要包括文件级检查、记录级检查、数据级检查和业务级检查。

源系统将数据文件使用FTP传输到数据仓库服务器后，数据加载过程首先检查数据文件，主要检查数据文件的大小、数据文件格式是否是正规的文本文件。如果文件级检查出错，则整个数据文件不进行解析和加载，并且将有问题的数据文件移到有关目录下保存以便分析使用，同时将错误信息记录到数据库或者日志中。

源系统数据文件通过文件级检查后系统对数据文件进行解析和进行记录级检查。记录级检查主要检查是否使用规定的数据分隔符，字段数是否与数据字典的字段数一致，每个字段的数据格式是否一致等信息。如果数据记录级检查错误则，将有错的记录保存到特定的日志文件中，同时针对每条记录需要标记出记录错误类型以便开发人员分析。

数据级检查主要根据事先定义的数据字典检查数据字段格式是否能够按照规定的数据格式存放到数据库中。如果数据级检查出错则，系统将指定的数据存放到特定的日志文件。

业务级检查主要是在源数据已经进入了临时数据区后有业务人员和设计人员检查数据是否正真代表业务含义，这里没有规定的检查方式需要业务人员和设计人员人为检查。

因此数据质量检查模块在体系组成中需要包括数据质量检查规则配置库、数据质量检查任务、数据质量检查日志结果库。数据质量检查规则配置库用于定义进行数据检查的功能和规则；数据质量检查任务将完成各种具体的检查任务，这些任务将安置在ETL流程的各个环节。同时，在ETL运行的过程中，数据检查任务会将各自检查的结果写入数据检查日志结果库中。

3.2    数据处理

从整体上数据处理是指针对加载数据的抽取、清洗、转换、加载等步骤，但是从数据仓库架构设计上数据处理主要由第一步抽取源系统数据到临时数据区，第二步整理和整合各源系统数据到基础数据区，第三步根据应用系统的需要抽取相关的数据形成数据集市以便相应的应用进行查询。

抽取源系统数据到临时数据区的过程主要通过文本文件格式进行数据交互，一般文本文件有源系统提供，并且使用FTP工具传输到数据仓库服务器，完成数据加载后删除临时文件数据。源系统将需要加载的临时文本文件传送到数据仓库服务器后，数据处理过程根据指定的规则按行进行读取数据文件，在加载数据过程中根据对应的转换规则进行转换数据格式，并且将所有空值数据使用统一的数据进行替代。

从源系统来的数据文件加载到临时数据区后，需要整理和整合各个源系统数据保存到数据仓库的基础区。这个过程是ETL过程中的核心部分，在这个过程中需要根据数据仓库的逻辑数据模型和物理数据模型确定每个主题和历史表之间的关系和相应的加载策略抽取和整合已经保存在临时数据区的源系统数据，最终优化数据结构将各源系统数据存放在基础数据区中。基础数据区是根据数据仓库的逻辑数据模型设计需要满足三范式设计模式，以便数据仓库的数据能够方便的使用和扩展。

在基础数据区的数据已经能够方便的使用，但是在数据仓库项目建设过程中发现，如果应用系统频繁的查询基础数据物理表降低了数据仓库的整体性能。为了解决这个问题，可以采用两种方法进行处理，第一是针对经常被查询的数据建立特定的视图或者物化视图以便提高查询速度，第二是将特定分析内容进行抽取和汇总形成特定分析的数据集市，在数据集市基础之上进行查询和分析。

3.3    出错处理

如果由于各种异常情况的发生而导致数据ETL过程出错时，通过回溯操作可使数据库中的数据恢复到数据正确最近的时点，从而进行恢复性加载。保证EDW数据的可恢复性和数据处理的灵活性。在出错的情况中，比较严重的是当数据库中的数据出现较多错误时，需要对数据库中的数据进行回溯到前一天或数据正确最近的时点。

3.4    任务调度

统一的任务调度、自动化的流程控制与日志跟踪机制，无论是ETL过程本身，还是过程中的数据质量检查以及出错处理和数据回溯，都需要统一在一个自动化的流程控制中，所有的任务根据其定义进行统一的调度，同时，每一个处理过程都进行日志记录，以便将来的追溯与跟踪。

一、反洗钱的内容和现状

　　(一)洗钱的界定

　　1988年的《联合国禁止非法贩运麻醉药品和精神药物公约》将洗钱定义为：(1)明知资产来源于毒品，为了隐瞒或掩饰其非法来源，或为了协助任何涉及此种犯罪的人逃避其行为的法律后果而转换或转让该资产；(2)明知资产来源于毒品犯罪，而隐瞒或掩饰该资产的性质、来源、位置、处置、转移、控制关系或所有权的行为。

　　巴塞尔银行条例则侧重于金融交易，将洗钱描述为：银行或其他金融机构可能无意间被利用作为犯罪资金转移或存储的中介。犯罪分子及其同伙利用金融系统将资金从一账户向另一账户作支付和转移，以掩盖款项的真实来源和受益所有权关系；或者利用金融系统提供的安全保管服务存放款项，此即常言之洗钱。

　　美国《洗钱控制法》、《银行保密法》等规定了洗钱犯罪，依据美国相关法律规定：洗钱是指犯罪分子通过银行把非法得来的钱财加以转移、兑换、购买股票或者直接进行投资，从而掩盖其非法来源和非法性质，使该资产合法化的行为。一般的行为表现是：第一、把钱存入海外银行；第二、先把钱存入本国银行，然后尽快以电汇方式把这些金钱转到国外保密银行；第三、从本地及外国证券公司买入股票，然后卖出；第四、把钱带入合法赌场，购买筹码，马上兑换回现金，造成钱是从赌场赢来的假象。

　　关于洗钱罪的界定，我国学者有多种观点，如：洗钱罪是指明知是毒品犯罪、黑社会性质的组织犯罪、走私犯罪的违法所得及其产生的收益，丽提供资金账户；协助将财产转换为现金或者金融票据、通过转账结算等方式协助资金转移、协助将资金汇往境外以及以其他方法掩饰、隐瞒其来源和性质，意图使犯罪的违法所得及其收益合法化，逃避法律制裁的行为。我国刑法第191条对洗钱定义为：明知是毒品犯罪、黑社会性质的组织犯罪、走私犯罪的违法所得及其产生的收益，掩饰、隐瞒其来源和性质的行为。

　　由此可见，各国由于立法传统、实际情况的不同，在洗钱罪的界定上存在一些差异。首先，对洗钱罪界定的角度有所不同，如有的界定注意该罪与金融等机构的关系；有的界定注重该罪与“上游犯罪”的关系；有的界定则注重该罪的行为方式等。其次，对洗钱罪性质的认定有所不同，如有的着眼于其对社会经济和被害人财产的侵害，把它规定为侵犯财产罪；有的着眼于它对司法的妨害，把它归结为妨害司法罪的一种；有的则着眼于它与为取得黑钱而实施的所谓的“上游犯罪”的密切关系，把它规定在“上游犯罪”的条文之后。笔者认为，就其本质而言，确定洗钱犯罪时，应当考虑的主要因素有：是否具有掩盖财产或财产利益的来源或性质的行为，财产的来源、性质有违法性；次要因素主要有：洗钱行为利用金融等中介机构，洗钱的行为方式，如“清洗”性质的行为或“投资”性质的行为等。

　　(二)洗钱的形式及其影响

　　洗钱的方式可以根据不同的标准作出不同的分类，比如根据其存续时间的不同，可将其分为传统的洗钱方式和新的洗钱方式。传统的洗钱方式主要有：货币走私，货币兑换，投资不动产；此外，利用赌场、合法公司、地下钱庄、中介机构等进行洗钱，利用虚假信用证、篡改发票等手法进行洗钱都是传统的洗钱方式。所谓新的洗钱方式，是在科技进步和金融创新的形势下出现的洗钱方式，如通过通信账户进行洗钱，通过互联网信用卡进行洗钱，运用国际互联网银行进行洗钱，利用智能卡进行洗钱等。笔者认为，洗钱的方式也可以根据是否借助金融机构进行划分，那么，与金融机构相关的洗钱方式主要有：将犯罪所得以现金方式存入金融机构，将金融票据兑换成现金再将现金换成银行汇票汇出，通过金融衍生产品交易进行洗钱，在金融监管不完善的国家进行投资进行洗钱，在银行保密制度较严的国家开立账户存入或提取现金进行洗钱等。此外，新的洗钱方式也表明目前利用金融机构进行洗钱是洗钱的主要方式，而金融机构则包括银行性的金融机构和非银行性的金融机构。由此可见银行等金融机构进行反洗钱的必要性。

　　洗钱的影响是多方面的。对于金融机构而言，不仅会影响其经济效益，也会影响其社会效益。首先，洗钱会损害金融机构的声誉。银行一旦被卷入洗钱丑闻，会极大的损害其在客户心目中的形象和声誉，进而影响客户对银行的信任及银行的经济效益。其次，洗钱影响金融机构进入国际市场。由于我国尚未有反洗钱立法，所以，我国银行进入国际金融市场会遇到很大的阻碍。再次，洗钱影响国家的金融市场。洗钱对金融市场的影响是多方面的，如由于脏钱的流入影响异国的利率变动、由于洗钱行为对金融机构的影响而使一国潜在的金融危机的风险加大等。

　　近几年来，国际洗钱活动呈现出若干趋势：洗钱分子将会更多的利用金融机构和金融从业人员为其洗钱服务；洗钱分子将会更广泛的利用新型的金融工具与金融衍生产品洗钱；洗钱分子将会利用国际金融系统的一体化，把洗钱网络铺设到世界各地；洗钱分子将会加强洗钱手段的复杂化和洗钱技术的现代化等。这些趋势表明，国际洗钱活动将与金融机构发生更密切的联系。

　　(三)我国反洗钱的现状

　　1．立法现状。目前我国尚无统一的反洗钱立法。我国反洗钱立法方面的主要内容如下：1997年修订的《刑法》(第191条)规定了洗钱罪的罪状和法定刑，结束了洗钱方面无明确规定的局面；国务院发布施行《个人存款账户实名制规定》有利于反洗钱；中国人民银行制定的《大额现金支付登记备案规定》和《关于大额现金支付管理的通知》的有关规定，如《关于大额现金支付管理的通知》规定，个人储户一次性从储蓄账户提取现金5万元(不含5万元)以上的，储蓄机构柜台人员需要求取款人提供有效身份证件并经储蓄机构负责人审核后支付；此外，《中华人民共和国证券法》、《中华人民共和国外汇管理条例》等法律也对异常交易报告制度、客户身份识别等有所规定。

　　目前，我国初步形成以刑法为核心、以行政法规为准则、以部门规章为规范的反洗钱法律框架。其中，新刑法是我国反洗钱领域效力最高，与国际规范联系最为密切的部分；行政法规对反洗钱活动也作出了相应规定；而将法律法规落实到实际反洗钱工作中的是有关部门规章。

　　2．银行的反洗钱实践。我国银行开展反洗钱是由内因和外因等多方面的因素促成的，内因如银行自身发展及应对挑战的需要，由于银行是否建立及建立何种程度的反洗钱机制，不仅影响到银行业务的开展，也影响到银行的经营风险和竞争力和社会形象，特别是在我国加入WTO后，加强银行的反洗钱工作成为银行加强自身竞争力的重要工作。对此，我国银行有着清醒的认识，纷纷加强本行的反洗钱工作。

　　中国人民银行。1997年，经国务院批准，中国人民银行公布了《关于大额现金支付管理的公告》，《公告》对银行开户单位基本账户设立及现金支付问题、严禁公款私存问题和银行卡的管理等八方面进行了明确规定。同时，一些针对反洗钱活动所需要其他配套措施已经出台：如《纳税申报制度》、《国际收支统计申报办法》、《中华人民共和国票据法》、《商业银行法》以及《人民银行法》等，这些都为实施反洗钱作了重要铺垫，提供了支持。2002年1月出台的《中华人民共和国外资金融机构管理条例实施细则》中第七条规定设立银行应具备的审慎性条件中包括：“(六)具有有效的反洗钱措施”，这说明中国人民银行将反洗钱工作视为一项重要工作。据悉，目前《反洗钱条例》已修订第三稿。特别值得一提的是，中国人民银行于2002年7月成立了支付交易监测处和反洗钱工作处，进一步加大了反洗钱工作力度。

　　中国银行。中国银行在国内同业中最早开展反洗钱工作。在1998年就制定了《中国银行海外机构反洗钱基本原则》，要求海外分支机构切实加强反洗钱工作。2001年6月又成立了反洗钱工作委员会，由行长亲自领导，委员会下设秘书处负责日常工作。该委员会统一负责中国银行的反洗钱工作，依照我国相关法规及监管要求，通过规范业务流程，健全反洗钱内部监管。此外，中国银行还制定了《中国银行反洗钱手册》，该手册表明中行的反洗钱措施主要包括四个方面：了解客户及其业务、可疑交易的识别和处理、内部交易记录和业务凭证的保存以及内控机制的加强和完善，而且，自2001年起，中国银行将反洗钱工作纳入了对分行绩效考核范围。中国银行还于 2002年4月在北京召开反洗钱及合规工作会，并召开了反洗钱国际论坛，加强与国家有关部门的沟通，探讨在国际背景下如何应对洗钱活动。

　　中国工商银行。2002年1月22日，工商银行总行召开反洗钱工作领导小组第一次会议。本次会议对工商银行反洗钱工作的组织机构、工作重点、工作要求及措施等进行了研究和部署。总行反洗钱工作领导小组由两名行长分别任组长及副组长，小组成员为与反洗钱相关部门的总经理。反洗钱工作领导小组下设办公室，反洗钱工作领导小组及办公室具有各自明确的职责，如反洗钱工作领导小组的主要职责是：就反洗钱问题进行调查研究，制定有关政策；制定行内反洗钱规则，并监督和检查该规则的执行情况；研究和改进反洗钱措施，提高员工的反洗钱意识；开展多种形式、多种层次的与国内国际反洗钱组织的合作及交流。

　　二、反洗钱涉及的若干法律问题

　　(一)反洗钱的“上游犯罪”与反洗钱的界定

　　所谓上游犯罪是指可以构成洗钱罪的犯罪种类，是刑法领域谈及洗钱罪不可不论的问题，它不仅影响到对洗钱罪的认定，也影响着一国的反洗钱水平。一般认为，我国《刑法》规定洗钱罪的上游犯罪为毒品犯罪、黑社会性质的组织犯罪、走私犯罪三种，而不同的国家对上游犯罪的规定则各有不同，如有的只规定惩处贩毒所得的洗钱行为，有的只惩处某些特定犯罪或超过一定危害性的犯罪的洗钱行为，有的则对所有犯罪的洗钱行为予以惩处。笔者认为，我国对洗钱罪的“上游犯罪”的规定，存在以下问题：一是仅限于规定的三种犯罪，能否涵盖洗钱罪能涉及的罪刑，除上述犯罪外是否都不会引起洗钱罪；二是我国对毒品犯罪、黑社会性质的组织犯罪、走私罪的界定存在不同的认识，这对于认定洗钱罪是否会构成障碍；三是如果采用三种上游犯罪的规定，是否所有的毒品犯罪、黑社会性质的组织犯罪和走私犯罪都能构成洗钱罪；四是目前的规定是否会导致以其他犯罪行为引发的洗钱犯罪的发生，是否会影响到人们对其他洗钱行为的忽视。由于这些问题不是本文关注的重点，所以不再进一步分析。

　　(二)洗钱的立法模式与反洗钱实务的选择

　　本文以“了解你的客户”制度为例进行分析：了解你的客户(know your customer，KYC)是反洗钱领域中的一项重要内容，笔者认为，KYC的实践包括其在法律方面的实践和银行实务上的实践。

　　1．法律方面的实践。对客户身份的识别，因各国国情和立法选择的不同而有所不同，比如，根据是否建立了身份证制度，采取以身份证为基础的KYC制度，或以交易记录等为基础的KYC制度。根据各国的实践，在建立KYC制度时应考虑的问题主要有：对客户采取身份识别的条件，如何对客户的身份进行识别；对客户身份识别的程序规定，各国立法实践所体现出的立法模式有两类：一类是规定银行进行客户身份识别的各种情形；另一类是规定KYC的总体要求而赋予金融机构较大的裁量权。

　　识别客户身份的法律实践。有效的KYC制度离不开法律依据，从各国的法律法规中可以看出，虽然KYC是各国法律所关注的问题，但是在具体规定中仍然体现出一定的差异，如对KYC作出原则性规定或作出具有较强操作性的规定。下面，简要介绍《金融系统反洗钱指导准则》(以下简称《准则》)建立的KYC制度。《准则》对不同的客户建立了不同的核实身份的方法，包括对本地居民客户和跨国居民客户两大类。其中，本地居民客户中又包括个人客户，非面对面开户账户，本地公司客户和其他商业账户客户，公司、非公司商务活动，本地中介机构等；跨国居民客户包括跨国居民公司客户，跨国介绍的业务、信托/受托人/受益人账户，个人受托人和被指定人。《准则》要求保留的客户身份记录必须达到：能够表明身份证明的性质；是能够组成一份证据或提供如何获得证据、重新获得身份证明的细节信息。可见，在识别客户身份时，应当为其日后形成证据做好准备，因为KYC不仅是银行降低其洗钱风险的基础，也是银行履行法律对其要求的举证责任的基础。

　　2．银行的KYC实践。以花旗银行的KYC制度为例，其以KYC做为反洗钱的重要政策之一，并表明其将避免与身份不能确定的自然人或法人进行交易。花旗银行的KYC制度大致包括：获得客户的基本背景信息、客户的额外信息、特殊账户的信息、对代理人身份的识别、对已具备的客户信息的运用及建立其他与客户身份识别有关的政策及程序。具体讲，如确定拒绝提供要求的信息或提供的信息有矛盾，且此矛盾经过调查仍未解决的自然人或客户是“身份不能确定的自然人或法人”；建立银行内部对客户身份信息的共享，建立已有客户信息的业务的文件，确保业务中运用的KYC政策和程序保持一致性等。

　　3．对我国银行KYC制度的几点想法。由于我国尚未有统一的反洗钱法律，而这已经对KYC制度的建立造成了阻碍。因此，对于我国KYC制度，从立法角度应由立法机关与金融机构沟通，首先确立立法的途径，即确定是由法律规定较为细致的KYC制度，还是规定由金融机构有较大自由裁量权的KYC制度。笔者认为，在我国反洗钱尚处起步，金融机构及其客户对反洗钱的认识尚不充分的情况下，采取第一种立法途径较为适当。但是，在确定制度框架时，为加强制度的可行性，立法机构应与金融机构广泛深入的交换意见。从KYC制度的具体内容角度，应借鉴《准则》确定KYC制度的组成。笔者认为，一项完整的KYC制度应当包括：对KYC制度地位的确立，将KYC作为反洗钱的一项重要内容；确立对不同客户的不同身份识别方法；确立客户身份识别的例外规定，如确立不需进行客户身份识别的情形及需要加大客户身份识别力度的情形，前者如通过机构内部的客户身份信息共享而减少重复的客户身份识别，后者则如对中介机构进行的身份识别；应确立识别客户身份与反洗钱其他环节的关系，如明确KYC与交易报告、记录保存等环节之间的联系。另外，不同客户的身份识别还应当充分考虑客户与金融机构具有良好的业务关系及客户的信用评级、客户的所在国是否是金融行动特别工作组 (FATF)等确定的“黑名单”上的国家或地区等因素。

　　加强KYC宣传，建立金融机构的统一标准。虽然 KYC对金融机构并非新概念，但如何开展本行的KYC工作则成为银行注意的问题，而且不同程度的KYC制度对金融机构及其客户在业务及认识上也造成了困惑：银行担心过度的KYC制度的实施会使客户选择其他要求提供较少客户信息的银行的服务，而客户对KYC的认识不足会影响其对银行业务操作的认识。因此，只有加大对客户的相关宣传，如强化对实名制的意义的持久宣传，对洗钱对银行、国家、社会的损害的宣传，对客户身份识别在国外的普遍实行等的宣传等，使客户能够对KYC要求的义务积极履行；通过银行业同业机构或其他有权机构在法律明确规定出台前确立银行业的KYC标准，消除银行顾虑，继而为银行降低洗钱风险发挥积极作用。同时，加强KYC研究，探索新业务中的客户识别方法。由于金融工具的不断创新，对客户身份的识别也提出了新的要求，比如在“自动贸易方式”和“自动支付”方式下，由于快速化、匿名化和无监管交易基础造成的对身份识别、交易报告等带来的挑战，银行只有从技术和对新业务的研究及同业交流中积极寻求有效的身份识别机制，才能适应形势的变化。由此可见，我国的反洗钱立法模式选择需要在总结自身现状的基础上，借鉴国际上较为先进的立法模式，并逐步制定有效且适应国际趋势的反洗钱法律。

　　三、对商业银行进行反洗钱的建议

　　1．研究掌握国内外现行的对金融机构反洗钱工作的基本要求。由于反洗钱工作使金融机构面临着实现经济效益和承担社会责任、满足客户要求与履行义务之间的复杂关系，使得金融机构在进行反洗钱时有一定的困难。为解决这种困难，切实可行的办法有二：其一，按照国内现行法律的要求和金融机构普遍的反洗钱水平，进行反洗钱工作。具体地讲，就是掌握我国刑法对洗钱罪的界定，对洗钱罪中涉及的行为高度重视、严加防范；按照《个人存款账户实名制规定》、《关于居民、非居民个人大额外币现钞存取有关问题的通知》、《关于提高境内居民因私兑换标准的通知》、《信用卡管理办法》、《银行卡业务管理办法》、《银行账户管理办法》等规定，进行反洗钱工作。其二，掌握国际上对金融机构进行反洗钱的要求和做法。笔者认为这是更为有效的方法。目前具有反洗钱工作优势的国家及金融机构不仅会进一步加强自身反洗钱的能力，也会不断地促进其反洗钱经验的推广。目前尚无反洗钱机制或反洗钱机制相对落后的金融机构，为适应全球重视反洗钱的趋势及增强自身竞争力和商誉的需要，会加大自身反洗钱的力度，而其中成本较低而又较为有效的方式自然是按照国际上普遍的对金融机构反洗钱的要求决定自己的制度。国际上对金融机构反洗钱的要求，如《联合国禁止洗钱法律范本》(1995年4月)规定金融机构应当配合(援助)反洗钱的监管机构，具体义务包括：于业务结束后，在不短于五年的期间内保存交易记录；金融机构的官员或雇员对有理由相信洗钱活动正在、已经或将要进行时向监管当局报告交易人的身份、交易本身及其他情况；遵守监管当局的指示；接收监管当局的检查、询问等；遵守监管当局的指导准则和培训要求。这些规定对于我国金融机构进行反洗钱工作有相当的参考价值，如制定反洗钱政策时应包括的内容、金融机构在反洗钱工作中应当遵循的要求及应当履行的义务及其他由此衍生出的内容等。

　　2．建立系统化的反洗钱工作机制。如前所述，一套有效的反洗钱机制应当包括：识别客户身份的制度、交易报告制度、可疑交易报告、记录的保存、反洗钱的内部控制机制、对员工的教育与培训制度。这里主要对可疑交易报告制度进行分析。首先，制度应对可疑交易的线索作出规定。如瑞士联邦金融委员会对具有洗钱迹象的一般因素和特殊因素均作出规定，其中：一般因素，如某项交易超出银行正常范围之外或其正常客户范围之外，并对客户进行某项交易唯独选择该银行不能作出解释；特殊因素又分为现金交易、活期存款账户与存款交易中的特殊因素，前者如临时客户购买大量银行支票，后者如没有指明谁是受益人的付给另一银行的汇票。其次，制度应当对报告的机构加以明确。可疑交易的报告应当包括：对本级行的反洗钱机构的报告，对上级行的反洗钱机构的报告、对监管当局的报告和对司法机关的报告，向哪一级机构报告应取决于可疑行为的性质和发现可疑行为的金融机构的地位。再次，制度应当对报告的处理规定具有可操作性的程序。与报告的机构相对应，处理报告的机构分别是本级行的反洗钱机构、上级行的反洗钱机构、监管当局和司法机关；处理的程序应当包括对报告分析的程序和对报告处理的程序，程序涉及的内容应当包括但不限于接收报告的人员，处理报告的时间限制，处理情况的书面记录或报告以及处理的标准和原则等。

　　3．加强对员工的反洗钱培训。强化员工的反洗钱培训对银行的反洗钱王作至关重要，比如客户身份识别制度只有在银行内部各部门及其员工的落实行动中才能实现其价值，特别是在一些由银行员工根据授权完成的客户身份识别工作的情形下，员工在KYC制度中格外重要。通过培训和管理，使金融机构的员工对洗钱行为有足够的警惕，并通过适当的报告制度加强KYC制度与反洗钱的其他环节的联系，如建立对客户信息变动的及时监控的程序以及银行员工对上级的报告程序、银行与金融监管机构间的报告程序间的连贯性和谐调性等。对于反洗钱培训，笔者认为应注意以下两个方面：第一，培训内容应当全面并具可操作性。鉴于我行反洗钱工作的实际情况，应当加快建立反洗钱的程序手册，使员工更易于进行反洗钱操作，并使反洗钱操作规范化、高效化。而对于程序的设定，一是应当由各业务部门对自身的业务程序有准确清楚的描述，并明确本业务程序中可能包含的洗钱隐患环节；二是由业务部门分别和反洗钱机构对本部门的程序内容进行研究分析，确定本部门的程序手册；三是由反洗钱机构汇总各部门的程序，再与所有的业务部门商讨，确定统一的反洗钱程序手册。在制定程序手册时，应当尽可能的与反洗钱水平较高的金融机构交流。第二，培训机制应当健全。我行的培训机制应当针对不同员工的要求，制定层次不同的反洗钱培训计划，如对一线员工侧重于识别客户及交易、可疑交易的报告的培训；对所有员工进行的反洗钱基本内容、规章制度的定期或不定期培训；对反洗钱关键岗位员工进行的更加深入、全面的反洗钱培训等。同时，设置不同层次的反洗钱培训机构和人员。不同层次的反洗钱培训机构是与各行级别相适应的培训机构，培训人员应当包括主要进行内部组织联络的人员、主要负责培训内容的人员和其他人员等。

　　4．加强反洗钱信息的交流。信息在反洗钱工作中至关重要，笔者认为，反洗钱的信息交流应当包括：银行内部的信息交流，银行之间的信息交流，银行与其他机构之间的信息交流。银行内部的信息交流机制，如花旗银行的反洗钱手册中曾提到银行内部的信息交流，主要是通过银行内部对客户信息的共享，减少不同分支机构、不同部门之间重新获取客户信息的成本，同时也使内部判断交易是否是可疑交易更加准确。可见，由于这类信息交流是银行信息网络所具有的功能，因此，建立这样的信息交流并非难事，但有些因素需要注意，如：一是要强调信息的性质和内容；二是根据实际，银行可以建立自己的反洗钱信息机构，该信息机构的形式可以是多层次的信息传输机构，也可以是单一的网络信息中心。至于银行之间的信息交流机制，其必要性在于反洗钱的国际合作的日益加强，这种国际合作使国内银行间要加强信息流以适应与其他国家合作的趋势，使不同国家的银行间需要通过信息交流实现反洗钱的国际合作。银行间信息的交流可以通过银行间自发设立的信息中心进行，也可以通过监管机构设立的信息中心进行，前者基于自愿，后者则具有强制色彩，采取何种形式应取决于一国的客观实际和金融机构的意愿。银行与其他机构之间的信息交流机制，与前两类信息交流机制有所不同，区别在于信息交流的目的有所不同，银行与其他机构之间的信息交流有一定的证据作用，如有些国家规定，银行如果对可疑交易作出了报告，以后该交易被认定为洗钱行为时，银行可以免责；报送的信息有所不同，如向司法机关报送的信息有时是由法律所规定的。笔者认为，向其他机构的信息报送，特别是向司法机构报送的信息，应当注意严格遵循现行法律的规定，如我国对银行协助查询、冻结、扣划的有关规定；报送信息的程度应当根据实际情况进行，一般认为对可疑交易的信息披露不应受为客户保密义务的限制，但我国对此尚无明确规定，因此，仍然要处理好信息披露与为客户保密之间的关系。最后，应当强调的是，无论是哪一类信息交流都必须充分注意对信息的保密工作，应当建立特定人员的有区别的信息获得和处理制度，以保证信息及时获取和信息的保密，即使是银行内部的信息交流也应如此。

　　参考文献

　　[1]周振想．中国新刑法释论与罪案[M]．北京：中国方正出版社，1997．

　　[2]钊作俊．洗钱犯罪研究[J]．法律科学，1997， (5)．

　　[3]汪鑫．反洗钱立法刍议[J]．法学评论，1996， (5)．

　　[4]王大东．浅析洗钱犯罪及我国反洗钱对策[J]．政法论坛，1998，(5)．

　　[5]邵沙平．论英国对跨国洗钱的法律控制[J]，法学评论，1997，(4)，

　　[6]黄道秀．俄罗斯联邦刑法典[M]．北京：法律出版社，1996．

　　[7]罗结珍．法国刑法典[M]．北京：中国人民公安大学出版社，1995．

　　[8]宋炎禄．洗钱与反洗钱的较量[M]．成都：西南财经大学出版社，2000．

AIX基础教程

2003-01-29 06:27:02 阅读 38219 次

文件系统性能调优

看的越多，越解惑

1、顺序读性能调优

VMM 的顺序预读功能能够改进需要顺序访问大文件的程序的性能。
下面的插图展示了典型的预读的情况。
顺序预读的例子. 插图显示了用一行块模拟一分段磁道的文件页号。这些块段按 0，1 到 3，4 到 7，8 到 15 以及 16 到 23 编号。顺序预读的步骤可以在紧接着插图后的文本中找到。

在这个例子中，minpgahead 的值为 2，maxpgahead 的值为 8 （缺省值）。程序顺序处理文件。图中只显示了对预读机制有重要作用的数据引用（按从 A 到 F 的顺序标出）。这些步骤是：
A
第一次文件访问读取文件的第一页（第 0 页）。在这个时候，VMM 并不知道这次访问是随机还是顺序访问。
B
当程序访问下一页（第 1 页）的首字节而不存在对文件其它页的插入访问时，VMM 推断出该程序正在进行顺序访问。于是将页提前量设为 minpgahead (2) 并且调度读取额外的页（第二、三页）。这样步骤 B 总共读取了 3 页。
C
当程序访问预读的第一页（第 2 页）的首字节时，VMM 将页提前量加倍到 4 并且调度读取第 4 到 7 页。
D
当程序访问前次预读的第一页（第 4 页）的首字节时，VMM 将页提前量加倍到 8 并且调度读取第 8 到 15 页。
E
当程序访问前次预读的第一页（第 8 页）的首字节时，VMM 决定将页提前量设为 maxpgahead 并且调度读取第 16 到 23 页。
F
VMM 在程序访问前一组预读页的首字节的情况下继续预读 maxpgahead 页直到文件结尾。
一旦程序偏离了顺序访问模式并且不按次序访问了文件中的一页，顺序预读就会终止。当 VMM 检测到程序恢复顺序访问后，页提前量便会恢复到 minpgahead 页。
可在 ioo 命令中使用 -r 和 -R 选项来更改 minpgahead 和 maxpgahead 的值。如果您打算改变这些值，请记住：
该值必须是集合：0、1、2、4、8、16 等中的一个。使用其它值可能会对性能或功能造成不利影响。
o 由于 VMM 的加倍算法，该值应该是 2 的幂。
o 大于 16 的 maxpgahead 值（预读量大于 64 KB）会超出某些磁盘设备驱动程序的能力。在这种情况下，预读的大小会保持在 64 KB。
o 更大的 maxpgahead 值可用于条带状逻辑卷的顺序性能显得至关重要的系统中。
minpgahead 和 maxpgahead 的值都为 0 能有效消除此机制。这会给性能带来负面影响。但是，在 I/O 随机的一些情况下，这可能也有用处，这时 I/O 的大小会使预读算法生效。
对于非条带状文件系统，当 maxpgahead 值为 8 或 16 时，其顺序 I/O 性能会达到可能的最大值。
预读值从 minpgahead 增加到 maxpgahead 的过程很快，对于大多数文件大小来说增大 minpgahead 值都不会带来任何性能的提高。
可以针对 JFS 和增强型 JFS 分别调优顺序预读功能。JFS 的预读页可以通过改变 minpgahead 和 maxpgahead 的值调优，而增强型 JFS 使用 j2_minPageReadAhead 和 j2_maxPageReadAhead。

2、顺序和随机后写性能调优
后写涉及在达到某个阈值后将内存中修改过的页面异步写到磁盘上，而不是等待 syncd 守护程序将页面清空到磁盘上。这被用于限制内存中的脏页数，减少系统开销和最小化磁盘碎片。后写有两种类型：顺序后写和随机后写。

顺序后写
缺省情况下，一个 JFS 文件划分成 16 KB 大小的分区或 4 页。每一个这样的分区被称为一簇。如果该簇中的 4 页都是脏页，那么一旦修改完下一个分区，系统就会调度该簇中的 4 页并将其写入磁盘。如果不具备这一功能，则直到 syncd 守护程序运行前，该页都会留存于内存，导致可能的 I/O 瓶颈和文件碎片。
VMM 用于充当阈值的簇数是可调优的。缺省值是一簇。使用 ioo -o numclust 命令来增加 numclust 参数可以延迟后写。
对于增强型 JFS，ioo -o j2_nPagesPerWriteBehindCluster 命令用来指定每次调度的页数，而不是簇数。增强型 JFS 簇的缺省页数为 32，意味着增强型 JFS 的缺省大小为 128 KB。

随机后写
可能存在一些应用程序执行大量的随机 I/O，即 I/O 模式不满足后写算法的要求，因而导致所有页面驻留在内存中，直到 syncd 守护程序运行为止。如果应用程序在内存中修改了许多页，就有可能在 syncd 守护程序调用 sync() 时向磁盘写入大量页。
后写功能提供了这样一种机制，即当给定文件在内存中的脏页数超过规定阈值后，则会调度所写的后续页面以写到磁盘上。
通过使用 ioo 命令并带有 JFS maxrandwrt 参数可调整此阈值。缺省值为 0，表示随机后写是禁用的。将该值增加到 128 表示一旦文件驻留于内存的页达到 128 页，随后的任何脏页都将被调度写入磁盘。而这些页将在调用 sync() 后刷新。
对于增强型 JFS，ioo 命令选项 j2_nRandomCluster（-z 标志）和 j2_maxRandomWrite（-J 标志）用来调优随机后写。增强型 JFS 的 j2_maxRandomWrite 选项和 JFS 的 maxrandwrt 选项功能相同。即它限定了每个文件可以留在内存中的脏页数。j2_nRandomCluster 选项指定了可以被视为随机的两次连续写入之间的簇数。

3、异步磁盘 I/O 性能调优
如果应用程序进行同步 I/O 操作，它必须等待 I/O 完成后才能继续执行。相反，异步 I/O 操作在后台运行，不会阻塞用户应用程序。这就改进了性能，因为 I/O 操作和处理中的应用程序可以同时运行。许多应用程序，诸如数据库和文件服务器，利用了重叠处理和重叠 I/O 的能力。
应用程序可以使用 aio_read() 命令、aio_write() 或 lio_listio() 子例程（或它们的副本）来执行异步磁盘 I/O。一旦请求被排队，控制权就从子例程返回应用程序。当磁盘操作被执行时，应用程序可以继续处理。
为了管理异步 I/O，每一个异步 I/O 请求在应用程序地址空间有一个相应的控制块。该控制块包含了请求的控制和状态信息。在 I/O 操作完成后可以被再次使用。
在发出了一个异步 I/O 请求，用户应用程序可以决定何时并以何种方式结束 I/O 操作。这些信息在以下三种方式的任何一种中提供：

应用程序可以轮询 I/O 操作的状态。
当 I/O 操作完成后系统可以异步通知应用程序。
应用程序可以阻塞，直到 I/O 操作完成。

每个 I/O 是由单个 kproc 处理，并且一般来说 kproc 不能处理任何更多的队列中的请求，直到 I/O 已经完成。当异步 I/O 启用时，缺省的配置好的服务器最小数目为 1。这是 minservers 属性。还存在一个可以创建的最大异步 I/O 服务器数，它由 maxservers 属性控制，缺省值为 10（每个 CPU）。服务器的数量限制了可以在系统中同时处理的异步磁盘 I/O 操作的数目。服务器数可用 SMIT 命令（smitty -> 设备 -> 异步 I/O -> 更改／显示异步 I/O 的特征 -> {MINIMUM | MAXIMUM} 服务器数目或 smitty aio）或者使用 chdev 命令来设置。
很少运行应用程序的系统可以使用异步 I/O，缺省值通常可以勉强够用。
如果异步 I/O 请求数目是高的，那么推荐您增加 maxservers 大约至同时 I/O 可能的数目。在大多数情况下，您最好保留 minservers 参数为缺省值，因为如果需要的话，AIO 内核扩展将生成附加的服务器数。
注:
执行在裸逻辑卷上的 AIO 操作并不使用 kproc 服务器进程。有关 maxservers 和 minservers 的设置在这种情况下没有效果。
通过查看 AIO 服务器的 CPU 利用率，如果利用率在它们中间均匀的分配，那就意味着它们都在使用中；在这种情况下，您可能要增加它们的数量。以名称查看 AIO 服务器，运行 pstat -a 命令。运行 ps -k 命令来查看名称为 kproc 的 AIO 服务器。
在异步磁盘 I/O 的性能很重要并且卷请求很高，而你又没有一个适当的同步 I/O 数量的环境下，建议把 maxservers 至少设置为 10（异步存储磁盘的数）。
对系统来说可以通过三个异步存取磁盘获得，如下所示：
# chdev -l aio0 -a maxservers='30'
此外，您可以设置未完成异步 I/O 请求的最大值以及服务器的优先级。如果您的系统拥有大量的异步 I/O 应用程序，那就可以适当地增加请求数以及降低优先级数目。

4、文件同步性能调优
JFS 的非顺序文件 I/O 会一直存储在内存中直到满足一定条件：
空闲列表缩小到 minfree，以致需要进行页替换。
syncd 守护程序按固定调度间隔刷新页。
执行了 sync 命令。
随机后写在达到随机后写阈值后清空脏页面。
如果在以上的任一条件满足前已存储了过多页，则在 syncd 守护程序进行刷新时，会获得一个 i-node 锁并保持到所有的脏页都被写入磁盘。在这段时间里，任何试图访问此文件的线程会由于无法获得 i-node 锁而被阻塞。请记住：syncd 守护程序会顺利的刷新一个文件中的所有脏页，但限于一次一个文件。在一个拥有大量内存并同时有大量页需要修改的系统中，syncd 守护程序刷新页时 I/O 可能达到高峰值。
AIX 有一个称为 sync_release_ilock 的可调选项。ioo 命令加上 -o sync_release_ilock=1 选项允许在清空该文件的脏页面后释放 i-node 锁。这一选项使得在调用 sync() 的过程中访问该文件有更好的响应。
阻塞效果也可通过在 syncd 守护程序中提高同步频率使之最小化。更换用于启用 syncd 守护程序的 /sbin/rc.boot。然后重新引导系统使之生效。对现行系统，杀死 syncd 守护程序进程并按新的值重新启动守护程序。
第三种调优这种行为的方法是使用 ioo 命令开启随机后写功能

文件系统缓冲区调优
以下 ioo 参数可用于调优磁盘 I/O：
numfsbufs 参数
当有大量针对文件系统的同步或大型 I/O 或是存在针对文件系统的大型顺序 I/O 时，这些 I/O 可能会在等待 bufstruct 时成为文件系统级的瓶颈。每个文件系统的 bufstructs 数目（称为 numfsbufs）可使用 ioo 命令增加。该值仅在文件系统加载后才会生效；因此如果更改了这个值，则必须卸载然后再次加载文件系统。numfsbufs 的缺省值目前为每个文件系统 93 个 bufstruct。
j2_nBufferPerPagerDevice 参数
在增强型 JFS 中，bufstruct 数量由参数 j2_nBufferPerPagerDevice 指定。当前增强型 JFS 文件系统的缺省 bufstruct 数是 512。每个增强型 JFS 文件系统的 bufstructs 数（j2_nBufferPerPagerDevice）可以使用 ioo 命令来增加。该值在文件系统被加载后才起作用。
lvm_bufcnt 参数
如果应用程序正在处理很大量的裸 I/O 而不通过文件系统，同文件系统相同类型的瓶颈也可能出现在 LVM 层上。极大量的 I/O 加上极快的 I/O 设备可能会导致 LVM 层上的瓶颈。但是如果真的出现瓶颈，则可以通过 ioo 命令增加 lvm_bufcnt 参数，以提供大量的“uphysio”缓冲区。该值会立刻生效。当前的缺省值是 9 个 “uphysio” 缓冲区。由于当前 LVM 将 I/O 分为每个 128 K，而 lvm_bufcnt 的缺省值为 9，故一次可写入 9*128 K。如果正在进行的 I/O 大于 9*128 K，增加 lvm_bufcnt 的值才会有利。
hd_pbuf_cnt 参数
hd_pbuf_cnt 参数控制可用于 LVM 设备驱动程序的 pbufs 数。pbuf 是用于存放暂挂于 LVM 层的 I/O 请求的固定内存缓冲区。
在 AIX 中，顺序 I/O 的结合使得无论 I/O 包括多少页，每个顺序 I/O 请求只使用单个 pbuf。这种类型的瓶颈一般很难遇到。而对于随机 I/O，除非运行 syncd 守护程序，I/O 一般会被零星地刷新。
确定是否发生 pbuf 瓶颈的最好方法是检查称为 hd_pendqblked 的 LVM 变量。以下的脚本会给出该变量的值：
#!/bin/ksh
# requires root authority to run
# determines number of times LVM had to wait on pbufs since system boot
addr=`echo "knlist hd_pendqblked" | /usr/sbin/crash 2>/dev/null |tail -1| cut -f2 -d:`
value=`echo "od $addr 1 D" | /usr/sbin/crash 2>/dev/null | tail -1| cut -f2 -d:`
echo "Number of waits on LVM pbufs are: $value"
exit 0
ioo -a 命令也会显示 hd_pendqblked 值。
注:
请不要把 hd_pbuf_cnt 值设得太大，因为除了重新引导系统无法减小该值。
pd_npages 参数
pd_npages 参数指定当删除文件时 RAM 的某一块中应该删除的页数。改变此值只对那些需要删除文件的实时应用程序才有用。由于在分派某个进程／线程之前将删除少量的页面，因此通过减小 pd_npages 参数的值，实时应用程序可获得更快的响应时间。缺省值是最大可能文件大小除以页面大小（目前为 4096）；如果最大可能文件大小为 2 GB，则 pd_npages 参数的值缺省为 524288。
v_pinshm 参数
当 v_pinshm 参数设置为 1 时，如果执行 shmget() 的应用程序指定 SHM_PIN 作为标志的一部分，就会使共享内存段中的页面由 VMM 固定。缺省值为 0。
应用程序可以选择提供某种可调优性：指定应用程序是否应该使用 SHM_PIN 标志（例如： Oracle 8.1.5 及以上版本中提供的 lock_sga 参数）。请避免固定过多的内存，因为在这种情况下无法进行页替换。由于节约了这些共享内存段的异步 I/O 开销（不需要异步 I/O 内核扩展来固定缓冲区），因此这种固定是很有用的。
fsbufwaitcnt 和 psbufwaitcnt 计数器
只要 bufstruct 变得不可用以及 VMM 将一个线程放入 VMM 等待列表中，fsbufwaitcnt 和 psbufwaitcnt 计数器就会递增。使用 crash 命令或 ioo -a 命令的 fsbufwaitcnt 和 psbufwaitcnt 选项来检查这些计数器的值。下面是输出的示例：
# ioo -a
hd_pendqblked = 305
psbufwaitcnt = 0
fsbufwaitcnt = 337
xpagerbufwaitcnt 计数器
只要增强型 JFS 文件系统上的 bufstruct 不可用，xpagerbufwaitcnt 就会递增。可使用 ioo -a 命令检查 xpagerbufwaitcnt 计数器的值。下面是输出的示例：
# ioo -a
xpagerbufwaitcnt = 815

5、直接 I/O 调优
当您在对文件进行正常的 I/O 处理时，I/O 在应用程序缓冲区和 VMM 之间来回进行。在缓冲区中的内容通过 VMM 把实存作为文件缓冲区的高速缓存的使用而高速缓存于 RAM 中。如果文件高速缓存命中率很高，那么这个高速缓存的类型在提高 I/O 的总体性能上将十分有效。但是高速缓存命中率很低的应用程序或者执行大量 I/O 的应用程序也许不会从正常的高速缓存 I/O 使用中得到很多好处。
直接 I/O 的主要益处在于通过消除从 VMM 文件高速缓存到用户缓存的副本来减少 CPU 对文件读操作和写操作的使用率。如果高速缓存命中率低，那么大多数读取请求不得不转向磁盘。写操作在大多数情况下使用正常高速缓存 I/O 要更快。但是如果文件是以 O_SYNC 或 O_DSYNC打开的，那么写操作将不得不转向磁盘。在这种情况下，直接 I/O 可能使应用程序获益，因为数据的副本被消除了。
另一个益处是直接 I/O 可以允许应用程序避免稀释高速缓存对其他文件的效能。当一个文件被读取或写入时，该文件竞争内存空间，有可能引起其他文件数据被推出内存。如果一个应用程序开发者知道某些文件有较低的高速缓存利用率特征，那么只有那些文件可以用 O_DIRECT 打开。
为了让直接 I/O 有效地工作，I/O 请求适用于正被使用的文件系统的类型。finfo() 和 ffinfo() 子例程可以用来查询偏移量、长度以及固定块大小文件系统、碎片文件系统和大文件文件系统有关对地址校正的需求（直接 I/O 没有支持压缩文件系统）。查询到的信息包含于 diocapbuf 结构中，该结构在 /usr/include/sys/finfo.h 文件中描述。
为了避免一致问题，如果有多个调用用来打开文件并且一个或多个调用没有制定 O_DIRECT 而另一个打开操作指定了 O_DIRECT，那么文件将保留于正常高速缓存 I/O 模式。同样的，如果文件是通过 shmat() 或 mmap() 系统调用来映射到内存中，它们保留在正常高速缓存模式。如果最后一个冲突，非直接存取被消除，那么文件系统将把文件移入直接 I/O 模式（或者使用 close()、munmap() 或者使用 shmdt() 子例程）。从正常模式到直接 I/O 模式可能代价不小，因为所有在内存中修改过的页面将不得不在那点上刷新磁盘。

直接 I/O 读操作的性能
即使使用直接 I/O 可能减少 CPU 的使用，但很有可能产生更长的消逝时间，特别对小型 I/O 请求而言，因为请求不会在内存中高速缓存。
直接 I/O 读取操作会从磁盘引起同步读操作，然而通过正常的高速缓存策略，读取操作可能会从高速缓存那里得到满意的结果。如果数据在内存中遵循正常高速缓存策略，那么这样可能导致性能低下。直接 I/O 也忽略 VMM 预读算法，因为 I/O 并不通过 VMM。预读算法对顺序存取文件非常有用，因为 VMM 可以启动磁盘请求并且能在应用程序请求页面之前使页面早就驻留在内存中。应用程序可以通过一下方法中的一种补偿预读的损失：
执行读取请求（最小 128 K）
使用多个线程执行异步直接 I/O 预读取。
使用异步 I/O 设施诸如 aio_read() 或者 lio_listio()

直接 I/O 写操作的性能
直接 I/O 写操作绕过 VMM 直接写入磁盘，以致于可能产生严重的性能损失；在正常高速缓存的 I/O 中，写操作可以写入内存，稍后通过 sync 或 write behind 操作清空到磁盘上。由于直接 I/O 写操作并不复制到内存，当一个 sync 操作执行后，它不会必须刷新这些页面，这样一来就减少了 syncd 守护程序必须执行的工作量。

直接 I/O 调优摘要
直接 I/O 本质上比常规 I/O 需要更少的 CPU 周期。 I/O 增强性应用程序不会在常规 I/O 所提供的高速缓存中得到益处，但是可以使用直接 I/O 来增强性能。
作为直接 I/O 的适当候选者的程序通常受 CPU 限制并且执行大量的磁盘 I/O。拥有大量顺序 I/O 的技术应用程序是适当的候选者。执行许多小型 I/O 的应用程序一般来说受到较少的性能益处，因为直接 I/O 不能预读或后写。受益于条带区的应用程序同样是不错的候选者。

sar -P ALL   cpu使用情况

sar -a 文件访问情况
dirblk/s  定位文件时被目录访问守护进程读取的快（512b）的个数
iget/s    i节点查找系统进程被调用次数
lookuppn/s 目录查找进程找到v节点，并获取路径名的次数

sar -b  buffer的活动情况，包括传输、访问、和命中率
bread/s、bwrit/s 块IO操作的数量
lread/s、lwrit/s 逻辑 IO请求的个数
pread/s、pwrit/s 裸设备IO操作数量
%rcache、%rwrit cache命中率，计算共式为：((lreads-breads)/lreads)*100

sar -c 系统调用情况
exec/s、fork/s  调用和执行系统调用总数
sread/s、swrit/s read/writ 系统调用次数
rchar/s、wchar/s 被read/writ系统调用的字符数量
scall/s  系统调用总数

sar -k 内核进程活动情况
kexit/s 中断的内核进程数
kproc-ov/s 由于进程数的限制无法创建内核进程的次数
ksched/s 被作业分派的内核进程数

sar -m 消息队列和信号灯活动情况
msg/s  IPC消息队列活动情况
sema/s 信号灯活动情况

sar -d 磁盘读写情况

sar -q 队列统计信息
run-sz 内核线程处于运行队列的平均数
%runocc 最近时间段运行队列占用百分比
swpq-sz 内核线程等待 页面调度的平均数
%swpocc 交换队列最近活动情况

sar -r 页面调度信息
cycle/s 每秒中页面置换次数
fault/s 每秒中page fault次数
slots   在页空间中空闲页数量
odio/s 每秒中不使用页面空间的磁盘io数

sar -v 进程、内核线程、i节点、和文件表 的状态

sar-w 上下文切换次数

sar -y tty设备活动情况
canch/s  tty输入队列中规范的字符数
mdmin/s  tty modem 中断
outch/s  输出队列字符数
rawch/s  输入队列字符数
revin/s  tty接收中断
xmtin/s  tty传输中断

如果CPU的使用率接近100％（usr＋system），可以视为是CPU瓶颈。而如果相当大的时间都花费在IO等待上，那就意味着cpu执行受到了磁盘IO的限制，
而IO瓶颈可能来自于文件访问或者没有足够的内存来分配页面。
注意：系统花费在等待远程文件访问的时间不会记入io 等待时间，如果CPU和IO等待的时间都相当的低，但是响应时间又不是很满意，那应该确认系统
花费多少时间在等待远程io，一直一来aix下没有命令对远程io进行分析，只能通过跟踪数据来观察。

vmstat

vmstat命令报告内核线程，虚拟内存、磁盘、陷阱、和CPU活动情况。
Kthr  线程活动情况
r 运行队列
b 等待队列

memory 虚拟和实际内存使用情况
avm  活动的虚拟页面
fre  空闲的页面，当系统内存大于64MB时，最小值MINFREE为120frames，当内存小于64MB时，最小值为内存以MB计的两倍
     MINFREE和MAXFREE值可以通过vmtune命令来查看

page  page fault和page活动情况，当在内存里分配一个页面时（非NFS或者永久文件页面），其被视为工作页面，工作页面通常包括应用堆栈、
      数据和其他的共享内存段。因此当一个程序栈或者数据区域需要增长时，内存会被被访问，vvm会从ram和页面空间所在设备分配空间。这就意味着
      在内存耗尽之前，页面空间会被使用。
re    页面输入输出列表，每秒中内存回收数量，当页面处于空闲列表且没有被再利用，它就会被回收应为没有新的IO会初始化它，也包括那些没有完成的IO操作但又被VMM使用
      预先读取算法调入内存的页面。
pi    从页面空间page in的页面
po    从页面空间page out的页面

fr    页面空闲（页面重置）
sr    页面被页面调度算法扫描次数
cy    页面调度算法进行调度的时钟周期

faults  陷阱和系统中断率
in    设备中断
sy    系统调用
cs    内核线程上下文切换

CPU  cpu使用情况
usr  用户进程
sys  系统进程
id   cpu空闲时间
wa   等待磁盘IO时间

准则：
r<5，b≈0，
如果fre<MINFREE，将会出现连续不断的页面调度，将导致系统性能问题。
对于page列，re，pi，po，cy维持于比较稳定的状态，PI率不超过5，如果有pagin发生，那么关联页面必须先进行pageout
在内存相对紧张的环境下pagein会强制对不同的页面进行steal操作。如果系统正在读一个大批的永久页面，你也许可以看到po和pi列
会出现不一致的增长，这种情景并不一定表明系统负载过重，但是有必要对应用程序的数据访问模式进行见检查。在稳定的情况下，扫描率和重置率几乎相等，在
多个进程处理使用不同的页面的情况下，页面会更加不稳定和杂乱，这时扫描率可能会比重置率高出。

faults列，in，sy，cs会不断跳跃，这里没有明确的限制，唯一的就是这些值最少大于100

cpu列，us，sys，id和wa也是不确定的，最理想的状态是使cpu处于100%工作状态，单这只适合单用户的情况下。
如果在多用户环境中us＋sys》80，进程就会在运行队列中花费等待时间，响应时间和吞吐量就会下降。wa>40表明磁盘io没有也许存在不合理的平衡，或者对磁盘操作比较频繁，

AIX学习笔记

AIX学习笔记

http://blog.chinaunix.net/article.php?articleId=14542&blogId=2284

AIX学习笔记

一、系统安装完成后,手工安装以下fileset ：
1、将AIX作系统的第一张CD插入CD-ROM 驱动器，在系统提示处输入快速路径smitty install_all。在Input device / directory for software 选项中按F4 选择/dev/cd0。在SOFTWARE to install选项中键入：
bos.acct
bos.data
bos.rte.control
perfagent.tools
bos.dosutil
bos.perf
bos.net
bos.sysmgt
bos.adt
2、在安装完上述软件包后，需要给系统打补丁。使用随AIX系统盘所带的Update CD或从IBM得到的最新的补丁盘。插入CD-ROM 驱动器，在系统提示处输入快速路径smitty update_all，在 Input device / directory for software 选项中按F4 选择/dev/cd0，将COMMIT software updates?选择 no ，将SAVE replaced files? 选择 yes 。服务更新完毕后按F10 退出。这可以保证在新的补丁出现问题时，可以退回以前的版本。当此补丁稳定运行了一段时间后，可以commit它。
3、可用如下命令检查当前系统所打的补丁：
# instfix -i | grep ML 
二、磁带机清洁的检查命令：#/usr/lpp/diagnostics/bin/utape -cd rmt0 –n
显示结果为磁带机使用的小时数，若大于72小时，则不论磁带机黄灯是否亮都应用清洁带清洗。
三、AIX内核属于动态内核，核心参数基本上可以自动调整，因此当系统安装完毕后,应考虑修改的参数一般如下:
A、单机环境
1、系统用户的最大登录数maxlogin
maxlogin的具体大小可根据用户数设定，可以通过smitty chlicense命令修改，该参数记录于/etc/security/login.cfg文件，修改在系统重新启动后生效。

2、系统用户的limits参数
这些参数位于/etc/security/limits文件中，可以把这些参数设为-1,即无限制，可以用vi 修改/etc/security/limits文件，所有修改在用户重新登录后生效。
default:
fsize = 2097151 ----》改为-1
core = 2097151
cpu = -1
data = 262144 ----》改为-1
rss = 65536
stack = 65536
nofiles = 2000

3、Paging Space
检查paging space的大小，在物理内存<2G时，应至少设定为物理内存的1.5倍，若物理内存>2G，可作适当调整。同时在创建paging space时, 应尽量分配在不同的硬盘上，提高其性能。利用smitty chps修改原有paging space的大小或smitty mkps增加一块paging space。

4、系统核心参数配置
利用lsattr -Elsys0 检查maxuproc, minpout, maxpout等参数的大小。maxuproc为每个用户的最大进程数,通常如果系统运行DB2或ORACLE是应将maxuproc调整，Default：128、调整到500，maxuproc增加可以马上起作用，降低需要AIX重起。当应用涉及大量的顺序读写而影响前台程序响应时间时，可考虑将maxpout设为33, minpout设为16，利用smitty chgsys来设置。

5、文件系统空间的设定
一般来说，系统的文件系统/、/usr、/var、/tmp的使用率不要超过80%，/tmp建议至少为300M，文件系统满可导致系统不能正常工作，尤其是AIX的基本文件系统，如/ (根文件系统)满则会导致用户不能登录。用df 查看。

# df -k (查看AIX的基本文件系统)
Filesystem 1024-blocks Free %Used Iused %Iused Mounted on
/dev/hd4 24576 1452 95% 2599 22% /
/dev/hd2 614400 28068 96% 22967 15% /usr
/dev/hd9var 8192 4540 45% 649 32% /var
/dev/hd3 167936 157968 6% 89 1% /tmp
/dev/hd1 16384 5332 68% 1402 35% /home

利用smitty chfs扩展文件系统的空间。

6、激活SSA Fast-Write Cache
利用smitty ssafastw来激活每一个逻辑盘hdiskn的Fast-Write Cache：选择硬盘后，把Enable Fast-Write一项改为Yes后回车即可。

7、激活AIO
AIO通常只对文件系统起作用，对裸设备没有作用。最大为10X并行磁盘数<80,最小为最大的一半。

a、定义系统中的AIO设备
smit aio -> Configure Defined Asynchronous I/O 然后回车执行；
b、激活系统中的AIO设备
smit aio -> Change / Show Characteristics of Asynchronous I/O回车出现AIO配置对话框，将对话框中〔STATE to be configured at system restart〕域选择为“available”，然后回车执行；
注：系统会提示只有在重起后才能生效。

8、rootvg镜像
因为rootvg损坏系统将无法运行，即使通过备份磁带恢复，也会造成系统停机，因此在磁盘空间充裕的情况下，可考虑对rootvg作镜像，同时在建立rootvg镜像时应尽量使用连接在不同SCSI 上的硬盘以做到负载均衡。利用smitty mirrorvg修改。

B、双机环境
在双机环境中，除了考虑上述参数设置外，还需考虑：
1、 High water mark for pending write I/Os per file(maxpout) 和Low water mark for pending write I/Os per file
它们缺省值为0，在双机环境中一般应设High water mark为33,Low water mark为24，这两个参数可用smitty chgsys来设置。

2、 syncd daemon的数据刷新频率
该值表示刷新内存数据到硬盘的频率，缺省为60，一般可改为20，也可根据实际情况更改。该参数通过vi /sbin/rc.boot更改，其中一行如下：
nohup /usr/sbin/syncd 60 >/dev/null 2>&1 &
改为：
nohup /usr/sbin/syncd 20 >/dev/null 2>&1 &

四、IBM RS/6000巡检内容及操作指导

1． IBM RS6000小型机机房要求：
a． 机房的卫生状况，要求清洁，键盘、显示器、机柜上没有灰尘。
b． 温度（摄氏 ℃）：10 ℃－40℃ ，湿度（%）：8% －80%

2． 设备故障灯分类：主机故障灯
面板上不能有数字显示，如果有的话，说明系统有故障。
7133磁盘阵列故障灯
告警灯为黄色表示有故障
磁带机故障灯
告警灯为黄色说明有故障或磁带机太脏，须清洗。

3． 系统错误报告(Error Log)的检查：
硬件故障检测命令：# errpt -d H -T PERM
若有故障执行命令# errpt -a -d H -T PERM>/tmp/harderror.log保存，分析结果报告给客户
软件故障检测命令：# errpt -d S -T PERM
若有故障执行命令# errpt -a -d S -T PERM>/tmp/softerror.log保存，分析结果报告给客户

4． 有否发给root用户的错误报告(mail):#mail
a． 观察所有未读消息，注意有关diagela的消息。
b． 常用命令：
h [] Display headings of group containing message
t [] Display messages in or current message.
n Display next message.
q Quit
c． 对发现的问题详细分析，结果报告给客户

5． 件系统的检查：命令：# df –k
%Used为文件系统的使用率。所有文件系统的使用率不能大于80%

6．磁带机清洁的检查：命令：
#/usr/lpp/diagnostics/bin/utape -cd rmt0 –n
显示结果为磁带机使用的小时数，若大于72小时，则不论磁带机黄灯是否亮都应用清洁带清洗。

7． 信系统的检测：
a． 网卡的状态：命令：
#ifconfig –a
输出判断：
en0: flags=e080863
inet 192.9.200.2 netmask 0xffffff00 broadcast 192.9.200.255
en1: flags=e080863
inet 192.9.201.1 netmask 0xffffff00 broadcast 192.9.200.255
主备网卡的flag为UP属正常。同时检查ip地址和netmask是否正确。
b． 路由的检测
命令：
#lsattr –El inet0
authm 65536 Authentication Methods True
hostname h24 Host Name True
gateway Gateway True
route net,,0,172.16.23.81 Route True
bootup_option no Serial Optical Network Interface True
rout6 FDDI Network Interface True

c． 络的检测
命令：
#ping [ip address]
输出判断：
用ping命令对/etc/hosts文件中的IP地址进行操作，检测网络是否联通。

RAID 的Hotspare 属性是否打开
#smitty ssaraid? Change/Show Attributes of an SSA RAID Array
检查Enable Use of Hot Spares属性是否为YES

8．系统DUMP设置的检查
命令：
#sysdumdev –l
输出判断：
结果应为
primary /dev/hd6
secondary /dev/sysdumpnull
copy directory /var/adm/ras
forced copy flag TRUE
always allow dump FALSE
dump compression OFF
若不正确请用下列命令修改：
#sysdumdev –P –p /dev/hd6 –s /dev/sysdumpnull

9．HACMP 配置检测： Cluster Verification：
命令：
# /usr/sbin/cluster/diag/clconfig -v '-tr'
输出判断：
结果无Fail项输出。

10．系统硬件诊断：
命令顺序为：
1．#diag
2.Enter
3.Diagnostic Routines
4.System Verification
5.All Resources
6.F7
输出判断：
结果应为No trouble was found.

11．补丁程序(PTF)的检查
系统维护补丁版本为ML09，检查命令为：#instfix –i |grep ML

12．系统参数的检查
a．HIGH water mark for pending write I/Os
# lsattr -El sys0 |grep maxpout
输出判断：
结果应为
maxpout 33 HIGH water mark for pending write I/Os per file True
b．LOW water mark for pending write I/Os
# lsattr -El sys0|grep minpout
输出判断：
结果应为
minpout 24 LOW water mark for pending write I/Os per file True
更改命令为：
#chdev -l sys0 -a maxpout='33' -a minpout='24'

c．Syncd参数
# grep syncd /sbin/rc.boot
输出判断：
结果应为
nohup /usr/sbin/syncd 10 > /dev/null 2>&1 &
更改命令为：
#vi /sbin/rc.boot

d．aio参数
# lsdev -Cc aio
输出判断：
结果应为
aio0 Available Asynchronous I/O
# lsattr -El aio0
输出判断：
结果应为
minservers 1 MINIMUM number of servers True
maxservers 10 MAXIMUM number of servers True
maxreqs 4096 Maximum number of REQUESTS True
kprocprio 39 Server PRIORITY True
autoconfig available STATE to be configured at system restart True
fastpath enable State of fast path True
更改命令为：
#smitty aio

e．Limits文件的设置：
#ulimit –a
输出判断：
结果应为
time(seconds) unlimited
file(blocks) 2097151
data(kbytes) 262144 //尤其是这项参数
stack(kbytes) 32768
memory(kbytes) 32768
coredump(blocks) 2097151
nofiles(descriptors) 2000
更改命令为：
#vi /etc/security/limits
更改data为524288

五、ssa卡的电池可以用如下命令看ssa卡电池的寿命：
/usr/lpp/diagnostics/bin/ssa_fw_status -a ssan
六、dump device空间不够：
1，用sysdumpdev -l看dump device 。
2,用sysdumpdev -e估计dump 的大小。
3，根据需要扩dump device的大小。
七、查看/var里文件所占的比例：
1、cd /var
2、du -a|sort -rn|more
八、JFS LOG的大小:
1、JFS LOG最大到256MB。
2、2MB JFS LOG可以支持大小为4GB的文件系统。
3、1个100GB的文件系统未必一定需要50MB的JFS Log，还要取决于该文件系统的文件数量和修改的平凡程度。
4、多个文件系统可以使用同一个JFS LOG，但是，当对于非常繁忙的文件系统，应该建立其各自的JFS LOG，并且尽可能地将JFS LOG放在不同的PV上。另外，建议大家在一些复杂的环境中应该尽可能的在创建文件系统时避免使用系统自动创建的JFS LOG: loglvxx，应该专门将loglvxx按照命名规则改名或另行创建新的JFS LOG，这样可以避免在不同的系统中importvg时出现LV重名的情况。
九：查找大于某一字节的文件的方法:
find -size +文件大小,-size 寻找的文件大小是以512 bytes 计算的,如找大于15MB文件用 :find / -size +30720