001/*
002 * Copyright (c) 2009 The openGion Project.
003 *
004 * Licensed under the Apache License, Version 2.0 (the "License");
005 * you may not use this file except in compliance with the License.
006 * You may obtain a copy of the License at
007 *
008 *     http://www.apache.org/licenses/LICENSE-2.0
009 *
010 * Unless required by applicable law or agreed to in writing, software
011 * distributed under the License is distributed on an "AS IS" BASIS,
012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
013 * either express or implied. See the License for the specific language
014 * governing permissions and limitations under the License.
015 */
016package org.opengion.fukurou.xml;
017
018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
019import org.opengion.fukurou.system.ThrowUtil;                                                   // 6.4.2.0 (2016/01/29)
020import org.opengion.fukurou.util.FileUtil ;                                                     // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。
021import org.opengion.fukurou.system.Closer ;
022import static org.opengion.fukurou.system.HybsConst.CR;                         // 6.1.0.0 (2014/12/26) refactoring
023
024import java.sql.Connection;
025import java.sql.SQLException;
026
027// import java.io.Reader;
028import java.io.BufferedReader;
029import java.io.InputStreamReader;
030// import java.io.FileInputStream;
031import java.io.InputStream;
032import java.io.IOException;
033import java.io.File;
034import java.io.UnsupportedEncodingException;
035import java.io.Writer;                                                          // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。
036
037import java.util.Arrays;
038import java.util.List;
039import java.util.Map;
040import java.util.ArrayList;
041import java.util.Enumeration;
042import java.util.jar.JarFile;
043import java.util.jar.JarEntry;
044import java.net.URL;
045
046/**
047 * ORACLE XDK 形式のXMLファイルを読み取って、データベースに登録します。
048 *
049 * これは、Ver5の時は、org.opengion.hayabusa.common.InitFileLoader として
050 * 使用されていたクラスを改造したものです。
051 * InitFileLoader は、Ver6 では廃止されていますので、ご注意ください。
052 *
053 * 登録の実行有無の判断は、ファイルの更新時刻より判断します。(useTimeStamp=true の場合)
054 * これは、読み取りファイルの更新時刻が、0でない場合、読み取りを行います。
055 * 読み取りが完了した場合は、更新時刻を 0 に設定します。
056 * 読み取るファイルは、クラスローダーのリソースや、指定のフォルダ以下のファイル、そして、
057 * zip 圧縮されたファイルの中から、拡張子が xml で、UTF-8でエンコードされている
058 * 必要があります。通常は、ファイル名がテーブル名と同一にしておく必要がありますが、
059 * ROWSETのtable属性にテーブル名をセットしておくことも可能です。
060 * ファイルの登録順は、原則、クラスローダーの検索順に、見つかった全てのファイルを
061 * 登録します。データそのものは、INSERT のみ対応していますので、原則登録順は無視されます。
062 * ただし、拡張XDK 形式で、EXEC_SQL タグを使用した場合は、登録順が影響する可能性があります。
063 * 例:GE12.xml GE12 テーブルに登録するXMLファイル
064 * 登録時に、既存のデータの破棄が必要な場合は、拡張XDK 形式のXMLファイルを
065 * 作成してください。これは、EXEC_SQL タグに書き込んだSQL文を実行します。
066 * 詳細は、{@link org.opengion.fukurou.xml.HybsXMLHandler HybsXMLHandler} クラスを参照してください。
067 *
068 *   <ROWSET tableName="XX" >
069 *       <EXEC_SQL>                    最初に記載して、初期処理(データクリア等)を実行させる。
070 *           delete from GEXX where YYYYY
071 *       </EXEC_SQL>
072 *       <ROW num="1">
073 *           <カラム1>値1</カラム1>
074 *             ・・・
075 *           <カラムn>値n</カラムn>
076 *       </ROW>
077 *        ・・・
078 *       <ROW num="n">
079 *          ・・・
080 *       </ROW>
081 *       <EXEC_SQL>                    最後に記載して、項目の設定(整合性登録)を行う。
082 *           update GEXX set AA='XX' , BB='XX' where YYYYY
083 *       </EXEC_SQL>
084 *   <ROWSET>
085 *
086 * @og.rev 4.0.0.0 (2004/12/31) 新規作成(org.opengion.hayabusa.common.InitFileLoader)
087 * @og.rev 6.0.0.0 (2014/04/11) パッケージ、クラスファイル変更
088 *
089 * @version  6.0
090 * @author   Kazuhiko Hasegawa
091 * @since    JDK7.0,
092 */
093public final class XMLFileLoader {
094        private static final String ENCODE = "UTF-8";                   // 8.0.0.1 (2021/10/08) cloud対応
095
096        private final Connection connection ;
097        private final boolean useTimeStamp ;
098
099        // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。
100        private Writer log = FileUtil.getLogWriter( "System.out" );
101
102        // 6.0.0.0 (2014/04/11) タイムスタンプのゼロクリア対象のファイルを管理するリスト
103        private final List<File> fileList = new ArrayList<>();
104
105        // 6.0.0.0 (2014/04/11) setAfterMap メソッドの対応
106        /** 6.4.3.1 (2016/02/12) 作成元のMapを、HashMap から ConcurrentHashMap に置き換え。  */
107        private Map<String,String> afterMap     ;
108
109        // 6.0.0.0 (2014/04/11) 追加,更新,削除,実行 の各実行時のカウントの総数
110        private final int[] crudCnt = new int[] { 0,0,0,0 };    // CRUD カウントですが、配列の順番は追加,更新,削除,実行
111
112        /** getCRUDCount() で返される カウント数の配列番号 {@value} */
113        public static final int INS = 0;
114        /** getCRUDCount() で返される カウント数の配列番号 {@value} */
115        public static final int DEL = 1;
116        /** getCRUDCount() で返される カウント数の配列番号 {@value} */
117        public static final int UPD = 2;
118        /** getCRUDCount() で返される カウント数の配列番号 {@value} */
119        public static final int DDL = 3;
120
121        /**
122         * コネクションを引数にする、コンストラクターです。
123         * classPath="resource" で初期化された XMLFileLoader を作成します。
124         * useTimeStamp 属性を true に設定すると、このファイルを読み取る都度
125         * タイムスタンプを、クリアします。
126         * また、タイムスタンプがクリアされたファイルは読み込みませんので、機能的に
127         * 一度しか読み込まないという事になります。
128         *
129         * @param       conn            登録用コネクション
130         * @param useTimeStamp  タイムスタンプの管理を行うかどうか[true:行う/false:行わない]
131         */
132        public XMLFileLoader( final Connection conn , final boolean useTimeStamp ) {
133                connection                      = conn ;
134                this.useTimeStamp       = useTimeStamp;
135        }
136
137        /**
138         * ログ出力を行う 内部ログ(Writer) を指定します。
139         *
140         * 内部ログ(Writer) の初期値は、null とします。
141         * 内部ログ(Writer)が null の場合は、なにもしません。
142         *
143         * @og.rev 6.0.0.0 (2014/04/11) ログ関係を Writer で管理します。
144         *
145         * @param log Writerオブジェクト
146         */
147        public void setLogWriter( final Writer log ) {
148                this.log = log ;
149        }
150
151        /**
152         * XMLファイルを読み取った後で指定するカラムと値のペア(マップ)情報をセットします。
153         *
154         * このカラムと値のペアのマップは、オブジェクト構築後に設定される為、
155         * XMLファイルのキーの存在に関係なく、Mapのキーと値が使用されます。(Map優先)
156         * null を設定した場合は、なにも処理されません。
157         *
158         * @og.rev 6.0.0.0 (2014/04/11) 新規追加
159         *
160         * @param map   後設定するカラムデータマップ
161         */
162        public void setAfterMap( final Map<String,String> map ) {
163                afterMap = map;
164        }
165
166        /**
167         * XMLファイルを登録後の、追加,更新,削除,実行 のカウント配列を返します。
168         *
169         * 簡易的に処理したいために、配列に設定しています。
170         * 順番に、追加,更新,削除,実行 のカウント値になります。
171         *
172         * @og.rev 6.0.0.0 (2014/04/11) 新規追加
173         *
174         * @return 追加,更新,削除,実行 のカウント配列
175         * @og.rtnNotNull
176         */
177        public int[] getCRUDCount() {
178                // 6.0.2.5 (2014/10/31) refactoring
179                return crudCnt.clone();
180        }
181
182        /**
183         * 対象となるファイル群を ClassLoader の指定パスから、検索します。
184         *
185         * 対象ファイルは、指定フォルダに テーブル名.xml 形式で格納しておきます。
186         * このフォルダのファイルをピックアップします。
187         * useTimeStamp 属性を true に設定すると、このファイルを読み取る都度
188         * タイムスタンプを、クリアします。
189         * また、タイムスタンプがクリアされたファイルは読み込みませんので、機能的に
190         * 一度しか読み込まないという事になります。
191         *
192         * @og.rev 6.0.0.0 (2014/04/11) 新規追加
193         * @og.rev 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。
194         * @og.rev 6.8.5.1 (2018/01/15) ファイル名は、##バージョン番号を変換しておく必要がある。
195         *
196         * @param path 対象となるファイル群を検索する、クラスパス
197         */
198        public void loadClassPathFiles( final String path ) {
199                try {
200                        final ClassLoader loader = Thread.currentThread().getContextClassLoader();
201                        final Enumeration<URL> enume = loader.getResources( path );
202                        while( enume.hasMoreElements() ) {
203                                final URL url = enume.nextElement();
204                                // jar:file:/実ディレクトリ または、file:/実ディレクトリ
205                                println( "      XMLFileLoader Scan:[ " + url + " ]" );                  // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理
206//                              final String dir = url.getFile();
207                                final String dir = url.getFile().replaceAll( "%23%23","##" );   // 6.8.5.1 (2018/01/15)
208
209                                if( "jar".equals( url.getProtocol() ) ) {
210                                        // dir = file:/C:/webapps/gf/WEB-INF/lib/resource2.jar!/resource 形式です。
211                                        final String jar = dir.substring(dir.indexOf( ':' )+1,dir.lastIndexOf( '!' ));
212                                        // jar = /C:/webapps/gf/WEB-INF/lib/resource2.jar 形式に切り出します。
213
214                                        // 5.6.6.1 (2013/07/12) jarファイルも、タイムスタンプ管理の対象
215                                        loadJarFile( new File( jar ) );
216                                }
217                                else {
218                                        // 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加
219                                        // dir = /C:/webapps/gf/WEB-INF/classes/resource/ 形式です。
220                                        loadXMLDir( new File( dir ) );
221                                }
222                        }
223                        Closer.commit( connection );
224                }
225                catch( final SQLException ex ) {
226                        final String errMsg = "SQL実行時にエラーが発生しました。"
227                                        + CR + ex.getMessage();
228                        Closer.rollback( connection );
229                        throw new OgRuntimeException( errMsg,ex );
230                }
231                catch( final IOException ex ) {
232                        final String errMsg = "XMLファイル読み取り時にエラーが発生しました。"
233                                        + CR + ex.getMessage();
234                        throw new OgRuntimeException( errMsg,ex );
235                }
236                finally {
237                        // 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。
238                        setZeroTimeStamp();                             // 6.0.0.0 (2014/04/11) タイムスタンプの書き換えをメソッド化
239                }
240        }
241
242        /**
243         * 対象となるファイル群を ファイル単体、フォルダ階層以下、ZIPファイル から、検索します。
244         *
245         * 対象ファイルは、テーブル名.xml 形式で格納しておきます。
246         * この処理では、ファイル単体(*.xml)、フォルダ階層以下、ZIPファイル(*.jar , *.zip) は混在できません。
247         * 最初に判定した形式で、個々の処理に振り分けています。
248         *
249         * @og.rev 6.0.0.0 (2014/04/11) 新規追加
250         * @og.rev 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。
251         *
252         * @param       fileObj                 読取元のファイルオブジェクト
253         * @see         #loadClassPathFiles( String )
254         */
255        public void loadXMLFiles( final File fileObj ) {
256                try {
257                        // nullでなく、ファイル/フォルダが存在することが前提
258                        if( fileObj != null && fileObj.exists() ) {
259                                println( "      XMLFileLoader Scan:[ " + fileObj + " ]" );      // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理
260                                loadXMLDir( fileObj );                  // ファイルかディレクトリ
261                        }
262                        Closer.commit( connection );
263                }
264                catch( final SQLException ex ) {
265                        final String errMsg = "SQL実行時にエラーが発生しました。"
266                                        + CR + ex.getMessage();
267                        Closer.rollback( connection );
268                        throw new OgRuntimeException( errMsg,ex );
269                }
270                catch( final IOException ex ) {
271                        final String errMsg = "XMLファイル読み取り時にエラーが発生しました。"
272                                        + CR + ex.getMessage();
273                        throw new OgRuntimeException( errMsg,ex );
274                }
275                finally {
276                        // 6.4.0.4 (2015/12/26) Writer(ログ)のCloseは、ここでは行わない。
277                        setZeroTimeStamp();                             // 6.0.0.0 (2014/04/11) タイムスタンプの書き換えをメソッド化
278                }
279        }
280
281        /**
282         * XMLフォルダ/ファイルを読み取り、データベースに追加(INSERT)するメソッドをコールします。
283         *
284         * ここでは、フォルダ階層を下るための再起処理を行っています。
285         * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、
286         * XMLファイルをデータベースに登録することが可能です。
287         * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave}
288         * を参照願います。
289         *
290         * @og.rev 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加
291         * @og.rev 8.0.0.1 (2021/10/08) cloud対応
292         *
293         * @param       jarObj                  読取元のJarファイルオブジェクト
294         * @throws SQLException,IOException  データベースアクセスエラー、または、データ入出力エラー
295         */
296        private void loadJarFile( final File jarObj ) throws SQLException,IOException {
297                if( ! useTimeStamp || jarObj.lastModified() > 0 ) {
298                        JarFile jarFile = null;
299                        try {
300                                jarFile = new JarFile( jarObj );
301                                final Enumeration<JarEntry> flEnum = jarFile.entries() ;                // 4.3.3.6 (2008/11/15) Generics警告対応
302                                while( flEnum.hasMoreElements() ) {
303                                        final JarEntry ent = flEnum.nextElement();                              // 4.3.3.6 (2008/11/15) Generics警告対応
304                                        final String file = ent.getName();
305                                        if( ! ent.isDirectory() && file.endsWith( ".xml" ) ) {
306                                                // 5.6.6.1 (2013/07/12) jarファイルの中身のタイムスタンプは見ない。
307                                                final String table = file.substring( file.lastIndexOf('/')+1,file.lastIndexOf('.') );
308                                                InputStream stream = null;
309                                                try {
310                                                        stream = jarFile.getInputStream( ent ) ;
311                                                        // 8.0.0.1 (2021/10/08) cloud対応
312//                                                      loadXML( stream,table,file );
313                                                        final BufferedReader reader = new BufferedReader( new InputStreamReader( stream,ENCODE ) );
314                                                        loadXML( reader,table,file );
315                                                }
316                                                finally {
317                                                        Closer.ioClose( stream );
318                                                }
319                                        }
320                                }
321                                fileList.add( jarObj );                 // 5.6.6.1 (2013/07/12) jarファイルも、タイムスタンプ管理の対象
322                        }
323                        finally {
324                                Closer.zipClose( jarFile );             // 5.5.2.6 (2012/05/25) findbugs対応
325                        }
326                }
327        }
328
329        /**
330         * XMLフォルダ/ファイルを読み取り、データベースに追加(INSERT)するメソッドをコールします。
331         *
332         * ここでは、フォルダ階層を下るための再起処理を行っています。
333         * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、
334         * XMLファイルをデータベースに登録することが可能です。
335         * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave}
336         * を参照願います。
337         *
338         * @og.rev 5.3.6.0 (2011/06/01) 実フォルダの場合、フォルダ階層を下る処理を追加
339         * @og.rev 8.0.0.1 (2021/10/08) cloud対応
340         *
341         * @param       fileObj                 読取元のファイルオブジェクト
342         * @throws SQLException,IOException  データベースアクセスエラー、または、データ入出力エラー
343         */
344        private void loadXMLDir( final File fileObj ) throws SQLException,IOException {
345                if( fileObj.isDirectory() ) {
346                        final File[] list = fileObj.listFiles();
347                        // 6.3.9.0 (2015/11/06) null になっている可能性がある(findbugs)
348                        if( list != null ) {
349                                Arrays.sort( list );
350                                for( final File file : list ) {
351                                        loadXMLDir( file );
352                                }
353                        }
354                }
355                else if( ! useTimeStamp || fileObj.lastModified() > 0 ) {
356                        final String name = fileObj.getName() ;
357                        if( name.endsWith( ".xml" ) ) {
358                                final String table = name.substring( name.lastIndexOf('/')+1,name.lastIndexOf('.') );
359        //                      InputStream stream = null;
360        //                      try {
361                                        println( "        " + fileObj );                // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理
362                                        // 8.0.0.1 (2021/10/08) cloud対応
363//                                      stream = new FileInputStream( fileObj ) ;
364//                                      loadXML( stream,table,fileObj.getPath() );
365                                        final BufferedReader reader = FileUtil.getBufferedReader( fileObj,ENCODE );
366                                        loadXML( reader,table,fileObj.getPath() );
367                                        fileList.add( fileObj );                                // 正常に処理が終われば、リストに追加します。
368        //                      }
369        //                      finally {
370        //                              Closer.ioClose( stream );
371        //                      }
372                        }
373                        else if( name.endsWith( ".zip" ) || name.endsWith( ".jar" ) ) {
374                                loadJarFile( fileObj );
375                        }
376                }
377        }
378
379        /**
380         * XMLファイルを読み取り、データベースに追加(INSERT)します。
381         *
382         * XMLファイルは、ORACLE XDK拡張ファイルです。テーブル名を指定することで、
383         * XMLファイルをデータベースに登録することが可能です。
384         * ORACLE XDK拡張ファイルや、EXEC_SQLタグなどの詳細は、{@link org.opengion.fukurou.xml.HybsXMLSave}
385         * を参照願います。
386         *
387         * @og.rev 5.6.6.1 (2013/07/12) 更新カウント数も取得します。
388         * @og.rev 5.6.7.0 (2013/07/27) HybsXMLSave の DDL(データ定義言語:Data Definition Language)の処理件数追加
389         * @og.rev 5.6.9.2 (2013/10/18) EXEC_SQL のエラー時に Exception を発行しない。
390         * @og.rev 6.2.0.0 (2015/02/27) try ~ finally 構文
391         * @og.rev 7.3.2.0 (2021/03/19) isExecErr でfalseを指定した場合に、エラー内容の文字列を取り出します。
392         * @og.rev 8.0.0.1 (2021/10/08) cloud対応
393         *
394//       * @param       stream  XMLファイルを読み取るInputStream
395         * @param       reader  XMLファイルを読み取るBufferedReader(cloud対応)
396         * @param       table   テーブル名(ROWSETタグのtable属性が未設定時に使用)
397         * @param       file    ログ出力用のファイル名
398         * @see org.opengion.fukurou.xml.HybsXMLSave
399         */
400//      private void loadXML( final InputStream stream, final String table, final String file )
401        private void loadXML( final BufferedReader reader, final String table, final String file )
402                                                                        throws SQLException,UnsupportedEncodingException {
403                // 6.2.0.0 (2015/02/27) try ~ finally 構文
404//              Reader reader = null;
405                try {
406//                      // InputStream より、XMLファイルを読み取り、table に追加(INSERT)します。
407//                      reader = new BufferedReader( new InputStreamReader( stream,"UTF-8" ) );
408                        final HybsXMLSave save = new HybsXMLSave( connection,table );
409                        save.onExecErrException( false );               // 5.6.9.2 (2013/10/18) falseで、EXEC_SQL のエラー時に Exception を発行しない。
410                        save.setAfterMap( afterMap );                   // 6.0.0.0 (2014/04/11) 新規追加
411                        save.insertXML( reader );
412
413                        final int insCnt = save.getInsertCount();
414                        final int delCnt = save.getDeleteCount();
415                        final int updCnt = save.getUpdateCount();               // 5.6.6.1 (2013/07/12) 更新カウント数も取得
416                        final int ddlCnt = save.getDDLCount();                  // 5.6.7.0 (2013/07/27) DDL処理件数追加
417
418                        crudCnt[INS] += insCnt ;
419                        crudCnt[DEL] += delCnt ;
420                        crudCnt[UPD] += updCnt ;
421                        crudCnt[DDL] += ddlCnt ;
422
423                        final String tableName = save.getTableName() ;
424
425                        // 6.0.0.0 (2014/04/11) ログ関係を Writer で管理
426                        println( "          File=[" + file + "] TABLE=[" + tableName + "] DEL=["+ delCnt +"] INS=[" + insCnt + "] UPD=[" + updCnt + "] DDL=[" + ddlCnt + "]" );
427
428                        // 7.3.2.0 (2021/03/19) isExecErr でfalseを指定した場合に、エラー内容の文字列を取り出します。
429                        final String errMsg = save.getErrorMessage() ;
430                        if( !errMsg.isEmpty() ) {
431                                println( errMsg );
432                        }
433                }
434                finally {
435                        Closer.ioClose( reader );
436                }
437        }
438
439        /**
440         * 指定のリストのファイルのタイムスタンプをゼロに設定します。
441         * useTimeStamp=true の時に、XMLファイルのロードに成功したファイルの
442         * タイムスタンプをゼロに設定することで、2回目の処理が避けられます。
443         *
444         * @og.rev 6.0.0.0 (2014/04/11) 新規追加
445         */
446        private void setZeroTimeStamp() {
447                if( useTimeStamp ) {
448                        for( final File file : fileList ) {
449                                if( !file.setLastModified( 0L ) ) {
450                                        final String errMsg = "タイムスタンプの書き換えに失敗しました。"
451                                                                        + "file=" + file ;
452                                        System.err.println( errMsg );
453                                }
454                        }
455                }
456        }
457
458        /**
459         * 登録されている ログ(Writer) に、メッセージを書き込みます。
460         * メッセージの最後に改行を挿入します。
461         *
462         * 内部ログ(Writer)が null の場合は、なにもしません。
463         * 内部ログ(Writer) の初期値は、標準出力(System.out) から作成された Writerです。
464         *
465         * @og.rev 6.0.0.0 (2014/04/11) ログ関係を Writer で管理
466         * @og.rev 6.4.2.0 (2016/01/29) ex.printStackTrace() を、ThrowUtil#ogStackTrace(Throwable) に置き換え。
467         *
468         * @param       msg 書き出すメッセージ
469         */
470        private void println( final String msg ) {
471                if( log != null ) {
472                        try {
473                                log.write( msg );
474                                log.write( CR );
475                        }
476                        catch( final IOException ex ) {
477                                // ファイルが書き込めなかった場合
478                                final String errMsg = msg + " が、書き込めませんでした。"
479                                                                        + ex.getMessage() ;
480                                System.err.println( errMsg );
481                                System.err.println( ThrowUtil.ogStackTrace( ex ) );                             // 6.4.2.0 (2016/01/29)
482                        }
483                }
484        }
485}