[深圳|结业弟子]JAVA-陈东|2019年11月26日的日报-技能树.IT修真院

发表于： 2019-11-26 23:06:28

1 1071

听说多线程插入会快一点所以使用多线程插入数据

多线程代码插入数据代码

public class ThreadInsertTest {
    private int nThread;
    private CountDownLatch startGate;
    private CountDownLatch endGate;
    
    public static void main(String[] args) {
        int nThread = 10;
        CountDownLatch startGate = new CountDownLatch(1);
        CountDownLatch endGate = new CountDownLatch(nThread);

        new ThreadInsertTest(nThread,startGate,endGate).start();
    }

    public void start() {
        for (int i=0;i<nThread;i++) {
            Thread thread = new Thread(new insert());
            thread.start();
        }
        long startTime = System.currentTimeMillis();
        startGate.countDown();
        try {
            endGate.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        long endTime = System.currentTimeMillis();
        System.out.println("插入数据总用时: " + (endTime- startTime) + "ms");
    }

    public ThreadInsertTest(int nThread, CountDownLatch startGate, CountDownLatch endGate) {
        this.nThread = nThread;
        this.startGate = startGate;
        this.endGate = endGate;
    }

    class insert implements Runnable {
        public void run() {
            try {
                startGate.await();
                Connection conn = null;
                PreparedStatement ps = null;
                String sql = "INSERT INTO mytest (name,password,sex) VALUE ('name','password',1)";
                try {
                    Class.forName("com.mysql.jdbc.Driver");
                    conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test?characterEncoding=utf8&useSSL=true&useServerPrepStmts=false&rewriteBatchedStatements=true",
                            "root", "admin");
                    conn.setAutoCommit(false);
                    ps = conn.prepareStatement(sql);
                    long start = System.currentTimeMillis();

                    for (int i = 0; i < 3000000; i++) {
                        ps.addBatch(sql);
                        if (i % 100000 == 0) {
                            ps.executeBatch(); //10万条数据提交一次，以防内存溢出
                            conn.commit();
                        }
                    }
                    ps.executeBatch(); //最后再提交一次，若插入数据不是整数也没有关系
                    conn.commit();
                    long end = System.currentTimeMillis();
                    System.out.println("单个线程插入数据所需时间：" + (end - start) + "ms");

                } catch (ClassNotFoundException e) {
                    e.printStackTrace();
                } catch (SQLException e) {
                    e.printStackTrace();
                } finally {
                    try {
                        if (ps != null) {
                            ps.close();
                        }
                    } catch (SQLException e) {
                        e.printStackTrace();
                    }
                    try {
                        if (conn != null) {
                            conn.close();
                        }
                    } catch (SQLException e) {
                        e.printStackTrace();
                    }
                }
            } catch (InterruptedException e) {
                e.printStackTrace();
            } finally {
                endGate.countDown();
            }
        }
    }
}

结果对比

深度思考

为什么要处理异常，Try/Catch应该在什么样的场景下使用，在真实的系统中，会出现网络中断，DB连接不上的错误吗？多久会发生一次？

异常exception

异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。

异常发生的原因有很多，通常包含以下几大类：

1.用户输入了非法数据。

2.要打开的文件不存在。

3.网络通信时连接中断，或者JVM内存溢出

使用 try 和 catch 关键字可以捕获异常。

try/catch 代码块放在异常可能发生的地方。try/catch代码块中的代码称为保护代码。

一个 try 代码块可以后面跟随多个 catch 代码块，叫多重捕获。

如果一个方法没有捕获一个检查性异常，那么该方法必须使用 throws 关键字来声明。throws 关键字放在方法签名的尾部。也可以使用 throw 关键字抛出一个异常，无论它是新实例化的还是刚捕获到的。（也可以使用throws抛出异常）

真实系统中会发生网络中断等异常（比如服务器波动，突然断网，断电等等），

可能很久也不发生，也可能一天好几次，看实际的场景

日志应该怎么打，在什么位置，需要打印出来什么样的关键参数？

（参考其他人回答）

1.较复杂的方法,(酌情而定,:进行了复杂的操作,调用多个其他service 或接口)

进入和结束打一
进入方法 >> 进入标记入
log.info("定时任务>> 开始到期授信 creditContractIds={}", creditContractIds);
log.info("定时任务<< 成功到期授信 creditContractIds:{},notSuccessId={}", creditContractIds, noSuccessContractIds)
    2.controller 层打下入参
    3. 执行db 写操作打下结果
    4.调用接口打下出参和入参!
    5.throw 前打下 log.error
    6. catch 内必打 error ,最后一个参数注意打 e,可以把整个堆栈打出来

    log.error("定时到期授信失败! creditContractId={},

error={}", creditContractId, e.getMessage(), e);

为什么需要单步调试？Debug的时候IDE是怎么找到源码的？

单步调试是指程序开发中，为了找到程序的bug，通常采用的一种调试手段，一步一步跟踪程序执行的流程，根据变量的值，找到错误的原因。

可否远程连接到线上直接调试？真实的项目中，遇到问题的排查方案是什么？

在本地写代码时，如果程序出现问题了，在程序中打的各种log，可以帮助我们调试，找出问题，修改，测试，部署到服务器，再测试。但如果在真实项目中的呢，这样做虽然也可以，显然是不方便的。
真实项目中通过远程连接进行调试，服务端执行代码，而本地通过远程连接，到服务器获取数据和运行结果的方法。方式有很多如web、ide等

什么是贫血模型，什么是充血模型？为什么我们会强制要求使用贫血模型？

贫血模型：是指领域对象里只有get和set方法，或者包含少量的CRUD方法，所有的业务逻辑都不包含在内而是放在Business Logic层

充血模型：层次结构和上面的差不多，不过大多业务逻辑和持久化放在Domain Object里面，Business Logic（业务逻辑层）只是简单封装部分业务逻辑以及控制事务、权限等

贫血模型在实体类中没有逻辑，更适合大型项目开发和合作开发，解耦也方便后期维护

为什么不可以用Select * from table?
select * from table 查询的是这个表中的所有列，但是一般情况下我们只需要查询某一个或多个字段，而不需要所有字段都查询，这样会影响效率，所以在明确知道自己所需字段的情况下不推荐使用SELECT FROM TABLE。
另外如果是要查询总条数，也不推荐使用SELECT count(*) FROM TABLE; 而推荐使用SELECT count(0) FROM TABLE。

clean,install,package,deploy分别代表什么含义？
clean 可将根目录下生成的target文件移除
install 项目安装到本地仓库了,并且是jar和pom同时安装。
package 项目打包到项目的target目录下。
deploy 是将jar包上传远程库的命令。

怎么样能让Maven跳过JUnit?

在pom的build标签下加入下面的代码。

    <plugin>
         <groupId>org.apache.maven.plugins</groupId>
         <artifactId>maven-surefire-plugin</artifactId>
         <version> 2.19.1</version>
         <configuration>
             <skipTests>true</skipTests>
         </configuration>
    </plugin>

为什么要用Log4j来替代System.out.println？

log4j可以指定输出内容的级别，进行信息的筛选，而且可以输出到文本，方便发现问题和维护。更简单，快捷，可控

为什么DB的设计中要使用Long来替换掉Date类型？

Long类型方便传输与增改，date有点事直观，而在数据库中的时间往往不会直接提取给用户，数据库中的时间用来保存数据创建修改的时间戳。如create_at、update_at这种不会被用户直接读取的字段，就可以用long来提高效率。

自增ID有什么坏处？什么样的场景下不使用自增ID？

自增id首先需要是表的主键，在删除一行记录后，id也随之删除，但之后添加的一行记录中的id会在被删除的id后+1，而不是保持id连续性。
在需要该字段保持连续性的时候，不会使用自增id

什么是DB的索引，多大的数据量下建索引会有性能的差别，什么样的情况下该对字段建索引？

一个索引是存储的表中一个特定列的值数据结构（最常见的是B-Tree）。
索引是在表的列上创建。所以，要记住的关键点是索引包含一个表中列的值，并且这些值存储在一个数据结构中，索引是一种数据结构，一般是B-TREE 。
在数据量达到几万时，性能差别就比较直观。

使用索引原则：　
    1、装载数据后再建立索引。
    2、频繁搜索的列可以作为索引。
    3、在联接属性上建立索引（主外键）。
    4、经常排序分组的列。
    5、删除不经常使用的索引。
    6、指定索引块的参数，如果将来会在表上执行大量的insert操作，

     建立索引时设定较大的ptcfree。
    7、指定索引所在的表空间，将表和索引放在不同的表空间上可以提高性能。　　　
    8、对大型索引，考试使用NOLOGGING子句创建大型索引。

唯一索引和普通索引的区别是什么，什么时候需要建唯一索引。

    普通索引
    普通索引（由关键字KEY或INDEX定义的索引）的唯一任务是加快对数据的访问速度。
    因此，应该只为那些最经常出现在查询条件（WHEREcolumn=）或排序条件（ORDERBYcolumn）中的数据列创建索引。
    只要有可能，就应该选择一个数据最整齐、最紧凑的数据列（如一个整数类型的数据列）来创建索引。
    mysql > ALTER TABLE {table_name} ADD INDEX index_name ( {column} )

    唯一索引
    它与前面的普通索引类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。
    在对该列进行增或改时，首先会检查是否重复，在执行增改操作，否则报出duplica错误，拒绝操作。
    mysql > ALTER TABLE {table_name} ADD UNIQUE index_name ( {lolumn} )

对于经常修改或者作为where子句对象的字段，需要为该字段添加索引以增加效率。

如果对学员QQ号做了一个唯一索引，在插入数据的时候，是否需要先判断这个QQ号已经存在了？

对一个字段做唯一索引之后，在执行sql语句时，会自动在后台根据索引查询是否有重复的值，不需要手动判断qq号是否存在。

CreateAt和UpdateAt的意义分别是创建时间和修改时间，这两个时间应该在什么情况下赋值？是否应该开放给外部调用的接口？ create_at是在行插入时以当时的时间为值插入。
update_at实在行一旦被修改的时候，以当时时间为值插入。
这两个字段作为数据的属性，不应该调用给外部的接口。

修真类型应该是直接存储Varchar，还是应该存储int?

都可以，但修真类型用varchar不如用int查询效率高，但是用int需要对每个特定的值做一个对应修真类型的映射或定义。如该字段值为1代表“css”，2代表“Java”等。

varchar类型的长度怎么确定？有什么样的原则，和Text和LongText的区别是什么？

创建表时或者对已存在的表格的类型为varchar的字段的修改时，在varchar后括号内的数字即能存放的最大长度，这个长度是字符个数而不是字节数。
varchar目前的mysql版本最高支持65535字节，按照不同编码规则，对应20000左右或30000个左右的中文字符。
text的长度为存放最大长度为 65,535 个字符的字符串。
longtext存放最大长度为 4,294,967,295 个字符的字符串。

怎么进行分页数据的查询，如何判断是否有下一页？

MySQL数据库实现分页比较简单，提供了LIMIT函数。一般只需要直接写到sql语句后面就行了。
LIMIT子句可以用来限制由SELECT语句返回过来的数据数量，它有一个或两个参数，如果给出两个参数，第一个参数指定返回的第一行在所有数据中的位置，从0开始（注意不是1），第二个参数指定最多返回行数。例如：
select * from table WHERE … LIMIT 10; #返回前10行
select * from table WHERE … LIMIT 0,10; #返回前10行
select * from table WHERE … LIMIT 10,20; #返回第10-20行数据

maven是什么，和Ant有什么区别？

    Maven是一个项目管理工具，它包含了一个项目对象模型 (POM：Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑
    pom文件用于配置需要引用的jar包以及一些诸如jdk版本配置的功能
    clean、compile、package等对项目进行生命周期管理来适应后期对项目打包的需求

而ant是一个java的build工具，也是apache的项目，不过各方面都被maven代替并超越

今天做了什么

1.完成一亿数据的插入，并比对得出结论

有索引的插入数据变慢，是因为要在插入数据的时候维护索引

单位插入时间随着数据量的增大而逐渐增大

2.修改剩下的demo代码,为删除，修改，添加方法增加返回值（Boolean，Boolean，int）

并把代码通过git pull到github仓库

3.完成任务一的深度思考，结合搜索得出答案

明天要做什么