Java 7 SDP

名词解释:

  • RDMA,Remote Direct Memory Access,远程直接内存存取。为低延迟应用提供了一种协议,可以直接访问其他计算机的内存,而不需要操作系统的参与。
  • InfiniBand: InfiniBand (IB) 是一项新的基于交换光纤结构的 I/O 技术。 它为将 I/O 设备连接到主机以及主机到主机通信提供了高带宽、低延迟的互连。InfiniBand提供了对RDMA的支持。
  • SDP:Sockets Direct Protocol,套接字直接协议。是一种网络协议用于支持在InfiniBand连接上的流连接。

概览

SDP本质上是一种TCP绕过技术。当SDP允许时,一个应用程序尝试打开一个TCP连接,TCP机制被绕过了,通信直接到IB网络。

当应用程序尝试绑定到一个TCP地址时,底层软件根据配置文件里的信息决定是否重新绑定到一个SDP协议。这个过程可以在绑定过程或连接过程(但对每个连接只发生一次)。

不需要修改应用代码里的API就可以利用SDP协议:实现是透明的并被经典网络(java.net)和NIO(java.nio.channels)包支持。

SDP默认是禁止的,开启步骤:

  • 创建一个SDP配置文件;
  • 设置系统属性指向配置文件路径。

继续阅读

Maven 管理Java工程 入门

这里以普通的Java工程为例,介绍创建运行项目、配置项目、添加依赖库、配置日志、进行单元测试、打包。

创建运行项目

最简单的方式是:mvn archetype:create -DgroupId=net.coderbee -DartifactId=javaproject

这个命令执行完后会在当前目录下创建一个名为javaproject的目录,里面的目录结构是这样的:

|---pom.xml
|---src
|    |---main
|    |    |---java
|    |    |    |---net
|    |    |    |    |---coderbee
|    |    |    |    |       |---App.java
|    |---test
|    |    |---java
|    |    |    |---net
|    |    |    |    |---coderbee
|    |    |    |    |       |---AppTest.java

继续阅读

sftp auth fail

今天要做一个功能:用sftp协议传文件到远程服务器,服务器是别人配置的,给出账号密码和端口2888。用的库是jsch,版本0.1.50。

根据jsch的示例,很快就改出一个实现:

import com.jcraft.jsch.Channel;
import com.jcraft.jsch.ChannelSftp;
import com.jcraft.jsch.JSch;
import com.jcraft.jsch.JSchException;
import com.jcraft.jsch.Session;
import com.jcraft.jsch.SftpException;
import com.jcraft.jsch.UserInfo;

public class Sftp {
       private static Session getSession(String user, String passwd, String host,
                   int port) throws JSchException {
            UserInfo ui = new MyUserInfo(passwd);
            JSch jsch = new JSch();
            Session session = jsch.getSession(user, host, port);
            session.setUserInfo(ui);
            session.connect();

             return session;
      }

       private static ChannelSftp getFtpChannel(Session session)
                   throws JSchException {
            Channel channel = session.openChannel( "sftp" );
            channel.connect();
            ChannelSftp c = (ChannelSftp) channel;

             return c;
      }

       public static boolean putFile(String user, String passwd, String host,
                   int port, String localeFile, String remoteFile) {
            Session session = null ;
            ChannelSftp channel = null ;
             try {
                  session = getSession(user, passwd, host, port);
                  channel = getFtpChannel(session);
                  channel.put(localeFile, remoteFile, ChannelSftp. OVERWRITE);
                  channel.quit();
            } catch (JSchException e) {
                  e.printStackTrace();
                   return false ;
            } catch (SftpException e) {
                  e.printStackTrace();
                   return false ;
            } finally {
                   clear(session, channel);
            }
             return true ;
      }

       private static void clear(Session session, Channel channel) {
             if (channel != null) {
                  channel.disconnect();
            }
             if (session != null) {
                  session.disconnect();
            }
      }

       public static void main(String[] arg) {
             boolean b = Sftp.putFile( "user" , "passwd" , "host" , 2888, "localeFile" ,
                         "remoteFile" );
            System. out .println(b);
      }

       public static class MyUserInfo implements UserInfo {
             final String passwd ;

             public MyUserInfo(String passwd) {
                   this .passwd = passwd;
            }

             public String getPassword() {
                   return passwd ;
            }

             public boolean promptYesNo(String str) {
                   // step 1, confirm accept host
                   return true ; // 接受任意服务器的指纹
            }

             public String getPassphrase() {
                   return null ;
            }

             public boolean promptPassphrase(String message) {
                   return true ;
            }

             public boolean promptPassword(String message) {
                   // step 2
                   return true ;
            }

             public void showMessage(String message) {
            }
      }
}

拿自己的VPS linux测试下,上传是OK的。但是上传到测试服务器时却老是出错,在建立会话时总是抛出异常:com.jcraft.jsch.JSchException : Auth fail

一开始怀疑是账号有问题,但在Xftp下是可以登录的。在shell的sftp命令下显示指定oPortoPasswordAuthentication选项也可以登录,所以就不像是账号问题了。

无奈继续google,发现很多网上代码都指定StrictHostKeyChecking选项为no,就把代码改为下面这样:

     private static Session getSession(String user, String passwd, String host,
            int port) throws JSchException {
        JSch jsch = new JSch();
        Session session = jsch.getSession(user, host, port);
        session.setConfig( "StrictHostKeyChecking" , "no" ); // 不验证host-key,验证会失败。
        session.setPassword(passwd);
        session.connect();

        return session;
    }

还真行了。

这个问题其实是因为jsch进行严格的 SSH 公钥检查导致的,禁用 SSH 远程主机的公钥检查可以方便进行自动化任务执行。如果是在shell命令行下进行的自动化任务,建议采用客户端公钥认证,也就是ssh自动登录的方式。


欢迎关注我的微信公众号: coderbee笔记,可以更及时回复你的讨论。

JUC 原子类

volatile 变量

volatile变量具有可见性,也就是说线程能够自动发现volatile 变量的最新值;对volatile变量进行操作不会造成阻塞。

适用于:多个变量之间或者某个变量的当前值与修改后值之间没有约束。

正确使用volatile变量的条件:

  1. 对变量的写操作不依赖于当前值。
  2. 该变量没有包含在具有其他变量的不变式中。

所以,volatile变量不支持像i++这样的原子操作,因为这条语句包含了三个步骤:读取-加1操作-写变量。
继续阅读

自旋锁、排队自旋锁、MCS锁、CLH锁

自旋锁(Spin lock)

自旋锁是指当一个线程尝试获取某个锁时,如果该锁已被其他线程占用,就一直循环检测锁是否被释放,而不是进入线程挂起或睡眠状态。

自旋锁适用于锁保护的临界区很小的情况,临界区很小的话,锁占用的时间就很短。

简单的实现

import java.util.concurrent.atomic.AtomicReference;

public class SpinLock {
   private AtomicReference<Thread> owner = new AtomicReference<Thread>();

   public void lock() {
       Thread currentThread = Thread.currentThread();

              // 如果锁未被占用,则设置当前线程为锁的拥有者
       while (!owner.compareAndSet(null, currentThread)) {
       }
   }

   public void unlock() {
       Thread currentThread = Thread.currentThread();

              // 只有锁的拥有者才能释放锁
       owner.compareAndSet(currentThread, null);
   }
}

SimpleSpinLock里有一个owner属性持有锁当前拥有者的线程的引用,如果该引用为null,则表示锁未被占用,不为null则被占用。

这里用AtomicReference是为了使用它的原子性的compareAndSet方法(CAS操作),解决了多线程并发操作导致数据不一致的问题,确保其他线程可以看到锁的真实状态。
继续阅读

False Sharing 伪共享 – 译

翻译自:http://mechanical-sympathy.blogspot.com/2011/07/false-sharing.html

伪共享

内存在缓存系统里是以缓存行为单位存储的。缓存行是大小为2的整数幂的连续字节,典型是32-256字节。最普遍的缓存行大小是64字节。伪共享是个术语,用于当多个线程不知不觉地相互影响对方的性能,在修改使用相同缓存行的依赖变量时。缓存行上的写冲突是并行执行线程在SMP(对称多处理器 )系统上获得伸缩性的单一最大制约因素。我已听到伪共享被描述为无声的性能杀手,因为在查看代码时,它非常不明显。

为了达到按线程数量的线性伸缩性,我们必须确保没有两个线程写同一个变量或同一个缓存行。两个线程写同一个变量可以在代码层面跟踪到。为了知道独立变量是否共享同一个缓存行,我们需要知道内存布局,或者让工具告诉我们。 Intel VTune是这样的一个分析工具。在这篇文章,我将解释Java对象的内存布局和如何通过填充缓存行来避免伪共享。
继续阅读

HotSpot 垃圾回收算法实现

《深入理解Java虚拟机:JVM高级特性与最佳实践》-笔记

垃圾回收算法

枚举根结点

一致性

在可达性分析期间整个系统看起来就像被冻结在某个时间点上,不可以出现分析过程中对象引用关系还在不断变化的情况。

一致性要求导致GC进行时必须停顿所有Java执行线程。(Stop The World)
即使在号称不会发生停顿的CMS收集器中,枚举根节点时也是必须停顿的。

HotSpot使用的是准确式GC,当执行系统停顿下来后,并不需要一个不漏地检查完所有执行上下文和全局的引用位置,这是通过一组称为OopMap的数据结构来达到的。

在类加载完成后,HotSpot就把对象内什么偏移量上是什么类型的数据计算出来;在JIT编译过程中,也会在特定的位置记录下栈和寄存器中哪些位置是引用。
继续阅读