通过Spark-submit提交的任务抛出了java.lang.NoSuchMethodError或者ClassNotFoundException
答：首先从自己jar包找原因，看看java -jar直接执行会不会冲突。
如果没有，可能是spark环境里有别的版本的jar，可以加个输出：
System.out.println("----------------------" + this.getClass().getResource("/com/google/common/collect/Sets.class"));
就能看到实际加载的是哪个jar了。
我这次就遇到了：------ jar:file:/data7/yarn/nm/usercache/hdfs/filecache/20/__spark_libs__917155435266718554.zip/guava-14.0.1.jar!/com/google/common/net/HostAndPort.class
我jar里是guava-20.0，因此冲突了
所以要用shade插件的高级功能来解决，把冲突的包名rename：
configuration>
relocations>
relocation>
pattern>com.google.commonpattern>
shadedPattern>facetsdict.com.google.commonshadedPattern>
relocation>
relocation>
pattern>org.apache.thriftpattern>
shadedPattern>facetsdict.org.apache.thriftshadedPattern>
relocation>
relocations>
configuration>
记住，如果shade之后还有冲突，应该是还存在需要shade的包，找出来。它之所以冲突其实是因为spark会把其lib下的jar优先加载，并且如果已经有同路径同名类则后面再加载你的jar时候就跳过了。所以很多报错很奇怪其实因为这是运行期问题，不是编译期问题，java代码已经编译为了字节码，表面上你即使看反编译的字节码也看不出来的，运行起来才会发现驴唇不对马嘴。