iteljava的简单介绍

admin 2022-12-23 06:18:17 90

今天给各位分享iteljava的知识，其中也会对进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

1、spark.driver.extraclasspath在哪
2、微创股份的公司介绍
3、spark编程 mysql得不到数据
4、美国硅谷的历史

spark.driver.extraclasspath在哪

[itelbog@iteblog ~]$ bin/spark-submit --master local[2]

--jars lib/mysql-connector-java-5.1.35.jar

--class spark.sparkToJDBC ./spark-test_2.10-1.0.jar

spark assembly has been built with Hive, including Datanucleus jars on classpath

Exception in thread "main" java.sql.SQLException: No suitable driver found for

jdbc:mysql://;password=123useUnicode=

truecharacterEncoding=utf8autoReconnect=true

at java.sql.DriverManager.getConnection(DriverManager.java:602)

at java.sql.DriverManager.getConnection(DriverManager.java:207)

at org.apache.spark.sql.DataFrame.createJDBCTable(DataFrame.scala:1189)

at spark.span class="wp_keywordlink_affiliate"a href="" title="" target="_blank" data-original-title="View all posts in Spark"Spark/a/spanToJDBC$.toMysqlFromJavaBean(SparkToJDBC.scala:20)

at spark.SparkToJDBC$.main(SparkToJDBC.scala:47)

at spark.SparkToJDBC.main(SparkToJDBC.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$

$runMain(SparkSubmit.scala:569)

at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)

at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

感觉很奇怪，我在启动作业的时候加了Mysql驱动啊在，怎么会出现这种异常呢？？经过查找，发现在–jars参数里面加入Mysql是没有用的。通过查找，发现提交的作业可以通过加入--driver-class-path参数来设置driver的classpath，试了一下果然没有出现错误！

[itelbog@iteblog ~]$ bin/spark-submit --master local[2]

--driver-class-path lib/mysql-connector-java-5.1.35.jar

--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar

其实，我们还可以在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量，如下：

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar

这样也可以解决上面出现的异常。但是，我们不能同时在conf/spark-env.sh里面配置SPARK_CLASSPATH和提交作业加上–driver-class-path参数，否则会出现以下异常：

[itelbog@iteblog ~]$ bin/spark-submit --master local[2]

--driver-class-path lib/mysql-connector-java-5.1.35.jar

--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar

Spark assembly has been built with Hive, including Datanucleus jars on classpath

Exception in thread "main" org.apache.spark.SparkException:

Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply

$7.apply(SparkConf.scala:339)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply

$7.apply(SparkConf.scala:337)

at scala.collection.immutable.List.foreach(List.scala:318)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:337)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:325)

at scala.Option.foreach(Option.scala:236)

at org.apache.spark.SparkConf.validateSettings(SparkConf.scala:325)

at org.apache.spark.SparkContext.init(SparkContext.scala:197)

at spark.SparkToJDBC$.main(SparkToJDBC.scala:41)

at spark.SparkToJDBC.main(SparkToJDBC.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$

deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)

at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)

at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

微创股份的公司介绍

在亚洲市场，公司是为数不多的拥有核心自主知识产品的移动互联网企业。3G时代，中国移动互联网企业正经历着前所未有的机遇和挑战。随着国际风险投资大举进入该领域，我们始终以国际化的眼光规划企业未来。作为3G业务的先行者，公司凭借丰富的移动网络行业经验，以及优秀技术团队的原创设计研发能力，赢得多个全球战略合作伙伴强烈的资产注入预期。

公司领先业界的移动通讯产品艾特（itel），有力的填补了国内移动网络领域两项技术空白。成为国内唯一一款能突破JAVA技术瓶颈，在非智能手机上实现网络电话功能的软件。也是在国内现有的网络环境下第一款实现智能手机电话直拨功能的软件。艾特（itel）的技术突破，使得微创第一时间抢占移动网络至高点。

公司在稳步发展现有移动通讯产品的同时，已敏锐地把研发战略逐渐的转向更新的领域，以客户的需求甚至未来的趋势为导向，开发出更加超前和颇具市场潜力的新产品，向国际级高科技公司看齐，从技术和功能上不断地超越自我。

公司承诺成为一名负责和积极的企业公民，不断改善经营，为社会发展做出贡献。公司坚信企业是社会的一个重要部分，并致力于与员工和客户一道改善人们工作和生活的质量。面向未来，公司将一如既往的将先进的技术、管理、理念等与客户的消费需求天衣无缝的结合起来，不断创新产品，让艾特（itel）更好的链接你我，无线增值，让世界尽在手中，让商机触手可及！

spark编程 mysql得不到数据

这里说明一点：本文提到的解决 Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式)。在集群环境下，下面的方法是不行的。这是因为在分布式环境下，加载mysql驱动包存在一个Bug,1.3及以前的版本 --jars 分发的jar在executor端是通过 Spark自身特化的classloader加载的。而JDBC driver manager使用的则是系统默认的classloader，因此无法识别。可行的方法之一是在所有 executor 节点上预先装好JDBC driver并放入默认的classpath。

不过Spark 1.4应该已经fix了这个问题，即 --jars 分发的 jar 也会纳入 YARN 的 classloader 范畴。

今天在使用Spark中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息：

[itelbog@iteblog~]$ bin/spark-submit --master local[2]

--jars lib/mysql-connector-java-5.1.35.jar

--class spark.sparkToJDBC ./spark-test_2.10-1.0.jar

spark assembly has been built with Hive, including Datanucleus jars on classpath

Exception in thread "main" java.sql.SQLException: No suitable driver found for

jdbc:mysql://;password=123useUnicode=

truecharacterEncoding=utf8autoReconnect=true

at java.sql.DriverManager.getConnection(DriverManager.java:602)

at java.sql.DriverManager.getConnection(DriverManager.java:207)

at org.apache.spark.sql.DataFrame.createJDBCTable(DataFrame.scala:1189)

at spark.SparkToJDBC$.toMysqlFromJavaBean(SparkToJDBC.scala:20)

at spark.SparkToJDBC$.main(SparkToJDBC.scala:47)

at spark.SparkToJDBC.main(SparkToJDBC.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$

$runMain(SparkSubmit.scala:569)

at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)

at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

感觉很奇怪，我在启动作业的时候加了Mysql驱动啊在，怎么会出现这种异常呢？？经过查找，发现在--jars参数里面加入Mysql是没有用的。通过查找，发现提交的作业可以通过加入--driver-class-path参数来设置driver的classpath，试了一下果然没有出现错误！

[itelbog@iteblog ~]$ bin/spark-submit --master local[2]

--driver-class-path lib/mysql-connector-java-5.1.35.jar

--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar

其实，我们还可以在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量，如下：

（这里需要注意的是，在Spark1.3版本中，在Spark配置中按如下进行配置时，运行程序时会提示该配置方法在Spark1.0之后的版本已经过时，建议使用另外两个方法；其中一个就是上面讲到的方法。另外一个就是在配置文件中配置spark.executor.extraClassPath，具体配置格式会在试验之后进行补充）

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar

这样也可以解决上面出现的异常。但是，我们不能同时在conf/spark-env.sh里面配置SPARK_CLASSPATH和提交作业加上--driver-class-path参数，否则会出现以下异常：

查看源代码打印帮助

[itelbog@iteblog~]$ bin/spark-submit --master local[2]

--driver-class-path lib/mysql-connector-java-5.1.35.jar

--class spark.SparkToJDBC ./spark-test_2.10-1.0.jar

Spark assembly has been built with Hive, including Datanucleus jars on classpath

Exception in thread "main"org.apache.spark.SparkException:

Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply

$7.apply(SparkConf.scala:339)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6$$anonfun$apply

$7.apply(SparkConf.scala:337)

at scala.collection.immutable.List.foreach(List.scala:318)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:337)

at org.apache.spark.SparkConf$$anonfun$validateSettings$6.apply(SparkConf.scala:325)

at scala.Option.foreach(Option.scala:236)

at org.apache.spark.SparkConf.validateSettings(SparkConf.scala:325)

at org.apache.spark.SparkContext.init(SparkContext.scala:197)

at spark.SparkToJDBC$.main(SparkToJDBC.scala:41)

at spark.SparkToJDBC.main(SparkToJDBC.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$

deploy$SparkSubmit$$runMain(SparkSubmit.scala:569)

at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:166)

at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:189)

at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:110)

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

美国硅谷的历史

硅谷（Silicon Valley）。位于加利福尼亚以北，旧金山湾区南部的圣塔克拉拉谷地；一般包涵圣塔克拉拉和位於东湾的佛瑞蒙市。最早是研究和生产芯片的地方，后来这个名词引申为所有高技术企业聚集的地方。现在是当今美国乃至全世界的资讯科技产业的龙头。此外该地也有一些文化设施，如创新科技博物馆。

硅谷的由来

硅谷这个词最早是由Don Hoefler在1971年创造的。它从1971年的1月11日开始被用于《每周商业》报纸电子新闻的一系列文章的题目-美国硅谷。之所以名字当中有一个“硅”字，是因为当地的企业多数是与由高纯度的硅生产的半导体及电脑相关的。而谷则是从圣塔克拉拉谷中得到的而后来东湾两岸地区的加入也使硅谷迅速的发展起来。

在开始的十几年时间，由于记者的拼写错误它都被误称为“硅胶谷”，硅谷在当时还没有融入到美国文化当中。硅胶，一种广泛用于隆胸和堵露等等作用的物质。

历史

当地一直是美国海军一个工作站点，并且海军的飞行研究基地也设于此，后来一定数量的科技公司的商店围绕着海军的研究基地而建立。但当海军把它大部分位于西海岸的工程转移到圣迭戈时，NASA接手了海军原来的研究工程，不过大部分的公司却留下来，当新的公司搬来之后，这个区域逐渐被航空航天企业所占据。

但是此地却还没有民用的高科技企业，虽然这里有很多很好的大学，但是当学生们毕业之后，他们却到东海岸去寻找工作机会。斯坦福大学教授Frederick Terman对此很是讨厌，他在学校里选择了一块很大的没有用处的空地用于不动产的发展，并设立了一些项目来鼓励学生们在附近发展他们的“风险投资”。众多成功故事当中的一个就是他说服William Hewlett和 David Packard留在当地发展，后来他们两个人在1939年成立了惠普公司(Hewlett-Packard)—一个跟NASA及美国海军没有任何关系的高科技公司。

在1951年，这个项目又被扩展以建立斯坦福研究公园，一些很小的工业建筑以很低的租金租给一些小的科技公司，今天这些公司是重要的技术诞生地，但是在当时却并不为人所知。1954年，Honors Cooperative Program(荣誉合作节目)，犹如今日所熟知的CO-op。允许公司的全日制雇员以兼职的形式从大学获得硕士学位。最初的那些公司会为每个员工付双倍的学费来供给他们的费用。Terman在1950年代决定新的基础设施则因以“谷”为原则而建造。

正是在这种氛围下，一个著名的加利福尼亚人搬到了这里。William Shockley在1953年由于对晶体管的分歧而离开了贝尔实验室。和妻子离婚之后孤身一人回到他获得科学学士学位的加利福尼亚理工学院，但在1956年他又搬到离他老母亲很近的加利福尼亚山景城（Mountain View）去建立属于Beckman半导体一部分的Shockley半导体实验室。

在那他打算以三元素设计一种能够替代晶体管的元器件（现在熟知的Shockley二极管）来占领市场。但在考虑设计得比“简单的”晶体管还要简单的这个问题时他却难住了。被困难难住的Shockley愈发变得偏执，他要求对职员进行测谎，并公布他们的薪金，这些事情惹恼了大家。后来他的种种行径使得八位他带到美国西海岸的工程师离开他并建立了Fairchild半导体公司。

后来的几年，这种事情又不断的上演，脱离控制的工程师不断的建立新的公司。AMD、intel、Singetics、Nantional Semiconductor都是作为Fairchild的旁枝而开始的，或者被别的公司当作旁枝的旁枝。

在1970年代的早期,硅谷有很多的半导体公司,电脑企业就利用它们生产的设备，而编程和电脑服务公司为它们两个服务。那里的工业厂房都是很低廉的。但当Kleiner Perkins开始的风险投资在1972年诞生之后,苹果电脑公司在后来成功的获得了1.3亿的资金。

著名的公司

上千所高科技公司的总部都设在硅谷；而一下的这些只是福布斯排名前500名之中的。

Adobe

AMD

Agilent

Altera

苹果电脑

Applied Materials

BEA

Cadence Design Systems

Cisco Systems

DreamWorks

eBay

Electronic Arts

Google

惠普

英特尔

Intuit

Juniper Networks

Maxtor

National Semiconductor

Network Appliance

NVIDIA

Oracle

Sun Microsystems

Symantec

Synopsys

Varian Medical Systems

雅虎!

另外某些著名公司的总部也设在了硅谷（包括某些已经停产的和被兼并的）

Adaptec

Atmel

Cypress Semiconductor

Foundry Networks

McAfee

Knight-Ridder

网景 (AOL)

NeXT 电脑公司 (now Apple)

Palm

PalmSource

PayPal (现为eBay的一部分)

Rambus

Silicon Graphics

TiVo

VA Software (Slashdot)

VeriSign

Veritas Software (Symantec)

VMWare (EMC)

著名的大学

卡内基梅隆大学(西海岸校区)

圣荷西州立大学

圣塔克来拉大学

斯坦福大学

以下大学不位于硅谷, 而是是有助的作为研究和新毕业生的来源:

加利福尼亚州立大学, 东湾分校

戴维斯加利福尼亚大学

柏克莱加州大学

圣克鲁斯加利福尼亚大学

iteljava的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、iteljava的信息别忘了在本站进行查找喔。

The End

发布于：2022-12-23，除非注明，否则均为首码项目网原创文章，转载请注明出处。

标签：iteljava

本文目录一览：

spark.driver.extraclasspath在哪

微创股份的公司介绍

spark编程 mysql得不到数据

美国硅谷的历史

相关文章