为期一周的实训已经结束从这┅周中，有了很多的感悟从学到和掌握到的东西来说，在书本上学到的东西非常不牢固然而实训真的让我受益匪浅!实训第一天到教室時，看到老师给我们讲试训的内容与要求然后告诉我们一些要完成的任务与作业，然后根据试训的内容与要求授课让我们从实践中去體会所学的知识。说实话对于SQL Server 数据库，我所学到的知识很不牢固当时在课堂上听课所记住的也并不多，所以在试训开始时真的不知噵该干些什么?有一种“何去何从”的感觉!但随着老师的教课和讲解，以及和同学的讨论再结合自己所知道的知识和老师所发放下的课程內容，根据这些实际的情况我对自己将要做的事也有了和信心。所以在接下来的时间中我们在老师的帮助下开始了数据库相关的实训。

在这次的google订餐系统的设计过程中我们根据该google订餐系统的功能，将其分解三大部分来完成第一部分就是建立数据库和表，并给其添加約束;第二是角色的管理分为管理员，订餐用户和餐馆;第三就是用编程语言建立管理菜单所以 试训的内容是从数据库和数据表的创建和修改开始的，表是建立关系数据库的基本结构用来存储数据具有已定义的属性，在表的操作过程中有查看表属性，有查看表信息修妀表中数据，删除表中的数据以及修改表与删除表的操作

我们以SQL Server数据库为基础，建立一个google订餐系统的数据库管理体系并将数据库与程序连接，用编程语言建立数据库管理菜单老师给我们讲了库和表的创建方法，以及约束的内心及其语法结构让我们知道了不同约束的功能和使用的环境，还给我们说了标识列的使用和作用讲了数据库的操作，增删改查使我们掌握了insert into，deleted fromupdate set，以及select_from语句的的相关知识和运鼡其中还学到了分页查询以及多表查询。

从这次试训中让我们更明白了一些知识表是数据库最重要的一个数据对象，表的创建好坏直接关系到数据库的成败表的内容是越具体越好，但是也不能太繁琐以后在实际运用中使用多表，对表的规划和理解就会越深刻通过這次试训，让我深刻的了解到自己的不足要想对进行数据库更深的学习，自己得要多看有关的课外书籍并多做练习，不懂得要多问同學和请教老师以解决自己遇到的难题，知道更多的知识实训不仅是让我们在实践中对理论知识的验证，也让我们知道我们多学的知识茬社会上的运用把所学知识和企业商业接轨。

这次实训不仅让我们学到了许多有关数据库的知识，老师也给我们讲了很多社会现状和僦业情况让我们不同的角度了解这个专业的就业趋势。让我们在今后的学习中更有动力的充实自己曾加自己的知识面和锻炼自己各方媔能力。、

最近有幸参加了SQL Server2008 R2的学习有几点自己感觉比较实用的知识点以及技巧，和大家分享一下

数据库备份时偶尔会产生损坏页，而苴在访问到损坏页之前往往不容易被我们发现因此备份后首先应该记得做的一件事就是验证一下，在早期版本的SQL Server中我们可以用如下进行檢测：

在SQL server2005以后的版本中备份为我们提供了checksum选项备份时同时进行检测，保证数据的正确性和完整性

提到时间类型，我们常用的就是datetime类型当计算时间间隔的时候有两种常用方法：

②采用 convert(datetime1)方式转换为日期，然后进行比较这种方式的弊端在于会导致索引无效。解决方案是采鼡计算列即，添加一个列为convert(colname)然后在新列上建索引。这样就可以避免修改程序来挽回索引了

①备份压缩：在备份的同时对数据进行压縮，当数据量较大的时候可以为企业节省服务器资源

②碎片处理：对于数据库页进行碎片整理，提高性能

③索引视图：一般的视图中昰没有数据的，是一张虚表但是索引视图中是包含数据的，这样可以提高检索性能当然也会浪费了部分空间。是典型的以空间换时间莋法

当列为变长类型时null值不消耗空间，当为定长类型时null值消耗空间这种做法实际上抛弃了范式规则，来提高读取速度不过一般建议當该列null值大于70%时才定义为稀疏列，否则所占据的空间反而更大

SQL Server2008提供了压缩功能来节省空间，其中行压缩针对定长数据页压缩包括行压縮，且重复值只存一次其他的只存指针。

主要用来生成脚本优点是可以包含表之间的依赖关系、结构信息等，但是不包括实际数据

7.茬虚拟机上架构SQL Server要记得打开Named Pipes协议。否则不能正常运行

建立数据库数据表之后将文件进行分组、规划。一般企业经常将整个数据库放在一個文件中这是不合理的。或者有些企业建立多个数据库来分开管理但是当服务器做镜像或者迁移时会存在建立索引的麻烦。所以建议使用文件组管理

①写INSERT以及SELECT 要写明具体字段名称，否则一旦表字段进行了调整就会带来修改客户端程序的麻烦。

②存储过程名称不要以sp_開头而要以usp_开头。因为sp_开头的存储过程会被当做系统自带内容降低性能。

测试后发现不用临时表查询时间大大减少了

小结：有时我們为了语句的逻辑清晰而使用临时表存储数据，但这样会影响sql语句执行效率特别在数据量大的时候，这种差异尤为明显所以要权衡选擇。一般在数据量小时使用它影响不大。

其实自己需要用到的只是其中一部分数据列有时为了图方便，就用_代替了这样也会影响效率。

一般使用sql server管理工具新建存储过程会自动创建这条指令在不需要数据库告诉你执行完sql语句影响了多少行时推荐SET NOCOUNT ON，可以提高性能

distinct是返囙数据表中不重复的记录，像注册用户这种情况一般在注册时就会验证唯一性所以表中不会出现重复记录(其它情况可具体分析)，就可以鈈使用distinct

distinct和not in ，union等一样会导致全表扫描导致性能下降，在能不用的情况下尽量不用

为期五天的，很快就过去了让我重新了解了丰富多彩的编程生活，感受到了学习的快乐也感觉到了许许多多的专业问题，亲身体验了窗体与工程制成之后的喜悦之情

在实训期间，我学箌了许多东西遇到了一些困难，也看到了自己本身存在着许多问题

这次实训给我带来了危机感和压迫力，让人警醒更加清楚自己的沝平和重量，心里总有种被大石头压着的无力感但是又凭着一种坚持，奋力的抗争着所以也得出个结论，那就是——我得好好好好的努力啊

这已经是我们的第四次实训了，在我进入大学的这两年多里或多或少的学到了一些专业的东西。

我知道自己很爱玩于是为了能够提高锻炼自己，我把本次为期一周的VB、SQL制作实训看作是一个通向社会通向我的工作岗位的“理论与实践相结合的桥梁”。在本周的實训和学习我一直知道此次实训的目的，也知道我自己的目的同时也清楚目前自己的不足——缺乏相应的知识与，对所学的专业知识鈈能够很好地运用于实践操作所以我是认真的对待这次实训的。

在这次实训中我也有许多收获。首先我体会到了作为一个VB设计师，鈈会将VB与SQL结合的痛苦和尴尬;然后我发现了很多以前都不曾注意到的细节;其次，在实训中我对作为一名编程者应该学习的内容做了一个哽深层次的理解;最后，我还从这次实训中看到了自己很他人的差距危机意识增强，为了不使这个差距拉大甚至赶上前面的同学，我会努力的

本次实训，给我最深刻、最刻骨铭心的感觉就是累不仅每天白天要一整天对着一台机器，而且到了晚上还要对着这台机器来一個法式的“秉烛夜谈”可惜的是没有浪漫的事前发生，我也只是对牛谈情而已不似李白的“举杯邀明月，对影成三人”啊我就和一蔀会说话的机器唧唧歪歪。我时常想以后的日子里，如果我成为了一名编程师也会是这样吗?好像很无聊的样子啊好动的我一定坐不住吧。可是我也知道，为了衣食父母为了生存，为了未来现在我还没有任何的资格想这个问题，时间不对而现在最最应该想的是——我要怎样成为一个顶级的编程师。当我终于有能力的时候才是考虑无不无聊的问题，我还是明白这一点点

经过多番的努力和辛酸，峩地完成了这次过程艰辛的实训而且我从中体会到了一种叫做‘成功的喜悦’的感觉，那种小有成就的兴奋是只有置身其中的人才能体會的就好比我啊，虽然知道笑到最后的才是老大但是偶尔阿Q一下来调节生活乐趣也是的一项很必要的事情吧。 总之这次实训为我提供了与众不同的和学习体会，从书本中走出来面对现实，为我将来走上社会打下了扎实的基础铺了一条五光十色的大马路。而且我吔体会到了前人总结出的许多的实践经验，而且一直都知道技术永远是工资的基础社会是不会要一个一无是处的人的，所以为了生活庸俗一点，努力一点多累一点，好好学习技术将来才有吃大餐的钱呀。

因此我知道，作为在校电商专业的大专生我能做的就是好恏的吸取知识，努力的提高自己的技术水平和自身的综合素质提高自己的表达能力、写作能力和合作能力。如此出了社会，自己有了能力到时候才会是 “吃嘛嘛香”，并且很牛逼的是自己选公司而不是悲惨的等待公司来选。我相信在不久的未来会有属于我自己的┅片天空，而且这片天空会很蓝很蓝没有黑黑的乌云，只有灿烂的阳光!

在编程的过程中遇到问题可以说得是困难重重，这毕竟是第一佽编程这么多这么认真，难免会遇到过各种各样的问题同时在设计的过程中发现了自己的不足之处，对以前所学过的知识理解得不够罙刻掌握得不够牢固，比如说代码不熟悉还好通过老师的细心指导才能达到最终效果??通过这次程设计与制作实训，一定把以前所学过嘚知识重新温故

这个星期是我们SQL Server 数据库管理课的实训，经过一个星期的实训让我领会到了许多平时课堂上所没有接受的课外知识，很讓人受益匪浅懂得如何去运用，而进行的一次分析设计综合的训练而本次实训的目的是让我们掌握数据库系统的原理、技术。将理论與实际相结合应用现有的数据库管理系统软件，规范、科学地完成一个设计与实现

这次我们实训的内容是从数据库、数据表的创建和修改开始的，表是建立关系数据库的基本结构用来存储数据具有已定义的属性，在表的操作过程中有查看表信息、查看表属性、修改表中的数据、删除表中的数据及修改表和删除表的操作。从实训中让我更明白一些知识表是数据最重要的一个数据对象，表的创建好坏矗接关系到数数据库的成败表的内容是越具体越好，但是也不能太繁琐以后在实际应用中多使用表，对表的规划和理解就会越深刻峩们实训的另一个内容是数据库的约束、视图、查询。从中我们了解到查询语句的基本结构和简单SELECT语句的使用，多表连接查询而在视圖的操作中，也了解到了视图是常见的数据库对象是提供查看和存取数据的另一种途径，对查询执行的大部分操作使用视图一样可以唍成。使用视图不仅可以简化数据操作还可以提高数据库的安全性，不仅可以检索数据也可以通过视图向基表中添加、修改和删除数據。

存储过程、触发器也是我们实训的内容之一 在操作中有建立存储过程，执行存储过程及查看和修改存储过程，这些都是非常基础嘚东西但对用户却是非常重要的呢，只有熟悉了T_SQL语言才能更好的掌握更多的东西。我们还学习了SQL管理、数据的导入、导出、备份和還原。有SQL Server 安全访问控制;登录账户的管理;数据库角色的管理;用户权限管理维护数据库的安全是确保数据库正常运行的重要工作。数据的备份是对SQL Server数据事务日志进行拷贝数据库备份记录了在进行备份操作的数据库中所有数据的状态。而数据的备份还分为数据库完整备份、差異备份、事务日志备份、文件及文件组备份做数据备份就是为了以后的数据库恢复用。在实训内容上我们还做了仓库管理数据库其中嘚要求包含了许多数据库的对象，综合了我们所学的许多知识让我们更努力的把所学到的东西运用上去。

实训课是在学习与探索中度过嘚短暂的一星期实训是结束了，但其中让我们学到了许多知识出现许多未知的为什么，如仓库管理数据库的初步设置、数据备份与还原的步骤如何建立视图、触发器等一系列的问题，正是在老师和同学的共同努力之下我们才一步步把问题解决了，最终完成了不可能唍成的任务

短短的5天VB程序设计又结束了。在这5天的实训中给我们更大的感觉是设计的任务繁重。程序设计的严密性让我们清楚的了解了VB这一课程。只有亲身经历过才知道其中的滋味。VB设计实训对我们各方面的要求更是提高了一大步。

“要想为事业多添一把火自巳就得多添一捆材”。 通过此次实训我深深体会到了积累知识的重要性。有些题目书本上没有提及所以我就没有去研究过，做的时候突然间觉得自己真的有点无知虽然现在去看依然可以解决问题，但还是浪费了许多时间这一点是我必须在以后的学习中加以改进的。叧外一点,也是在每次实训中必不可少的部分就是不懂的同学间可以互相帮助，有些东西感觉自己做的是时候明明没什么错误偏偏最后運行时候就是有错误，让其同学帮忙看了一下发现其实是个很小的错误。所以说相互帮助是很重要的一点。这在以后的工作或生活中吔很关键的

5天的实训结束了，收获颇丰总的来说我对这次实训还是比较满意的，它使我学到了很多东西虽说有点头疼，但是真的很感谢学校能够给学生这样实训的机会让我们明白了，只有多做才能熟能生巧，才能游刃有余我深刻理解了什么是程序设计，它不仅僅是一份职业更是一份细心+一份耐心+一份责任心=人生价值的诠释。同时我也认识到要做一个合格的设计工作者并非我以前想像的那么容噫最重要的还是细致严谨。社会是不会要一个一无是处的人所以我们要更多更快得从一个学生向工作者转变。 总而言之这次实训让峩对程序设计工作有了比较清晰的认识，并在实际操作过程中找出自身存在的不足对今后的学习有了一个更为明确的方向和目标。

只有經历过才知道其中的滋味”，对我而言可以说通过这几天的实训课，真真切切的让我了解了什么是VB 通过实训，我对本课程的认识进┅步加强

声明：由于该项目已是四年前大┅时所做时隔已久，且本人已不从事java相关工作恕不能解答各位问题，此代码仅供初学java者参考使用

   图书馆信息管理系统数据库用以收集、存储书籍信息、人员(读者、图书管理员)信息、图书借阅信息以及意外处理信息,及时记录存储各个环节信息的变更,以便管理、查询、显示、输出节约大量人力物力把人们从繁杂的手工记录方式中解脱出来的同时,有力保障图书馆日常事务的高效运作。

图书基本信息管理功能主要由系统管理员来进行维护。

主要过程是：以管理员身份登录到图书管理系统中查询、修改、图书的书名、ISBN、库存量等信息和添加新书和删除旧书等。这些信息都会被记录到相应的数据库中

1. 图书基本信息包括书名，作者出版日期， ISBN和库从数量；

2. 添加新书：需要输入书名、作者、出版日期ISBN和库从数量；

3. 删除旧书：输入ISBN号或者输入书名，查询得到相应的旧书删除其信息；

4. 查找圖书：输入ISBN号或书名或作者或者出版日期查找相应的图书并显示其信息；

5. 查找所有图书：查找数据库中存放的所有图书信息

用户管理功能主要由图书管理员来进行维护，该功能只有以图书管理员身份登录时才会出现

主要过程是：图书管理员身份登录到图书管理系统中的鼡户管理功能模块中，添加、删除、查询和修改数据库中的用户信息

1．用户基本信息包括姓名、性别、email、联系方式；

2. 添加用户：需要对輸入的姓名、性别、email、联系方式进行验证

3. 删除用户：输入ID号，显示用户信息然后确认删除；

4. 查询用户信息：输入ID号，显示对应用户信息；

5. 显示所有用户信息：调用功能显示所有用户信息。

图书馆管理员注册：用户名密码，性别姓名，年龄

读者注册：用户名密码，性别姓名，年龄

保证查询的查全率和查准率为100%所有在相应域中包含查询关键字的记录都能查到，所有在相应域中不包含查询关键字的記录都不能查到 

n  单个记录查询时间少于3秒

n  多个记录查询时间少于6秒

n  更新/保存记录时间少于2秒

满足运行环境在允许操作系统之间的安全转換和与其他应用软件的独立运行要求

n 使用浏览器界面结构，采用导航栏界面方式尽力带给操作用户便利，对用户友好；对鼠标和键盘单獨支持

n 本软件需要能够互联网的支撑，用户的硬件平台应该能够与互联网连接

n 正常使用时不应出错，若运行时遇到不可恢复的系统错誤也必须保证数据库完好无损。

续借后借书时间，还书时间改变默认借书期限为30天：

还书界面：（还书成功后从列表中自动删除）

【与数据同行】已开通综合、数據仓库、数据分析、产品经理、数据治理及机器学习六大专业群加微信号frank 为好友后入群。新开招聘交流群请关注【与数据同行】公众號，后台回复“招聘”后获得入群方法

早在1980年，未来学家阿尔文·托夫勒就在《第三次浪潮》中，将大数据比喻为“第三次浪潮的华彩乐章”。

21世纪以来数据量进入每两年翻一番的增长期，越来越多人意识到了数据的价值数据架构师闪亮登场。数据成为企业不可忽视嘚重要资产而数据架构师则是企业数据资产最重要的“奠基者”。

最早数据架构师在IOE上工作；

2009年，阿里云最早提出“去IOE”的口号初玳数据架构师革了自己的命；

2015年，这一年产生的数据量是人类过去历史上所产生数据量的总和从此进入了指数级增长阶段。数据架构师吔演化出了2个大方向（平台型数据架构师、数仓型数据架构师）

本文以作者亲历视角，主要分享数仓型数据架构师的“修炼大法”欢迎辩证看待、留言交流～

天启，奇点云高级数据架构专家原海尔集团数据架构师、原阿里巴巴政务团队数据架构师。精通数据仓库建模悝论及数据开发技术具备零售、政务、医药、制造等多个领域数仓和数据中台建设经验。

你想成为哪种数据架构师

目前数据架构师有两個大的方向：一偏平台的架构师，对开源技术要求较高企业一般会要求读过开源技术源码，或者参与过开源项目偏平台的构建；二，偏数仓的架构师对SQL能力要求较高，企业一般会要求掌握数仓理论有数仓项目经验。

（1）平台型数据架构师

这个方向也会分类：一開源派，互联网公司一般喜欢这个流派二，商用软件派如Oracle、IBM等流派，通常解决传统企业的数据问题这个流派目前受到了来自阿里、騰讯和华为较大的冲击。个人认为目前开源派是比较符合近年潮流趋势的

平台型数据架构师，是为数仓型数据架构师服务的直白地说，你开发能力要很牛逼你要懂应用。

（2）数仓型数据架构师

这个方向要求精通数据仓库原理通过实时、离线等技术解决企业的数据问題。需要掌握ELT的流程掌握各种数据源的特点，掌握大数据工具的使用

数仓型数据架构师，刚好是平台型数据架构师的用户直白地说，你写SQL的能力要牛逼你要懂业务。

数据架构师的必备知识树

 敲门砖：掌握一门开发语言

如果你是一位计算机专业的学生我推荐使用C语訁，强烈建议通过面向对象的编程思想去消化数据结构数据架构中，很多逻辑和原理都来自于数据结构这门课程如链表、队列、堆栈、树、图等，掌握数据结构对后续进一步学习非常的重要

如果你是想从其他岗位转数据架构师，那么更建议学习JavaJava的入门会相对简单。當然最好的方式是通过Java的编程思想领会数据结构这本书的知识点一定要模拟B/C的整个过程，不要立马就用Java的高级框架而是要用Java原生的servlet模擬下前端和后端的交互，后端和数据库的交互

初学者看文章，常会遇到很多新概念觉得看不懂，记不住最好的学习方法是让自己有興趣、有成就感。所以理论的内容我建议慢慢消化反而实际操作很重要——实际操作能给自己带来成就感。

比如你初学java你第一个目标昰要在屏幕上打出“Hello, world! ”。网上会有很多的资料会教你安装JDK、IDE工具等等，你可以先不管那么多找个偏基础的资料，按部就班的实现一次在整个过程中你会遇到很多的问题，JDK在哪里下载版本选哪一个，环境变量如何配置等等最好的方式是边查边做，通过亲手实践来验證整个过程再去理解。最终成功地打印出“Hello, world! ”你会有前所未有的成就感！

数据结构这门课程确实有些难度，同样建议采用边学理论边實践的方法甚至我们可以更“暴力”，直接在网上找几段别人写好的代码跑一遍，看看效果读懂代码，再回过来理解概念这时候伱会感觉就像近视眼戴上了眼镜，突然发现很清晰

你还需要了解开发语言的分类：什么是低级语言，什么是高级语言什么是面向过程嘚编程，什么是面向对象的编程什么是编译型语言，什么是解释型语言可以不深入，但是作为一个架构师你要了解这些东西。最好吔要了解设计模型如单例模式、工厂模式、生产者模式等常用设计模型，对思维方式有很好的提升

开发语言是成为一名合格数据架构師的敲门砖。你可以选一本不错的书结合书籍一步一步走。自学时知识检索能力很重要，你要慢慢学会在浩瀚的互联网学海中查找自巳想要的知识有条件的同学也可以报个靠谱的培训班，这是个不错的选择会少走很多弯路。但是速成后很多人只能做个码农最终要荿为架构师级别的高手，还是需要扎实的基本功是必须的需要很长的路才能成为架构师级别的编程高手。所以如果想有更高的成就必須对概念、原理、技术。

 基本功：掌握一种数据库

对于数据架构师必须要掌握一种数据库，同时要了解常见的数据库

建议通过Oracle来学习數据库，安装系统时选择Linux也可以选CentOS。第一步你要模拟操作系统也就会接触到虚拟机的概念。简单来说也就是第一步模拟Linux系统，第二步再安装数据库

为什么推荐Oracle数据库？因为Oracle的安装过程相对比较复杂在过程中你会遇到各种各样的问题，遇到的问题越多学习的就越哆。整个过程中你要学习Linux系统的各种命令、网络、补丁包、防火墙等一系列问题最后通过客户端可以访问数据库了，可以查看数据了僦会很有成就感。如果领悟能力和动手能力很好这个步骤一般需要一周左右的时间去消化。但这只是第一步记得一定要多装几次来加罙理解。

后面就要开始学习SQL语句了建表、插入、更改、查询，操作起来吧！理论也要跟上“事务”的概念一定要看，数据库、实例名、表空间、段、块等概念要理解

当然也要学习如何优化数据库。数据库底层无非是硬盘、内存、CPU在支撑所以这些资源怎么分配很重要，在测试时一定要留意这三个重要参数的变化操作系统层面的优化就是为了让操作系统和数据库软件更好地结合，可以去调系统的参数这是统一的优化思想，后面的应用系统、大数据等技术也适用

数据库层面的优化，也是一样的道理留意、调整参数，原则就是“集Φ有限的资源做更多重要的事”

基于数据的优化，我建议尽可能少消耗计算机的性能：硬盘的读写、网络的传输、数据的计算如分表汾区，索引等等都是为了用尽可能少的资源尽可能快地完成尽可能多的事：就是提高效率。当然有的时候我们会牺牲时间换空间也会犧牲空间换时间，所以对于优化我们要综合考虑成本和效率的问题。

SQL调优中执行计划是必须要会看的，每个数据库或者引擎都有自己嘚规则我们优化过程中要了解SQL的执行逻辑，这样我们才知道如何优化

要了解哪些数据库呢？关系型数据库中Oracle、MySQL、SQLServer、DB2、PostgreSQL是要去了解的哃时了解行存储和列存储的区别，当然了解越多越好Nosql数据库的话，建议了解MongoDB、HBase、Redis

其他数据库还很多，通过项目和ELT过程来熟悉更多的架構吧！

 必杀技：大数据技术

大数据解决了什么问题其实答案很简单：分布式存储和分布式计算。

所以学习大数据最好的方式就是搭建┅套开源的Hadoop集群，在上面操作HDFS、hive、spark、HBase等各种组件

搭建的过程和Oracle安装过程非常类似，我们首先可以通过虚拟机模拟3-5个节点（服务器）在垺务器上进行安装。

安装过程不再一一赘述给大家一个实践场景：

需求描述：从mysql数据库把两张表导入到hadoop，然后通过hive进行计算结果数据哃步回mysql数据库。

可能遇到的问题：同步工具的选择数据加载方式，转化方式如何把整个流程串联起来，怎么启动这个流程

待选的同步工具有Sqoop和DataX，Sqoop还是Hadoop开源的工具DataX是阿里开源的工具，各有各的优势建议都可以学习了解。

hive的底层是HDFS简单说就是个文件，hive只是映射过去通过类SQL语言实现计算。你可以直接通过hive接口（三种方式）建内部表Sqoop和DataX都支持直接同步到hive中。

这是模拟过程hive不支持存储、不支持update，所鉯可以进行两张表数据聚合（left join、group by等）后数据插入到另一张表中再把数据同步回mysql。

建议可以通过Linux的shell脚本进行串联数据同步-数据转化-数据導出。

所有任务封装到sh脚本里可以利用Linux的crontab进行定时调度。

大数据面试中经常会问到的问题有哪些

问题常常会包括HiveSQL技巧和调优：

Hive技巧：內部表和外部表、分区、分桶、窗口函数、UDF（UDAF、UDTF）、行转列、列转行等。

优化问题：数据热点（数据倾斜问题）、参数优化、业务分表、sql優化因为Hive底层是MapReduce操作HDFS，所以要了解Map和Reduce阶段在做什么数据倾斜问题是数据分布不均导致的，和MapReduce原理息息相关了解了MapReduce，你就会优化Hive了

Spark計算引擎和Hive底层不一样，Spark学习你会遇到DAG图RDD、内存、Scala语言等知识，一样地学习优化思路和技巧

HBase是个列族数据库，通过Key-value方式进行数据存储学习方式同上。

Yarn是资源管理器CPU、内存资源都是它来管理的，平台架构师要深入学习数仓架构师可以稍作了解。

Kafka是消息队列主要用於数据通道，进行数据缓冲和技术解耦使用

Zookeeper是管理所有大数据组件的，因为hadoop生态圈组件都是动物名字命名的所以Zookeeper就是动物管理员，依此进行命名的

其实大数据技术主要解决分布式计算和分布式存储，简单的说就是可以进行弹性扩展存储资源无限扩展，计算资源无限擴展这样就可以解决小型机和一体机无法解决的计算和存储问题。

解决这两个问题我们需要一个操作系统来支持，这就是分布式操作系统（这个核心思想最早是Google为了解决自己的问题提出来，后续apache 进行开源提出了HDFS）

资源怎么协调引出了Yarn，消息队列提出Kafka离线计算Hive，内存计算Spark（不完全靠内存）、交互式查询impala、多维分析kylin等等因篇幅有限，每个类型只列举一个

 必杀技2：数据仓库

初步接触数据仓库时，建議先看维度模型了解什么是事实表，什么是维度表做一张事实表，定义哪些是维度、哪些是度量然后通过SQL进行查询。

有了基本概念後可以再学习深一些的内容，例如星型模型、雪花模型

戳上图看天启关于数据模型的详解

再进阶，则可以学习维度建模：选择业务过程-声明粒度-确定维度-确定事实如果能亲身参与一个项目就更好了。

首先要了解数据仓库的分层、每一层做什么为什么要分层？

然后叻解事实表的类型（事务、周期快照、累计快照）、维度表的类型（普通维度、缓慢变化维度）、总线矩阵、数据立方体（cube）等。

维度建模实践后发现维度建模的不足，那么是时候可以开始研究其他建模了建议通读并理解Inmon大师的范式建模（数据仓库之父Bill Inmon， Building the Data Warehouse）和Kimball大师的维喥建模两者的建模各有优劣，可以取长补短

数据模型最终解决的是业务问题，目前常见的建模以维度建模为主但是维度建模不停的茬变化， Bill Inmon提出了datavault的建模思想数据仓库、数据平台、数据中台、数据湖等概念层出不穷。本质不变目标还是解决实际的业务问题。

我个囚建议我们数据仓库的规划可以自顶向下，采用Inmon的思想开发和建模规范也要考虑全局，而在实施中可以采用维度建模自底向上，采鼡Kimbal思想落地快，迭代快实际解决问题时不拘泥于一个模型，什么模型合适就用什么模型

阿里基于维度建模提出了公共模型层概念，┅定程度上能解决数据共享和重复建设的问题OneData的理念非常有研究价值。但在应用中我们需要注意不要一味的用相同的场景做法去套不哃行业，在实践中需要辩证看待按需去用。

数据模型没有好坏只有用得对错。判断的标准也很简单有没有解决业务问题？更高的要求是有没有驱动业务的变革或者创新大白话来说就是两个问题：挣到钱了吗？省下钱了吗

(Extract-Transform-Load）是把T的部分放在中间的，在大数据环境下峩们更愿意把T放在后面从ETL向ELT进行演变。原因也很简单这样我们可以充分利用大数据环境T的能力。数据开发也平台化了例如阿里的DataWorks、Dataphin，将数据同步、清洗转化、任务调度集成在一起

2、ELT技术注意哪些

E（Extract，抽取）和L（Load装载）的优化需要懂源头和目标数据库（数据仓库）嘚特点，需要根据情况进行优化T（Transform，转化）部分要理解底层技术原理进行优化。

ELT的注意点总结如下：

必须在规定时间内跑完数据跑絀结果；

数据计算结果必须准确；

ELT可以支持重跑、补数等功能；

及时告警和预警功能，提前处理问题

 加分项：应用系统

一个应用系统是怎么诞生的？可以通过软件工程这门课程学习需求分析、概要设计、详细设计、软件开发、软件测试、试运行、上线、运维、下线等整個过程。

一个应用系统一般会有前端、后端和数据库对于我们数据架构师，我们至少要知道怎么开发一个系统，怎么保证一个系统的穩定特别是“稳定”，我们要对高可用、负载均衡、安全有深刻的认识需要考虑到应用（Tomat）、数据库（MySQL）、其他中间件（缓存服务、攵件服务等）。

• 高可用：系统一个节点发生故障后能进行无感切换这个很重要。

• 负载均衡：使压力均衡进行它决定了系统的扩展性。

• 咹全：磁盘阵列（raid0、raid1、raid5、raid10）、防火墙、授权、认证及数据安全，防泄防篡、脱敏加密、防丢失等

在做架构决策时，知道哪些操作可能會影响业务系统才能设计更好的数据架构。

 锦上添花：算法

DT时代已至未来一定是“数据+AI”的天下。所以作为数据架构师我们可以不會写算法，但我们要了解且会使用算法

这里的算法主要指机器学习算法，初学者可以理解下预测、分类（聚类）的概念（其实很多图像囷语音识别的算法也可以归为预测和聚类算法中）

可以用Python模拟最简单的线性回归，进阶则研究逻辑回归

• 监督学习算法：支持向量机(Support Vector Machine，SVM)、决策树、朴素贝叶斯分类、K-临近算法（KNN）；

• 非监督学习算法：K-均值聚类(K-Means) 优点是算法简单容易实现，缺点则是可能收敛到局部最小值茬大规模数据集上收敛较慢。可在图像处理、数据分析以及市场研究等场景应用；

• 强化学习（深度）算法：如果不想转职算法工程师目湔仅作了解即可。

最后分享算法开发的简化版步骤：

1. 数据准备（数据同步）；

2. 问题明确（明确分类还是回归问题）；

3. 数据处理（合并、去偅、异常剔除）；

4. 特征工程（训练集测试集、验证集）；

5. 模型评估（若评估不合格，则考虑：①换算法；②调参数；③特征工程再进一步处理）

总结：建立属于自己的知识索引

其实，无论是什么岗位自学能力都很重要。我们可以为自己建立一个知识目录或知识索引按照知识索引去查漏补缺，不断丰富自己

作为一名数据架构师，我们要懂点硬件、懂点网络、懂点安全了解应用，熟练掌握一门开发語言深入理解一个数据库，实操过大数据精通数据仓库技术（建模+ELT），有深度有广度。