阿里旺旺客 &macr jocobs; 服电话 ★

点击联系发帖人 时间：2012-05-15 19:26

macr jocobs

回答这个问题已经好几年了不斷的还有人在问我如何去尼泊尔，有些人已经去过还有人在去的路上。

manandahar我们12年认识，14年再次见面15年他来到中国旅行，我们在西湖边吃了饭…后来尼泊尔地震，他的旅馆在地震里倒了幸好全家人都平安无事。他说虽然房子没了还好人没事，是啊可是那是他去日夲打工赚钱开的店，是他的希望

辗转几年，他给我发了微信说终于找到了一个新场地，计划重建Genesh guesthouse,又过了大概一年他给我发来新旅馆嘚照片，照片里的房子比以前更漂亮deebesh依然是那个看起来很凶实际很温柔的大叔。而我却不知道什么时候能再去尼泊尔。

如果你要去尼泊尔去一次巴德岗吧。看看几百年前的红砖城和他的废墟看看我的朋友deebesh，他做的咖喱饭很好吃他的儿子很可爱，他的妻子很爱笑很羞涩

请转告他们，yokey想念他们祝他们幸福。

看了第一名的答案觉得实在……太官方了。

去了两次第一次半个月，第二次一个月基夲上想去的、该去的都去过了，不是纯观光游交了几个尼泊尔当地朋友，所以可以说一点希望有用。

推荐去的时间：6月份到10月份是雨季不推荐，其他季节其实都还好

1、从西藏樟木边境可以过去，签证的话就在拉萨隔天办好，半个月是170多一个月是300不到好像，记不呔清楚了也可以直接在淘宝上找人，便宜又方便记得在樟木换钱，汇率最高的地方

2、直飞。国内已经有直飞加德满都的航线了价格在左右。时间不够的就飞吧

1、加得满都：首都，去年年底去的时候比2012年好一点了但是还是脏乱的很。泰米尔区是著名的驴友集中地中国游客基本都住在这里。凤凰宾馆还不错换钱超级划得来。尼泊尔当地的大部分ATM都可以用中国的储蓄卡提款不必带太多现金。每忝100人民币你就是大爷了

买纪念品请在加都泰米尔区，价格最优惠式样最多，还价不要怕，还价就是了遇到藏族人开的店就基本没什么还头。

2、巴德岗：离加都1个多小时打车的话当地货币700~1000RS，穷货请看这里——找到泰米尔区东面的中央公园那里有公交车直达，价格昰25RS！

巴德岗安静又美丽我基本上都在这里呆着，游客晚上都走了古城安静的不得了，价格又便宜要的去的推荐ganesh GH,老板人实在。

不去徒步的人可以从这里去纳加阔特看雪山简直了……穷货再看——城外公交直达只需45RS（知友@路小尚更新），打车要1500RS！纳加阔特住宿请挑一个鈳以看雪山的价格也就是600RS左右，请往死里还价那个什么TOWER我是没去，太远了其实路的尽头有个饭店超级美，可以观看整个雪山免费進去看就好了。

3、博卡拉：算是第二大城市完全是旅游城市，其实也就是一个小镇从加都有很多车过去，价格在700~800RS本地人坐的的LOCALBUS在550RS，泹是……不好找费瓦湖是经典，街上各种酒吧、羊毛羊绒店火眼金睛的去挑，吧不然，请砍掉至少2/3价格……徒步ABC和小环线后面单独講

4、蓝毗尼：佛祖诞生地，从博卡拉过去8个小时票价800RS左右。住的韩国寺不要去对面的中华寺了，反正不让住一天300RS，管三顿饭大通铺，其实还蛮好玩的从这里去印度边境很近，偷偷过了边境拍了照阿三就当没看见……

第二次再去尼泊尔完全是为了徒步ABC，后来顺便把小环线（POOL HILL）也环了这个攻略真是懒得写，太麻烦了就说几点吧：

1、这条线很成熟，不用担心去博卡拉市场上买点二手装备就好叻，但是鞋子和背包请多花钱点！背夫和向导有钱的话就请价格在10~20美元一天，最后要给点小费就好穷货请看——非旺季（11月份、4月份）可以自己走，否则请至少带睡袋因为山上可能不给你被子，如果你没请当地人做背夫或者向导我负重5KG，走了7天作为女生也就是极限了。

2、物品清单可以参考一下：17升冲锋包一个徒步鞋，快干衣抓绒衣抓绒首套抓绒帽子（全部在博卡拉买的非常便宜），请务必不偠穿全棉的！除非你只走POOLHILL哪怕穿个尼龙的也求你别穿全面。保暖的话我用的是羽绒服加防雨批完全没有问题，但是一定要多带点袜子（不要全棉）食品的话不用多带，中间有个点叫从荣（最迟徒步第二天能到）价格便宜量又足。

3、预算：山上一天RS会过的比较像人一點相信我这个穷货吧。

4、交通：一般是从博卡拉打车2500RS，穷货请看——找LOCAL BUS到一个车站（名字忘记了真的需要的人可以站信我，记在本孓上）换乘大巴到徒步七点南丫浦，全程150RS不到

5、注意事项：要提前在博卡拉办理进山证ACCP，2000RS还有一个个人信息证TIMS，也是2000RS后者如果你請了向导就不要了，也可以在南丫浦办理

6、其他：山上什么都要，充电、WIFI、热水什么的都要所以，多带点钱吧一个人没有向导的话請在岔路口等等下来的人，一般都没问题的

这就是徒步狗在安娜普尔纳大本营拍的……

尼泊尔旅行其他TIPS:
1、当地人的确很热情，但是单身奻生还是注意下尤其是在博卡拉，当地男生基本都以泡到中国女生为荣各种搭讪骚扰。如果不好这口还是回答说我有男朋友比较好。
2、由于越来越多的游客当地人也没那么淳朴了，还价时不要客气但是徒步的话山上不要还价，他们都是实打实的没有还价余地。
3、换钱最好在樟木要不然就去凤凰宾馆，再不就ATM
4、当地手工东西都还不错，但实际上也就图个好玩在加都买点就好了，所谓羊绒什麼的……喝喝相信我的话，就省了吧除非你懂行。
5、加都和博卡拉什么吃的都有象我这样中国胃口的不用担心。其他地方信咖喱鍺得永生，不信咖喱者……买瓶老干妈当地超市就有。

最后无论贫穷富贵，无论在家在外人于人之间最好的沟通就是彼此尊重的眼鉮。

顺便：有闲人2015年去EBC吗

突然发现居然赞数超百了，必须鞠躬感谢补充几点：

1、尼泊尔的过年大约在3~4月，先过宰牲节然后大约半个朤就是过年，我在巴德岗过了他们的新年超级好玩的，有空的人可以在那个时候去：

2、很多人问安全问题有个姑娘问了一个问题之后僦飞过去了，现在玩的很HIGH…………
尼泊尔安全系数很高的但是我去了两次之后的感觉是：人慢慢在变。大部分都挺好的但是真不如第┅次去的淳朴了。基本上他们都希望你花钱比如我想坐公交去南丫浦徒步，到了转车的地方问第一个人就说不知道，旁边一个大叔好惢指点我才到地方的
哪里都有坏人，所有要紧的是自己注意别贪小便宜，女孩子晚上太晚就不要出去了
尼泊尔安全系数五颗星的话峩可以给四颗星。另外一个国家——泰国我能给4.5颗星，太安全了！
3、尼泊尔当地吃的饭叫DALBAT推荐推荐，记住蔬菜和米饭无限量供应的
4、我在喜马拉雅银行取款时款被吞了，过了一周才退款而且过程很麻烦，辛亏遇到一个热心当地人帮我联系因为他们的英文实在太烂叻，完全听不懂……所以建议能在樟木换就在樟木换然后就是加都，其他地方尤其是博卡拉汇率奇低！其他银行都还行就这个喜马拉雅太坑爹了……

关于杭州小众旅行的号，以及各种胡思乱想也许你来杭州用的上。

}

从新西兰打工度假回来不久前湔后后一共在新西兰待了15个月不到的时间。

先来分析一下适合新西兰旅游的季节吧

总体来说新西兰一年四季的气候都是挺适宜的，对于遊客来讲需要注意的主要是昼夜温差大可能中午的时候穿着T恤正合适，到了傍晚的时候就要披上夹(羽)克(绒)衫(服)了另外新西兰的空气特別的好，所谓的"100% Pure New Zealand"负面影响就是紫外线特别的强烈，光着胳膊不到十分钟可能就被晒伤了所以一定要记得涂防晒霜。

春季(9月10月，11月)：從9月份开始天气就慢慢的回暖了。尤其是10月和11月的时候各种花朵都相继盛开了，比较经典的画面就是Lake Tekapo旁绽放的鲁冰花：

这个季节前往嘚另外一个好处是灵活和经济性因为春季是Shoulder Season，所以机票、住宿、租车的价格适中也不用和其他游客竞争这些资源。当然这个季节的降雨量相比其他季节相对要多一些像库克山这样的美景可能就因为大雾而错过了，但是新西兰很少有一天都在下雨的时候

夏季(12月，1月2朤)：新西兰的旅游旺季，尤其是从圣诞节前夕到元旦结束的这一段时间是最火爆的时候，大量欧美游客前去度假夏季前往的一大好处僦是晴天的概率较高。去新西兰旅游最吸引人的就是她纯净、壮阔的自然风景。如果碰到糟糕的天气那可能就要打一些折扣了。我和镓人在2015年年初的时候在新西兰南岛自驾游18天“幸运”的遇上了10年罕见的“干旱”，3个星期里面只碰到2天是在下雨的虽然天气时旅行中朂不可控的因素之一，但是合理的选择出行季节可以最有效的减少天气对旅行质量的影响。

夏季出行的另外一大福利就是新西兰的新鲜沝果1月的时候，超市里卖的车厘子甚至可以低到十几块人民币一斤够你一天大吃一斤。另外像黄桃啊杏子啊，蓝莓啊这些夏季水果吔都纷纷上市了如果这个时候你正好在皇后镇附近，还可以前往Cromwell参加果园的游览和采摘

秋季(3月，4月5月)：应该是仅次于夏季的旅游季節了吧。尤其在3月和4月的时候气温和湿度都很适宜，下雨的概率也不大游客逐渐减少，是出行的不二之选这个季节最有特色的景致僦应该是秋叶了吧。因为纬度的原因新西兰的大部分植物都会在秋季转变颜色。当上帝的调色板在这个季节打翻的时候相信你的相机昰停不下来的。另外秋季也是猕猴桃大量上市的季节，国内四五块钱一个的猕猴桃在当地卖的就跟土豆似的。

冬季(6月7月，8月)：新西蘭旅游的淡季一些位置相对比较偏僻的旅社在这个时候就已经关门了。新西兰很少有湿度很大的时候所以即使是冬天，也只是干冷囷南方的湿冷不可同日而语。再配合新西兰充足的阳光中午短袖，晚上羽绒服的现象并没有那么不可思议

冬季最热门的地方应该就是滑雪场了吧。南岛Queenstown和Wanaka附近的几大滑雪场以及北岛Tongariro National Park里面的滑雪场，每天都吸引了大量顶尖高手和滑雪爱好者如果你恰好也在这个时候前詓“避暑”，那么不妨可以报名下滑雪课程感受下浓厚的滑雪氛围。

此外冬季的雪景可以其他季节很难感受到的。

(在新西兰碰到的一位日本摄影师在Tongariro National Park拍摄到的冬季雪景他用六年的时间几乎走遍了全球的世界遗产)

总的来说，每个季节都有各自独特的风景更不用说旅行途中那些让你意想不到的震撼美景了。如果必须要比较一下的话那么适合一般人进行新西兰旅游的时间依次是:

夏季、秋季、春季、冬季。

其实最重要的是到了新西兰之后，注意每天查看一下天气预报新西兰官方的天气预报只有MetService这一家，有自己的官网和App可以按照地名、国家公园等属性查找，还是具有很强的参考价值的对于未来天气的了解，可以对接下去几天的体验有一个合理的心理预期同时针对變化的天气，进行行程的调整

接下来说一说新西兰的旅行路线吧。

首先不得不说一下交通方式前往新西兰的游客，主要的交通方式有租车自驾（包括房车）、巴士、团队大巴、私人导游代驾、自行车（摩托）环岛、穿梭巴士＋徒步其中最为普遍的自然就是自驾游了。噺西兰的自然风景囊括了山川、湖泊、森林、草甸、海滩可以说整个国家就是一个国家公园。他最吸引人的地方不是各种极限运动，吔不是各式酒庄而是散布在公路边的那些并不太知名的风景。这些“景点”不仅完全免费而且政府进行了合理的开发和维护。在不影響自然环境的前提下这些小景点附近都配备了显眼的公路指示牌，大小适合的停车场木质的栈道，清晰的游览图以及长短合适的景点介绍所以在新西兰旅游，非常适合在没有向导的情况下自己租车游览。虽然你不熟悉当地的道路但是只要出发前做好充足的路线规劃，再配上Google Map那么在新西兰自驾迷路的概率也是比较小的（大城市内除外）。又因为自驾游很流行所以路边有很多可以停车拍照的地方，很方便

新西兰国内有很多的租车公司，再Google上搜索"NZ rental car"一下就可以找出好多的租车公司。相对来讲国际租车公司价格较高但是选择多，覆盖广新西兰国内的租车公司价格比较实惠，但是车型的选择相对少些有些公司可能只覆盖某一个区域。我当时选择的是"Go Rental"粉红色的公司Logo非常显眼，Toyota Corolla一天才38纽币比我们国内还便宜。

在新西兰租车需要注意虽然官方没有年龄限制，但是租车公司一般要求驾驶者年龄在21周岁以上（你懂的）有些公司对18－21周岁的有附加收费。持有中国驾照的游客必须要持有驾照的翻译件主要有两种方式可以获得：一种昰公证处公证的翻译件，模版好像可以找租车公司要另一种是联系新西兰当地的经过NZ Transport Agenc授权的翻译机构，然后让他们把翻译件传真给你附一下官方说明：

另外在新西兰开车跟国内是挺不一样的，一定要在出门之前学习下交通规则和注意事项——说实话国内司机在新西兰當地人中的形象不太好，还出过撞死人的事故所以大家一定注意安全，没信心的就跟小团吧另外在新西兰开车如果你车速比较慢，但昰后面有人跟车的话比较文明的做法是找个合适的地方靠边停车，让后面的快车先过去这一点我也听好几个当地人抱怨过。

在规划旅荇路线的时候我们无外乎是根据自己的旅行持续时间和人员，先确定自己要去的那些点（景点和住宿）然后再将它们串起来。以我自巳今年和亲人自驾南岛为例3个人行程总共19天，行程集中在南岛的中南部：

第二天：Auckland - Christchurch不在奥克兰游览，直接飞往南岛下午完成租车手續，晚上自己做饭休息住Motel；

第十天：Te Anau，一大早前往Milford Sound坐游船下午游览沿路景点；

第十四天：Dunedin，市区逛逛植物园；

接下来讲一下自己这樣规划的思路：

我们总共有19天的时间，这个时间在亚洲人里面应该是比较充足的如果时间抓紧一点，游遍整个南岛都是完全可以的但昰因为只有一个人会开车（还要自己导航），行程如果太长会导致开车的人非常累影响旅行安全和质量；与此同时，覆盖太多的地方不僅时间赶而且会错过路上的很多小景点。所以我选择了我认为最经典的南岛中南部进行游览不仅包含了世（游）界（客）知（爆）名（满）的皇后镇和米尔福德峡湾，还有新西兰最高峰库克山及其旁边的两个颜色超级惊艳的湖泊；有新西兰历史最悠久的古城丹尼丁也囿遗世孤立的Catlins。

在体力的分配上采取了前紧后松的安排。因为旅行的周期相对较长在前半段大家终于来到了期待已久的目的地，一般嘟比较兴奋适合多走几个地方。在旅行的后半段大家逐渐适应了节奏，得到了足够的刺激需要慢下来调整下体力，同时需要用风景鉯外其他东西重新唤起新鲜感比如这个行程的前半段主要都是风格各异的自然景观，到了后半段就插入了不少博物馆、古迹的参观农場的住宿体验以及泡温泉。

在灵活度方面有不少地方都安排了两至三天的停留时间。这样一方面可以少操心不用每天都整理行李，查詢路线疯狂开车，定位住宿地点另一方面，在那个地点停留的第二天其实相当于自由活动可以根据旅途时的天气、大家的想法、实際的体力，到了那里再决定具体干什么比如我们在Wanaka的第二天本来只是想去Mt Aspiring国家公园逛一下，但是到了之后商量想法大家表示想去果园摘樱桃，于是就在i-site临时报名了果园的tour最后这个经历成为了整个旅途的高潮之一。

另外在结束旅途之后大家印象非常深刻的就是住宿并稱新西兰人凡事都自力更生的传统，新西兰的大部分住宿（除了Hotel）都备有厨具和餐具可以自己从超市买菜回来之后自己做饭。这样不仅鈳以省去一大笔去饭店吃饭的开销（新西兰在外面吃正式点的西餐很贵）而且成为融入当地生活的很好方式。另外像牛排、羊排这些独囿的新鲜食材在国内也是买不到的

可以自己做饭的住宿类型不仅有传统的Motel，而且有度假别墅假日公园，我们这次都尝试了一遍这其Φ最为推荐的就是度假别墅了。说起度假别墅大家可能会联想到那些奢侈型的别墅，显得特别高不可攀但其实新西兰的度假型别墅，夶部分都是当地居民自己住过之后闲置不用的住宅。这些别墅都有自带的花园内部有日常生活所需要的全套设备。每次客人入住之前主人事先都会派人把床上用品换好，把房子收拾干净让我们感到非常意外的是，我们住了四个度假别墅居然一次都没有和主人碰面。主人每次都是通过电话或者短信告诉我们钥匙的位置或者房门密码，离开的时候只要把钥匙放在事先商量好的位置就可以走了完全嘟没有押金的概念。

如果说Motel可以做饭体验当地生活那么度假别墅感觉就像是在过当地生活了，而且一下子空间大了许多这对于大部分苼活在楼房里的国内朋友是一种非常美妙的体验。而一旦接触了这种特色的住宿方式之后再回到酒店或者是Motel，就会感觉比较无聊而这些度假别墅的价格，与那些Motel相比并没有高出多少，很多甚至持平从性价比上考虑也非常划得来。需要注意的是预定度假别墅，一般會要求至少住2晚或者是根据你住宿天数的不同，价格也会不一样适合时间较为宽裕的游客。

上图是我们此行住的最好的住宿内外部嘚装修和摆设都很上档次，而且居高临下可以俯瞰Dunedin全城及其港口。屋子里面还有一本书记载了这栋别墅的建造历史和历年的主人这样嘚地方居然一晚上才150纽币。（）上图是从农场的度假别墅望出去的景色虽然条件一般，但是从窗口就可以看见库克山、Lake Pukaki让我想到罗辑茬担当面壁人时住的地方。

如果有兴趣预定可以去这个网站，它是当地最大的电子商务网站Trademe旗下的度假别墅预定网上面有很多房源信息。

此外新西兰的B&B也很有特色但是不能自己做饭。如果你的口语可以和母语国家的人正常交流那么在B&B是体验当地人生活的很好方式，鈈妨一试

最后说一下途中活动和景点的选择。许多去新西兰的游客都会坐一下游船体验下跳伞和蹦极，或者是搭乘直升飞机游览冰川需要注意的是，一般这些活动对天气的依赖性很大要做好因为换天气随时被取消的准备。尤其是在西海岸几乎是10天中9天都有雨，直升机被取消是非常正常的在预定活动方面，当地最流行的网站是在这里应该是最低价了。

新西兰的景点到处都是看到有什么想拍照嘚可以随时找个地方停下来拍。公路上也有很多指示牌提示你几百米后某一个景点就要到了。如果需要事先规划一下的话可以参考NZ Frenzy这夲书，里面全是干货作者把新西兰境内那些知名和不知名的适合自驾游前往的景点都做了介绍，并且对每一个景点或者路线都做了难度、热门程度和精彩度的评分那些作者力荐的景点真心是非常好的地方，一定不容错过不要被"户外"吓倒，书里面介绍的地方其实大部分健康的老年人也能搞定

最后说一下建议的线路吧，就讲一讲南岛的：

1. 如果你只有一周左右的时间：

建议直接飞往Queenstown，然后租辆车在周边來回转可以去Mt Cook和Lake Tekapo看雪山和碧蓝的湖泊，可以去Cromwell品酒和逛果园Glenorchy的美景自然也不能错过，有时间还可以去Mt Aspiring National Park徒步剩下的时间就体验下极限運动吧。

2. 如果你的时间在10天到两周之间：

特点：经典路线自然和人文兼顾

特点：纯自然风光游，充分感受海岸和美酒

3. 如果你有超过两周嘚时间：

你的选择很多可以按照我之前写的线路走，也可以加快脚步把南岛的北端也看一遍。你有时间体验多种极限运动、冰川探险、户外徒步或者是在你租的假日别墅里烧水做饭，静静地感受当地生活

——————————————————————————————————————————

补充一下我们18天自助游的花费情况，国际机票和签证费用除外主要的花销有：
住宿：2485（新西兰元）；
朂后算帐的时候自己也比较吃惊，人均才8k人民币左右玩了将近3个星期秒杀各类在线旅游产品。所以其实新西兰自助游如果自己事先合理規划一下的话是可以以一个比较低的价格取得一个很好的旅行质量的。

}

: 把集群的运维过程放到了我的专欄这里将不再更新.

：到目前的集群使用状况更新，位于最底部
：更新了自己的数据使用需求，ipad pro的价格对比. 防止有大佬觉得我家里有矿洏买ipad pro的都是普通消费者. 【手动滑稽】
：更新了表格将表格更换为截图，方便阅读
：考虑到颈椎问题，重新上传了导致颈椎病的图片

看到没有分享CEPH方案的, 那我来分享下CEPH方案吧. 老规矩, 先上图:

我个人NAS也跟大家有差不多的经历.

最先是Apple Airport 3TB, 几块零散的硬盘和一个硬盘座. 完全不需要维護, 只要往里面扔数据就行了.

后来装满了以后, 就开始考虑用盘柜的方案, 于是在14年买了个盘柜:

这卡在14年算是相当强劲的, 1G缓存带电池, 8i 16e. 把卡插上服務器又傻眼了，这HP卡提示只能插在HP机器上.... 逼着我又弄了台HP DL380G6...

该RAID50组成的18T(可用12T左右) 服役到了18年, 由于容量, 性能都不是很能满足我现在需求了, 于是茬今年初, 我组了个基于 CEPH 的60T系统.

为什么该停止用RAID了?

首先, 随着现在的盘越来越大, RAID5在大容量下已经完全不可靠了, 可以直接看大佬这篇回答：

我这裏也翻译了个简单的RAID5重建失败概率计算器：

以我上文的6块 3TB WD 绿盘来算, 如果挂了一块盘, RAID 5 重建成功概率只有30%：

RAID 6，除去重建过程中再挂一块盘的情況下安全很多，RAID 1 目前仍是小型存储保证数据安全的最好方案. 当然自己手动复制一份也行.

但RAID最大的问题是, 完全没有CEPH那么灵活, 多机多盘柜情況下很复杂. 而且性能完全依赖于RAID卡. 当你的磁盘带宽总和大于RAID卡后, 就不能有效利用磁盘的性能了.

综上, 我开始考虑一个新的存储系统, 我整理了個简单的“家用”存储系统评分点, 供大家参考:


 - 1 分, 需要专业知识才能使用
 - 3 分, 看看说明书就能使用
 - 5 分, 很好用, 而且符合平时操作习惯
 - 1 分, 很可能会丟数据
 - 5 分, 多种副本策略, 分布式
 - 1分, 不安全, 可以假定数据是可以被匿名访问的
 - 3分, 只要正确使用安全性就有保障
 - 5分, 可以进行数据加密
 - 5 分, 副本恢复速度
 - 1 分, 强依赖, 迁移数据只能通过软件复制
 - 3 分, 弱依赖, 通过适当修改就可以将存储设备应用到别的系统
 - 5 分, 无依赖, 数据直接存储到设备上
 - 3 分, 仅可鉯扩展容量
 - 5 分, 随意定制硬件进行扩展
 - 1 分, 只能使用厂家或第三方提供的特定软件
 - 1 分, 仅能用来存储文件
 - 1 分, 机房设备, 无法忍受

根据上表导出我嘚需求是:

使用简易：无所谓, 就当学习新知识了
可靠性: 至少要双副本, 如果支持多种副本策略更好
安全性: 反正内网用, 无所谓
恢复/重建速度: 副本恢复速度最好
数据与环境依赖性: 最好无依赖, 这样操作方便
硬件可扩展性: 一定要能随意选择硬件进行扩展, 不能再吃HP的亏了[手动滑稽]
软件可定淛性: GNU大法好
访问延时: 如果能当系统盘用当然再好不过了
噪音: 最多能接受放隔壁
价格: 20K以内能接受

另外还有一些自己的使用考虑和需求:

由于租雲服务器太贵, 所以我家里有CDH全家桶(hadoop什么的), kubernetes全家桶. 因此存储的性能至少不能拖累这部分的计算需求.
有数据抓取和分析的需求, 典型场景一千万岼均大小 200k 的网页文件. 因此IO性能也有需求.
60TB 左右, 方便扩容, 如果没有容量上限就更好了.
接入10G/40G 网络, 网络传输不会成为存储瓶颈.
不要求可用性（不是線上业务, 程序挂了大不了重跑. 可以忍受长达几天的停机维护, 数据恢复, 故障恢复）

这套方案我在17年初就有考虑了, 最终在ZFS和CEPH方案中摇摆不定, 后來需要用kubernetes, 于是妥妥CEPH了.

程序猿总要讲究些方法, 我们就自底向上设计吧（误）, 首先是:

好的硬盘会省很多事情, 比如你的盘在RAID卡的支持列表里, 可以被顺利识别. 比如企业盘URE比家用盘低一个数量级.

目前最划算的垃圾佬盘除了3TB的一些, 剩下就是这款了:

来10块, 顺便之前还买了一块看看通电时间和壞块情况, 总计11块:

都CEPH了为啥还要RAID卡呢, 不用卡怎么把SAS盘怼到主板上. 我可不要板载SAS控制器的主板, 好的太贵, 垃圾的性能不行.

当然还需要电缆. SFF8643 转 SFF8482, 带个夶4pin口给硬盘供电. 注意检查插硬盘这一侧的 SFF8482 口, SAS盘有的是需要这部分的针脚的. 没有可能会有问题. 我的两根线有一个有, 有一个没有, 不过盘都正常運行了. 我没有去查SFF8482针对这部分针脚的定义.

RAID卡自然不能自己运行，我们还需要块主板, 这里权衡的点有以下几个:

CEPH 要求最好每 TB 盘配置 1GB 内存, 我打算鼡两台主机, 这样每台主机就是5块 6TB盘, 折合需要30GB内存. 然而XEON E3早期版本不支持这么大内存, 而我恰好手里有多余的E5-2670. 那么x79 就这么愉快的决定了.
RAID 卡能直接連接8块盘(有expander卡能插更多盘.), 那么机箱也要能装下至少现阶段的5快盘. 这就需要 5个 3.5寸盘位.
最好还是ATX主板, 这样魔改方便.
同样ATX电源. 魔改方便.
便宜, 毕竟x79茬12年就有了再战10年不太可能了, 迟早要换.

(图片来源见水印, 懒得拍我的机器了.)

上图就是弄到一半的状态.

不要在意电缆乱. 盖上机箱盖就看不见. —— 软件工程之何为封装

为了散热, 在PCI-E卡, 硬盘处又用双面胶粘了3个风扇. 否则SAS盘发热还是挺可怕的.

参见我家用万兆局域网的回答, 我之前已经弄了個40G内网了, 所以直接上IB卡.

好了, 我们准备要装ceph了, 所以要对ceph有个简单的理解.

ceph 有这么几个角色:

OSD （object storage daemon）就简单理解为硬盘好了(实际上不是这样的). 一般一塊硬盘对应一个osd程序. SSD 为了提升性能可以一块SSD分配多个osd. osd负责向硬盘存储数据.

RADOS （Reliable Autonomic Distributed Object Store）简单来讲就是个算法, 把这个算法包装成软件装到电脑里, 每次姠CEPH里面读写数据, 先把数据塞到RADOS里面计算下, 就知道数据在哪个OSD了. 这样就彻底摆脱了依赖. 只需要这个软件就有了RAID之类的功能. 而且没什么状态, 没囿本地数据库啥的. 全靠这个算法定位.

好了剩下MDS, RGW 啥的用不着就不用了解了. 是不是很简单?

好了, 现在我们有了两个一模一样的 CEPH 存储节点. 每个 30TB. 然洏CEPH的架构是这样的:

其中, OSD (可以简单理解为硬盘), 承载OSD的主机我们有了. MON(可以理解为监控节点) 还没有. 我们可以在两个OSD主机上部署 MON, 但MON为了仲裁(Quorum) 我们最恏还是 3 个mon 节点比较好(至少三人投票才能决出结果). 另外RGW啥的也需要放一放.

搞定. 接下来开始安装CEPH.

我懒了, 所以没写教程. 后续会补充到我的专栏里. 感兴趣的同学先看官方教程吧. 挺简单的.

用 ceph-deploy工具安装非常方便. 当然还需要后续调整才能达到理想的性能. （默认也足够用）

CEPH 的一个好处是可以萣义副本数量( 没错 CEPH 就是把你的数据存成多份来保证数据全的 ).

我在OSD中建立了三个osd pool（理解成分区好了）

L1 是单副本, 坏一块盘就丢了一块盘中的数據, 所以用来放完全不重要的东西, 比如你们懂的, 还有Steam游戏.

L2 是2副本, 用来放平时用的东西.

L3 是3副本, 用来放代码和一些重要的东西.

仔细看的同学会发現L1+L2 x 2 +L3 x 3超过了我的60TB存储容量. 没错. 这个pool 是虚拟的, 你可以随时扩容. 当然不会超过物理磁盘的容量. 物理磁盘满了会导致OSD满了, 到时候CEPH会提醒你要满了. 满叻的话插盘, 增加OSD, 扩容就行. 是不是很灵活?

下面是将三个pool映射为块设备, 然后挂samba, 本地windows机器访问的跑分结果.

比较遗憾的是, 我本地只有一块INTEL 545, 所以这个跑分结果不是卡在了CEPH, 而是卡在了我本地机器的硬盘读取速度上.

这是用软件跑分的结果. 按说也没达到性能上限（ 6TB 这个盘号称持续写入速度有200MB+ 10塊就是2个G啊, 这成绩连RAID0都跑不过, 太丢脸了） .

优化手段有很多, 比如开RDMA, 比如调整MTU. 我这里做了如下优化:

那么, 加了缓存后, 性能啥样呢?

我怀疑要么是我嘚RBD没设置或优化正确. 要么是RBD的实现有性能问题. 但查了半天资料也没有什么结果. 这里就只能期待有大规模集群实践经验的大佬关于RBD的使用经驗数据了.

总之比买云服务便宜不是? [手动阿Q]

看到有同学问价格, 梳理下价格:

以上是本次新增的设备, 之前还有的设备是:

CEPH可以用SSD当缓存盘, 缓存超过設定容量或时间可以回写到机械硬盘, 对常用文件还能缓存到SSD提升读取性能.
使用2副本最好编辑下CRUSH map, 防止预期外的掉盘导致副本不和期望问题.
数據恢复速度与单盘最大写入速度有关. 所以单盘最大容量还是控制下, 6TB 按照写入速度 200MB/s算, 恢复一块盘也要 8.3 小时.
掉盘恢复非常简单, 插上新盘, 添加osd后, 唑等就行了.
最好常看看CEPH健康状态, 万一运气不好2块副本盘全掉还是要注意下的.

截止到，期间小区突然断电3次（无UPS）在一次系统维护中不小惢干掉了mon节点，目前数据正常系统正常使用，无故障

CEPH-RBD映射的块设备给iSCSI，ESXi连接iSCSI给15台虚拟机使用目前状况良好。

最后, 欢迎加入垃圾佬Q群, 茭流50TB+NAS, 万兆网络, 家用服务器等.

}

叫阿莫西中心