建站
咨詢
售后
建站咨詢
新聞中心
無論是電商還是互聯(lián)網(wǎng)廣告，直接面對的是用戶，用戶的屬性決定了他會購買哪些商品或者點(diǎn)擊哪些廣告。那么建立用戶標(biāo)簽系統(tǒng)對于這些企業(yè)非常重要。
本屆WOT軟件技術(shù)峰會特邀小象科技作為大會特邀合作伙伴，匯集大數(shù)據(jù)社區(qū)技術(shù)精英，于7月27日舉辦大數(shù)據(jù)專場培訓(xùn)。本次培訓(xùn)主要討論如何建立用戶標(biāo)簽系統(tǒng)和如何使用這些標(biāo)簽系統(tǒng)實(shí)現(xiàn)商業(yè)價值。
講師：董西成
ChinaHadoop小象社區(qū)核心成員
《Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》和《Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》書籍作者；資深Hadoop技術(shù)實(shí)踐者和研究者，曾參與商用Hadoop原型研發(fā)，以及分布式日志系統(tǒng)、全網(wǎng)圖片搜索引擎、Hadoop調(diào)度器等項(xiàng)目的設(shè)計(jì)與研發(fā)。
1. 從技術(shù)來說，您認(rèn)為大數(shù)據(jù)在今年還會有什么革新？總體感覺，如何與行業(yè)應(yīng)用結(jié)合?
從技術(shù)方面，個人認(rèn)為計(jì)算框架方面將有飛速發(fā)展，包括內(nèi)存計(jì)算、流式計(jì)算和交互式計(jì)算等，這主要涉及Spark/Spark SQL和Hive On Tez技術(shù)體系，尤其是spark，引起來各大公司興趣，均嘗試使用spark解決之前MapReduce不能夠很好解決的問題?？傮w而言，Spark等系統(tǒng)能夠很好地解決對效率要求較高的問題，典型地是迭代式的機(jī)器學(xué)習(xí)算法，這也是公司嘗試Spark的最初動力。
2. 行業(yè)大數(shù)據(jù)其實(shí)早就存在，但對此認(rèn)知并不一樣，您認(rèn)為這種差異性表現(xiàn)在哪里？
大數(shù)據(jù)存儲和分析方面的技術(shù)能力存在差異。之前缺乏廉價可用的分布式技術(shù)存儲和分析大數(shù)據(jù)，使得很多公司丟棄了很多數(shù)據(jù)，或者僅僅是將一部分?jǐn)?shù)據(jù)保存下來，未進(jìn)行分析。如今大數(shù)據(jù)存儲和處理計(jì)算日漸成熟，尤其是開源技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)公司的帶動，使得行業(yè)大數(shù)據(jù)成為爆發(fā)點(diǎn)。
3. 行業(yè)大數(shù)據(jù)的實(shí)施，您認(rèn)為技術(shù)難點(diǎn)在哪里？
個人認(rèn)為難點(diǎn)在技術(shù)方案的轉(zhuǎn)變。目前很多傳統(tǒng)行業(yè)仍采用非常過時的技術(shù)方案，這些方案難以支撐大數(shù)據(jù)，鑒于此，很多公司嘗試朝大數(shù)據(jù)架構(gòu)轉(zhuǎn)型，但由于過多的歷史包袱以及缺乏大數(shù)據(jù)技術(shù)的理解和信心，使得整個過程非常緩慢。
4. 請分享一個您參與的傳統(tǒng)企業(yè)大數(shù)據(jù)項(xiàng)目。這個項(xiàng)目大致分幾個階段？
介紹一個銀行的項(xiàng)目，該項(xiàng)目的目的是ATM等終端設(shè)備的日志收集和分析，這是銀行的一個試探性項(xiàng)目，可認(rèn)為是對大數(shù)據(jù)開源技術(shù)的嘗試，由于這一塊跟已有架構(gòu)重疊較小，因?yàn)椴荒芎芎玫卮硪话愕拇髷?shù)據(jù)項(xiàng)目。這個項(xiàng)目經(jīng)過了可行性分析，技術(shù)驗(yàn)證（小規(guī)模數(shù)據(jù)測試），項(xiàng)目開發(fā)，項(xiàng)目上線和運(yùn)營等幾個階段。
5. 大數(shù)據(jù)項(xiàng)目的實(shí)施，對已經(jīng)存在的業(yè)務(wù)分析架構(gòu)，會帶來怎樣的影響？
取決于跟已存在業(yè)務(wù)分析架構(gòu)的相關(guān)關(guān)系，如果是互相補(bǔ)充和完善，則巧妙地設(shè)計(jì)會完善公司的業(yè)務(wù)分析架構(gòu)，如果是替代，則會逐步將業(yè)務(wù)遷移到大數(shù)據(jù)架構(gòu)上。
6. 大數(shù)據(jù)應(yīng)用工具的大量出現(xiàn)，會取代數(shù)據(jù)分析人員的位置嗎？
短時間內(nèi)，數(shù)據(jù)分析人員仍處于不可或缺的位置。大數(shù)據(jù)應(yīng)用工具扔僅僅是數(shù)據(jù)分析人員完成數(shù)據(jù)分析的工具，難以將全部分析交給這些工具完成而無需分析人員的干預(yù)。
7. 數(shù)據(jù)是傳統(tǒng)企業(yè)最核心的資產(chǎn)。我們在大數(shù)據(jù)的分布式處理方式下，該如何保證數(shù)據(jù)的安全性和完整性？
數(shù)據(jù)安全性和完整性是大數(shù)據(jù)時代面臨的***挑戰(zhàn)之一，目前國內(nèi)很大一部分公司扔將大數(shù)據(jù)保存在自己私有的集群中，不會直接接入互聯(lián)網(wǎng)，這樣，可以把安全問題局限在一個局域網(wǎng)內(nèi)，解決起來容易一些。
8. 在舉辦的WOT軟件技術(shù)峰會上，會有大數(shù)據(jù)專場培訓(xùn)。這里面會涉及哪些方面的內(nèi)容？這些培訓(xùn)適合哪些技術(shù)人員？
這次專場培訓(xùn)，我主要介紹數(shù)據(jù)基礎(chǔ)設(shè)施，包括數(shù)據(jù)收集、存儲與計(jì)算系統(tǒng)，具體是
（1）數(shù)據(jù)收集： 使用分布式收集工具Sqoop/Flume對數(shù)據(jù)進(jìn)行統(tǒng)一收集
（2）數(shù)據(jù)存儲：使用分布式存儲系統(tǒng)HDFS/HBase對數(shù)據(jù)進(jìn)行集中式存儲
（3）數(shù)據(jù)分析與計(jì)算：包括批處理、交互式和內(nèi)存計(jì)算三種
這次培訓(xùn)適合想了解大數(shù)據(jù)技術(shù)的初中級技術(shù)人員以及想了解大數(shù)據(jù)應(yīng)用案例的高級技術(shù)人員。
新聞標(biāo)題：董西成：數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)收集、存儲與計(jì)算系統(tǒng)
標(biāo)題鏈接：http://m.jiaoqi3.com/article/cdcohgh.html
