From 3704383fecb1c166fbf2d7f0f1edd08959c788ab Mon Sep 17 00:00:00 2001 From: ailoooong Date: Mon, 17 Feb 2025 14:51:03 +0800 Subject: [PATCH 1/2] =?UTF-8?q?fix:=20=E6=96=87=E6=A1=A3=E3=80=81=E4=B8=8B?= =?UTF-8?q?=E8=BD=BD=E5=9F=9F=E5=90=8D=E5=88=87=E6=8D=A2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- app/.vitepress/src/data/url-config/index.ts | 4 +- app/en/community/contribution/index.md | 2 +- app/en/community/security/index.md | 2 +- .../information/blog/arjun_krishna/index.md | 4 +- app/en/information/news/2021-11-12/index.md | 2 +- app/zh/community/contribution/index.md | 2 +- app/zh/community/security/index.md | 2 +- .../information/blog/2020-ccf-bdci/index.md | 4 +- app/zh/information/blog/20200703/index.md | 10 +- app/zh/information/blog/20210416/index.md | 2 +- app/zh/information/blog/20211101/index.md | 2 +- app/zh/information/blog/20211122/index.md | 4 +- app/zh/information/blog/20220104/index.md | 4 +- app/zh/information/blog/20220125/index.md | 2 +- .../information/blog/20220408-ranger/index.md | 4 +- app/zh/information/blog/20220426/index.md | 6 +- app/zh/information/blog/20220427/index.md | 6 +- app/zh/information/blog/20220625-02/index.md | 23 +- app/zh/information/blog/20220625-03/index.md | 24 +- app/zh/information/blog/20230129-05/index.md | 217 ++++++++---------- app/zh/information/blog/20230129-09/index.md | 172 ++++++-------- app/zh/information/news/2021-11-12/index.md | 2 +- 22 files changed, 218 insertions(+), 282 deletions(-) diff --git a/app/.vitepress/src/data/url-config/index.ts b/app/.vitepress/src/data/url-config/index.ts index 5a06353..9126394 100644 --- a/app/.vitepress/src/data/url-config/index.ts +++ b/app/.vitepress/src/data/url-config/index.ts @@ -2,7 +2,7 @@ const LOOKENG_DEV_EMAIL = 'dev@openlookeng.io'; // openLooKeng社区开发讨论 const LOOKENG_USERS_EMAIL = 'users@openlookeng.io'; // openLooKeng社区用户讨论邮箱 const OBS_LINK = 'https://openlookeng-website.obs.ap-southeast-1.myhuaweicloud.com/'; // mooc课程资料存放的obs地址 -const DOWNLOAD_LINK = 'https://download-openlookeng.osinfra.cn/'; //openLooKeng软件包存放地址 +const DOWNLOAD_LINK = 'https://download.openlookeng.io/'; //openLooKeng软件包存放地址 const SAGE_LINK = 'https://sage.thesharps.us/'; // Sage Sharp const OPENEULER_LINK = 'https://www.openeuler.org/'; // openeuler const MAILWEB_LINK = 'https://mailweb.openlookeng.io/'; // 社区交流邮件归档的mailweb地址 @@ -19,7 +19,7 @@ const OBSVIDEO_LINK = const DAYASTAT_LINK = 'https://datastat-openlookeng.osinfra.cn/'; // 社区贡献看板 const SLACK_LINK = 'https://openlookeng.slack.com/'; // slack const APACHE_LINK = 'http://www.apache.org/'; // apache -const DOCS_LINK = 'https://docs-openlookeng.osinfra.cn/'; // 社区文档官网 +const DOCS_LINK = 'https://docs.openlookeng.io/'; // 社区文档官网 const BAIDU_HM = 'https://hm.baidu.com/hm.js?d5f7e2406b6ef91d4494f0c6ea829f91'; //百度埋点 const CONTACT_MAIL = 'contact@openlookeng.io'; //联系邮箱 export { diff --git a/app/en/community/contribution/index.md b/app/en/community/contribution/index.md index 69aa7fb..20dde7c 100644 --- a/app/en/community/contribution/index.md +++ b/app/en/community/contribution/index.md @@ -48,7 +48,7 @@ To resolve an issue, you can claim to be the issue's assignee by leaving a messa #### 4.1 Set Up the Development Environment -If you want to contribute code, you need to download, install, and prepare the openLooKeng development environment in advance. For details, see the [openLooKeng Developer Guide](https://docs-openlookeng.osinfra.cn/zh/docs/docs/develop.html). +If you want to contribute code, you need to download, install, and prepare the openLooKeng development environment in advance. For details, see the [openLooKeng Developer Guide](https://docs.openlookeng.io/zh/docs/docs/develop.html). #### 4.2 Contribute Code diff --git a/app/en/community/security/index.md b/app/en/community/security/index.md index eaa72f2..cbdfabb 100644 --- a/app/en/community/security/index.md +++ b/app/en/community/security/index.md @@ -14,7 +14,7 @@ Join us to build a more secure big data in-memory computing engine. ### Reporting Security Issues to the openLooKeng Community -Use the [Suspected Security Issue Reporting Template](https://gitee.com/openlookeng/community/blob/master/security/report-template_en.md) to report the potential security issue so that the vulnerability management team (VMT) can identify and fix the issue as soon as possible. Your email will be acknowledged within one working day and replied with more details and subsequent handling measures within seven days. It is highly recommended to use [PGP public key](https://download-openlookeng.osinfra.cn/security/openlookeng_security_pub.asc) to encrypt your email, because security issues are sensitive information. +Use the [Suspected Security Issue Reporting Template](https://gitee.com/openlookeng/community/blob/master/security/report-template_en.md) to report the potential security issue so that the vulnerability management team (VMT) can identify and fix the issue as soon as possible. Your email will be acknowledged within one working day and replied with more details and subsequent handling measures within seven days. It is highly recommended to use [PGP public key](https://download.openlookeng.io/security/openlookeng_security_pub.asc) to encrypt your email, because security issues are sensitive information. - Please send your email to securities@openlookeng.io. diff --git a/app/en/information/blog/arjun_krishna/index.md b/app/en/information/blog/arjun_krishna/index.md index e8d9593..b10aae5 100644 --- a/app/en/information/blog/arjun_krishna/index.md +++ b/app/en/information/blog/arjun_krishna/index.md @@ -20,7 +20,7 @@ fast queries without leaving openLooKeng or deploying another database. This post will showcase these new improvements to Memory Connector which allow faster low-latency query performance and greater stability to Memory Connector. For more information on how to use the Memory Connector and how it is built visit the -[Memory Connector documentation](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/memory.html). +[Memory Connector documentation](https://docs.openlookeng.io/en/docs/docs/connector/memory.html). ## New Improvements in v1.3.0 @@ -34,7 +34,7 @@ in our test table, 99.7% of the input data was reduced (238.1M out of 238.8M row The Memory Connector utilizes Bloom Filters, Min-Max indices, and Sparse indices to filter data. These indices are efficient and have a small memory overhead. For more -information on these indices read the [Memory Connector indices documentation](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/memory.html#index-types) +information on these indices read the [Memory Connector indices documentation](https://docs.openlookeng.io/en/docs/docs/connector/memory.html#index-types) The next release after v1.3.0 will expand the StarTree index and allow it to be stored in the Memory Connector (v1.3.0 only supports Hive Connector). In the next release, diff --git a/app/en/information/news/2021-11-12/index.md b/app/en/information/news/2021-11-12/index.md index 458eaaf..4134cb3 100644 --- a/app/en/information/news/2021-11-12/index.md +++ b/app/en/information/news/2021-11-12/index.md @@ -35,7 +35,7 @@ OmniData makes big data simpler in the scenarios where storage and compute are d The OmniData connector will further improve the performance of the openLooKeng engine. For details about the OmniData connector, visit the following website: - + For details about OmniData, visit the following website: diff --git a/app/zh/community/contribution/index.md b/app/zh/community/contribution/index.md index d58353c..c4c043c 100644 --- a/app/zh/community/contribution/index.md +++ b/app/zh/community/contribution/index.md @@ -51,7 +51,7 @@ #### 4.1 构建开发环境 -如果您想参与编码贡献，请提前下载、安装和准备 openLooKeng 开发环境，具体可参考[openLooKeng 开发者指南](https://docs-openlookeng.osinfra.cn/zh/docs/docs/develop.html)。 +如果您想参与编码贡献，请提前下载、安装和准备 openLooKeng 开发环境，具体可参考[openLooKeng 开发者指南](https://docs.openlookeng.io/zh/docs/docs/develop.html)。 #### 4.2 提交 PR（Pull Request） diff --git a/app/zh/community/security/index.md b/app/zh/community/security/index.md index 3992016..731d73b 100644 --- a/app/zh/community/security/index.md +++ b/app/zh/community/security/index.md @@ -14,7 +14,7 @@ openLooKeng 是一个高性能的分布式数据虚拟化查询引擎，支持 ### 如何向 openLooKeng 社区上报安全问题 -如果您发现了疑似安全问题，请您使用[疑似安全问题上报模板](https://gitee.com/openlookeng/community/blob/master/security/report-template_zh_ch.md) 进行反馈，以便社区漏洞管理团队在能够获得足够详细信息的条件下，尽快确认并修复问题。您的邮件将在 1 个工作日内得到确认，在 7 天内对您反馈的疑似安全问题提供更详细的回复，并给出下一步的处理策略。因为漏洞信息比较敏感，建议您使用安全团队邮箱[PGP 公钥](https://download-openlookeng.osinfra.cn/security/openlookeng_security_pub.asc) 对邮件信息进行加密。 +如果您发现了疑似安全问题，请您使用[疑似安全问题上报模板](https://gitee.com/openlookeng/community/blob/master/security/report-template_zh_ch.md) 进行反馈，以便社区漏洞管理团队在能够获得足够详细信息的条件下，尽快确认并修复问题。您的邮件将在 1 个工作日内得到确认，在 7 天内对您反馈的疑似安全问题提供更详细的回复，并给出下一步的处理策略。因为漏洞信息比较敏感，建议您使用安全团队邮箱[PGP 公钥](https://download.openlookeng.io/security/openlookeng_security_pub.asc) 对邮件信息进行加密。 - 安全邮箱： securities@openlookeng.io diff --git a/app/zh/information/blog/2020-ccf-bdci/index.md b/app/zh/information/blog/2020-ccf-bdci/index.md index ea11db4..d0b8abb 100644 --- a/app/zh/information/blog/2020-ccf-bdci/index.md +++ b/app/zh/information/blog/2020-ccf-bdci/index.md @@ -197,8 +197,8 @@ openLooKeng 的内存数据源有存储数据量的限制，经过测试，比 ### 参考 ① openLooKeng 官方文档，openLooKeng 概念， -https://docs-openlookeng.osinfra.cn/zh/docs/docs/overview/concepts.html +https://docs.openlookeng.io/zh/docs/docs/overview/concepts.html ② openLooKeng 官方文档，内存连接器， -https://docs-openlookeng.osinfra.cn/zh/docs/docs/connector/memory.html +https://docs.openlookeng.io/zh/docs/docs/connector/memory.html ③ R. Sethi, M. Traverso, D. Sundstrom, D. Phillips, W. Xie, Y. Sun, N. Yigitbasi, H. Jin, E. Hwang, N. Shingte, and C. Berner. Presto: SQL on everything. In IEEE 35th Int. Conf. on Data Eng. (ICDE), pages 1802--1813, 2019. ④ IOANNIDIS,Y.AND KANG, Y. 1991. Left-deep vs. bushy trees: an analysis of strategy spaces and its implications for query optimization. In Proceedings of the ACM SIGMOD Conference on Management of Data (Denver, CO, May), 168- 177.]] diff --git a/app/zh/information/blog/20200703/index.md b/app/zh/information/blog/20200703/index.md index 53fe04a..ba407d0 100644 --- a/app/zh/information/blog/20200703/index.md +++ b/app/zh/information/blog/20200703/index.md @@ -13,7 +13,7 @@ description: 'openLooKeng初体验,单节点自动安装' # openLooKeng 初体验-单节点自动安装 -今天浏览新闻时看到华为近期开源了一款名为[openLooKeng 数据虚拟化引擎](https://www.huawei.com/cn/news/2020/7/huawei-data-virtualization-engine-openlookeng)。正好最近在研究跨源跨域异构数据分析的问题，于是便继续了解了一下。访问其[官方网站](https://www.openlookeng.io/) 感觉页面风格做得还挺简洁清爽。阅读了一些概念和简介，大概七七八八了解了个轮廓。 然后顺着首页[quick start 指导](https://docs-openlookeng.osinfra.cn/zh/docs/docs/start.html)，我准备动手实践一下。 +今天浏览新闻时看到华为近期开源了一款名为[openLooKeng 数据虚拟化引擎](https://www.huawei.com/cn/news/2020/7/huawei-data-virtualization-engine-openlookeng)。正好最近在研究跨源跨域异构数据分析的问题，于是便继续了解了一下。访问其[官方网站](https://www.openlookeng.io/) 感觉页面风格做得还挺简洁清爽。阅读了一些概念和简介，大概七七八八了解了个轮廓。 然后顺着首页[quick start 指导](https://docs.openlookeng.io/zh/docs/docs/start.html)，我准备动手实践一下。 ![home page quick start](https://img-blog.csdnimg.cn/20200703112441997.png) @@ -28,7 +28,7 @@ description: 'openLooKeng初体验,单节点自动安装' 在 linux 命令行窗口执行： ```shell script -wget -O - https://download-openlookeng.osinfra.cn/install.sh|bash +wget -O - https://download.openlookeng.io/install.sh|bash ``` 从脚本运行日志来看，脚本应该是自动做了一些环境检查，并自动从下载了 openLooKeng 的安装包和依赖包。接着又自动下载了安装包并部署到环境上。此外，从下图可以看到脚本帮我创建了一个名为 openlkadmin 的用户，用于管理 openLooKeng 服务的。这点值得表扬。可以很好地避免了用 root 用户来操作一切。 @@ -51,7 +51,7 @@ wget -O - https://download-openlookeng.osinfra.cn/install.sh|bash ![clicommand](https://img-blog.csdnimg.cn/2020070311263914.png) -可以看到`openlk-cl ` 连接到了 localhost 的 8090 端口，通过简单的查询可以看到系统已经内置了几个数据源： [system](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/system.html), [memory](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/memory.html), [tpcds](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/tpcds.html), [tpch](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector/tpch.html) +可以看到`openlk-cl ` 连接到了 localhost 的 8090 端口，通过简单的查询可以看到系统已经内置了几个数据源： [system](https://docs.openlookeng.io/en/docs/docs/connector/system.html), [memory](https://docs.openlookeng.io/en/docs/docs/connector/memory.html), [tpcds](https://docs.openlookeng.io/en/docs/docs/connector/tpcds.html), [tpch](https://docs.openlookeng.io/en/docs/docs/connector/tpch.html) 进一步看 tpdcs 下有哪些数据表： @@ -146,7 +146,7 @@ limit 100; 可以看到，总耗时 2 分 46 秒处理了近 6 千多万记录。 -实际上，我们去[WEB UI 界面](https://docs-openlookeng.osinfra.cn/en/docs/docs/admin/web-interface.html)上去看，浏览器登陆 localhost:8090, 可以看到整个执行中间过程，包括内存使用，数据传输率等信息。 +实际上，我们去[WEB UI 界面](https://docs.openlookeng.io/en/docs/docs/admin/web-interface.html)上去看，浏览器登陆 localhost:8090, 可以看到整个执行中间过程，包括内存使用，数据传输率等信息。 ![runing_processing_webui_mid](https://img-blog.csdnimg.cn/20200703112958527.png) @@ -154,6 +154,6 @@ limit 100; 整个安装过程比较简单，一键式无需干预。 脚本也完成了创建用户、校验/安装 jdk 依赖、配置以及默认数据源的添加等操作，对于我们初尝 openLooKeng 来说非常方便，省去了阅读冗长安装部署的文档。 -从使用 openLooKeng 的角度而言，我还需要做更多的探索。目前是单节点运行，且体验了内置数据源。下一步，我先了解下 openLooKeng 的[connector](https://docs-openlookeng.osinfra.cn/en/docs/docs/connector.html)， 然后试着去连接更多的真实数据源。 如果能找到更多的机器，我也会试一下多节点安装，以及多节点部署后的 openLooKeng 是否会带来性能的极大提升。 +从使用 openLooKeng 的角度而言，我还需要做更多的探索。目前是单节点运行，且体验了内置数据源。下一步，我先了解下 openLooKeng 的[connector](https://docs.openlookeng.io/en/docs/docs/connector.html)， 然后试着去连接更多的真实数据源。 如果能找到更多的机器，我也会试一下多节点安装，以及多节点部署后的 openLooKeng 是否会带来性能的极大提升。 to be continued : ) diff --git a/app/zh/information/blog/20210416/index.md b/app/zh/information/blog/20210416/index.md index 29342ed..4feea59 100644 --- a/app/zh/information/blog/20210416/index.md +++ b/app/zh/information/blog/20210416/index.md @@ -47,7 +47,7 @@ HBase Cluster 的主要组件： 配置说明：使用 openLooKeng 来访问 HBase 集群，我们需要配置 HBase 的相关信息在 Catalog 中，主要是 ZooKeeper 的信息。创建并编辑`etc/catalog/hbase.properties`： -具体操作可参考： +具体操作可参考： diff --git a/app/zh/information/blog/20211101/index.md b/app/zh/information/blog/20211101/index.md index 9c4b7fe..b839423 100644 --- a/app/zh/information/blog/20211101/index.md +++ b/app/zh/information/blog/20211101/index.md @@ -11,7 +11,7 @@ description: 'openLooKeng支持对外部用户的认证，主要方式有Kerbero ### 前言 -通过 openLooKeng 的官网,我们可以知道其支持对外部用户的认证的，主要方式有 Kerberos 和 Password(LDAP)认证，本文主要讲解其认证原理。 +通过 openLooKeng 的官网,我们可以知道其支持对外部用户的认证的，主要方式有 Kerberos 和 Password(LDAP)认证，本文主要讲解其认证原理。 ### 认证机制 diff --git a/app/zh/information/blog/20211122/index.md b/app/zh/information/blog/20211122/index.md index 2a24541a..b781053 100644 --- a/app/zh/information/blog/20211122/index.md +++ b/app/zh/information/blog/20211122/index.md @@ -25,7 +25,7 @@ VDM 连接器支持： · 记录每个用户使用 VDM 视图的情况 -具体的配置可以参考官网： +具体的配置可以参考官网： 根据官网的指导我们知道 VDM 连接器的后端存储可以支持 HDFS 和关系型数据库，这里采用的是 mysql 进行存储。 @@ -35,7 +35,7 @@ VDM 连接器支持： ### View in Hive -除了上面的提到的 VDM 连接器外，openLooKeng 视图也可以存储在 Hive connector 中，我们可以按照官网的指导：，配置好 hive connector，这样我们可以参考上面的例子进行视图的创建和查询。 +除了上面的提到的 VDM 连接器外，openLooKeng 视图也可以存储在 Hive connector 中，我们可以按照官网的指导：，配置好 hive connector，这样我们可以参考上面的例子进行视图的创建和查询。 diff --git a/app/zh/information/blog/20220104/index.md b/app/zh/information/blog/20220104/index.md index b7be2dc..cdb7e18 100644 --- a/app/zh/information/blog/20220104/index.md +++ b/app/zh/information/blog/20220104/index.md @@ -11,7 +11,7 @@ description: 'openLooKeng已经开源一年多了，刚刚开源时体验了一 openLooKeng 已经开源一年多了，刚刚开源时体验了一把关于单节点的一键安装部署，这对于刚刚开始了解 openLooKeng 的小白来说是一个很好的体验。因为通过一个命令就可以把 openLooKeng 部署起来尝鲜。最近一段时间呢一直都在学习，体验 openLooKeng，虽然知道对于集群也有一键部署的功能，但是为了学习嘛，部署和配置都是手动。今天闲来无事，利用空闲的两台虚拟机，体验一把 openLooKeng 多节点的安装部署。记录一下自己的安装过程。 -1. 首先当然是要看[官方文档](https://docs-openlookeng.osinfra.cn/zh/) +1. 首先当然是要看[官方文档](https://docs.openlookeng.io/zh/) @@ -19,7 +19,7 @@ openLooKeng 已经开源一年多了，刚刚开源时体验了一把关于单 ```java -（bash <(wget -qO- https://download-openlookeng.osinfra.cn/install.sh) -m） +（bash <(wget -qO- https://download.openlookeng.io/install.sh) -m） ``` diff --git a/app/zh/information/blog/20220125/index.md b/app/zh/information/blog/20220125/index.md index 45f7941..cb4a4a2 100644 --- a/app/zh/information/blog/20220125/index.md +++ b/app/zh/information/blog/20220125/index.md @@ -55,7 +55,7 @@ description: '本文介绍openLooKeng的多分片特性，该特性主要应用 - 详细配置说明： - + 多分片配置使用-注意事项及经验传递 diff --git a/app/zh/information/blog/20220408-ranger/index.md b/app/zh/information/blog/20220408-ranger/index.md index 06dccac..840c226 100644 --- a/app/zh/information/blog/20220408-ranger/index.md +++ b/app/zh/information/blog/20220408-ranger/index.md @@ -28,11 +28,11 @@ ls hetu-service/target/ ### 2. 部署 openLooKeng -使用上面编译得到的`hetu-service/target/hetu-server-1.0.0-SNAPSHOT.tar.gz`安装包进行安装部署，openLooKeng 的安装部署可参考官网教程：。 +使用上面编译得到的`hetu-service/target/hetu-server-1.0.0-SNAPSHOT.tar.gz`安装包进行安装部署，openLooKeng 的安装部署可参考官网教程：。 ### 3. 添加数据源 -在 openLooKeng 的`catalog`目录项，新增数据源配置文件。具体数据源有哪些配置项可以参考官网的连接器章节： +在 openLooKeng 的`catalog`目录项，新增数据源配置文件。具体数据源有哪些配置项可以参考官网的连接器章节： #### 1）新增 MySql 数据源 diff --git a/app/zh/information/blog/20220426/index.md b/app/zh/information/blog/20220426/index.md index ffcb987..6608ea1 100644 --- a/app/zh/information/blog/20220426/index.md +++ b/app/zh/information/blog/20220426/index.md @@ -38,11 +38,11 @@ CTE 机制就是为了解决上述问题，应运而生的。当第一次声明 ### 2.1 环境配置 - + - + - + 以上 3 个网页已经详细讲述了如何配置协调节点(Coordinator Node)和工作节点(Worker Node)，而是否开启 CTE 机制，取决于是否在/etc/config.properties 这个文件中加入语句： diff --git a/app/zh/information/blog/20220427/index.md b/app/zh/information/blog/20220427/index.md index f6fef18..f65c8fa 100644 --- a/app/zh/information/blog/20220427/index.md +++ b/app/zh/information/blog/20220427/index.md @@ -48,11 +48,11 @@ SQL 语言中 join 大致有几种执行机制。最简单的是 Nested-Loop joi ### 2.1 环境配置 - + - + - + 以上 3 个网页已经详细讲述了如何配置协调节点(Coordinator Node)和工作节点(Worker Node)，以及是否开启动态过滤机制。需要注意的是，等待动态过滤条件生成的最长等待时间最好加上，并且设置为 2s，即在 etc/config.properties 里加入语句 diff --git a/app/zh/information/blog/20220625-02/index.md b/app/zh/information/blog/20220625-02/index.md index 3da197a..e2db506 100644 --- a/app/zh/information/blog/20220625-02/index.md +++ b/app/zh/information/blog/20220625-02/index.md @@ -9,15 +9,14 @@ author: 'jaybo' description: 'openLooKeng集成OpenLDAP' --- - # 0. 环境 -| Role | IP | Hostname | Hostname+domain name | -| :---------------------- | :------------ | :------- | :------------------- | -| openldap、ranger、mysql | ***.***.***.*** | olk0 | olk0.example.com | -| kerberos | ***.***.***.*** | olk1 | olk1.example.com | -| coordinator | ***.***.***.*** | olk2 | olk2.example.com | -| worker | ***.***.***.*** | olk3 | olk3.example.com | +| Role | IP | Hostname | Hostname+domain name | +| :---------------------- | :-------------- | :------- | :------------------- | +| openldap、ranger、mysql | **_._**.**_._** | olk0 | olk0.example.com | +| kerberos | **_._**.**_._** | olk1 | olk1.example.com | +| coordinator | **_._**.**_._** | olk2 | olk2.example.com | +| worker | **_._**.**_._** | olk3 | olk3.example.com | # 1. 导入证书(crt 文件)到 jdk @@ -30,7 +29,7 @@ scp /etc/openldap/cert/ldap.crt ***.***.***.***:/root/hetu-server-1.4.0 在 openLooKeng 集群各个节点使用 keytool 导入证书到 jdk。 -(密码：******) +(密码：**\*\***) ```shell # 导入证书 @@ -165,9 +164,9 @@ ldap.cache-ttl=1s ## 6.1 Web UI -访问地址：https://***.***.***.***:8443/ui/login.html +访问地址：https://**_._**.**_._**:8443/ui/login.html -> 因未关闭 HTTP 访问 Web UI，所以 HTTP 地址依然可以用： http://***.***.***.***:9999/ui/login.html +> 因未关闭 HTTP 访问 Web UI，所以 HTTP 地址依然可以用： http://**_._**.**_._**:9999/ui/login.html 输入 ldap 中的账号和密码，点击 Log In。 @@ -284,7 +283,7 @@ String url = "jdbc:lk://olk2.example.com:8443/hive/"; (1) Web UI -HTTP 访问地址：http://***.***.***.***:9999/ui/login.html +HTTP 访问地址：http://**_._**.**_._**:9999/ui/login.html (2) Hetu CLI @@ -315,4 +314,4 @@ cp -r hetu-server-1.4.0 hetu-server-1.4.0-ldap [2] [openLooKeng AA 安全配置指导（一）----对接 Kerberos](https://openlookeng.io/zh/information/blog/configguide-01/) -[3] [openLooKeng 官网文档\_Java 密钥库和信任库](https://docs-openlookeng.osinfra.cn/zh/docs/docs/security/tls.html) +[3] [openLooKeng 官网文档\_Java 密钥库和信任库](https://docs.openlookeng.io/zh/docs/docs/security/tls.html) diff --git a/app/zh/information/blog/20220625-03/index.md b/app/zh/information/blog/20220625-03/index.md index 17a9a43..791664e 100644 --- a/app/zh/information/blog/20220625-03/index.md +++ b/app/zh/information/blog/20220625-03/index.md @@ -11,12 +11,12 @@ description: 'openLooKeng集成Ranger' # 0. 环境 -| Role | IP | Hostname | Hostname+domain name | -| :---------------------- | :------------ | :------- | :------------------- | -| openldap、ranger、mysql | ***.***.***.*** | olk0 | olk0.example.com | -| kerberos | ***.***.***.*** | olk1 | olk1.example.com | -| coordinator | ***.***.***.*** | olk2 | olk2.example.com | -| worker | ***.***.***.*** | olk3 | olk3.example.com | +| Role | IP | Hostname | Hostname+domain name | +| :---------------------- | :-------------- | :------- | :------------------- | +| openldap、ranger、mysql | **_._**.**_._** | olk0 | olk0.example.com | +| kerberos | **_._**.**_._** | olk1 | olk1.example.com | +| coordinator | **_._**.**_._** | olk2 | olk2.example.com | +| worker | **_._**.**_._** | olk3 | olk3.example.com | # 1. 编译 Ranger @@ -186,10 +186,10 @@ ews/ranger-admin-services.sh start ## 4.4 web 登录验证是否安装 -访问网址：http://***.***.***.***:6080/login.jsp +访问网址：http://**_._**.**_._**:6080/login.jsp - 用户名：admin -- 密码：******（install.properties 中设置的） +- 密码：**\*\***（install.properties 中设置的） 如下登录成功，表示安装成功。 @@ -284,7 +284,7 @@ XAAUDIT.SUMMARY.ENABLE=false ## 7.1 添加 openLooKeng Service -打开 Admin Ranger：http://***.***.***.***:6080/index.html，找到「OPENLOOKENG」点击「+」添加 Service。 +打开 Admin Ranger：http://**_._**.**_._**:6080/index.html，找到「OPENLOOKENG」点击「+」添加 Service。 输入 Service Name、Username、Password、jdbc.driverClassName、jdbc.url 这些信息： @@ -350,18 +350,18 @@ select * from system.information_schema.tables; (1) HTTP -访问地址：http://***.***.***.***:9999/ui/login.html +访问地址：http://**_._**.**_._**:9999/ui/login.html - 分别使用 lk，test 用户进入执行 sql，可以发现 test 用户没有权限 (2) HTTPS -访问地址：https://***.***.***.***:8443/ui/ +访问地址：https://**_._**.**_._**:8443/ui/ - 分别使用 lk，test 用户并输入正确的密码进入执行 sql，可以发现 test 用户没有权限 # 参考资料 -[1] [openLooKeng 官网文档\_Ranger 访问控制](https://docs-openlookeng.osinfra.cn/zh/docs/docs/security/ranger-access-control.html) +[1] [openLooKeng 官网文档\_Ranger 访问控制](https://docs.openlookeng.io/zh/docs/docs/security/ranger-access-control.html) [2] [大数据权限管理工具 Ranger2.0.0 的安装部署到使用测试（踩坑详情）](https://juejin.cn/post/6844904159930482696) diff --git a/app/zh/information/blog/20230129-05/index.md b/app/zh/information/blog/20230129-05/index.md index fc7b543..5b4d466 100644 --- a/app/zh/information/blog/20230129-05/index.md +++ b/app/zh/information/blog/20230129-05/index.md @@ -9,8 +9,7 @@ author: 'tushengxia' description: 'openLooKeng对接Ranger流程梳理' --- -介绍 -===== +# 介绍 1. 简要介绍 @@ -22,50 +21,52 @@ openLooKeng对接Ranger配置访问控制的流程 建议使用Ranger的版本为2.1.0 -环境要求 -========= +# 环境要求 1. 操作系统要求 操作系统要求如表2-2所示。 -1. []{#_table5438964 .anchor}操作系统要求 +1. []{#\_table5438964 .anchor}操作系统要求 - -------- ------ ---------------------------------- - 项目 版本 下载地址 - CentOS 7.6 https://www.centos.org/download/ - - -------- ------ ---------------------------------- +--- + +项目 版本 下载地址 +CentOS 7.6 https://www.centos.org/download/ + +--- 1. 环境要求 openLooKeng - ------------------------- -------------------------- ----------------- - 节点 域名 ip - coordinator（协调节点） coordinator1.example.com ***.***.***.*** - worker（工作节点） worker1.example.com ***.***.***.*** - worker（工作节点） worker1.example.com ***.***.***.*** - ------------------------- -------------------------- ----------------- +--- + +节点 域名 ip +coordinator（协调节点） coordinator1.example.com **_._**.**_._** +worker（工作节点） worker1.example.com **_._**.**_._** +worker（工作节点） worker1.example.com **_._**.**_._** + +--- Ranger - ------------- -------------------------- ----------------- - 节点 域名 ip - RangerAdmin coordinator1.example.com ***.***.***.*** - ------------- -------------------------- ----------------- +--- -openLooKeng对接Ranger -====================== +节点 域名 ip +RangerAdmin coordinator1.example.com **_._**.**_._** + +--- + +# openLooKeng对接Ranger > openLooKeng对接Ranger可以不依赖LDAP和Kerberos如果需要整合LDAP和Kerberos请参考《openLooKeng整合LDAP+Kerberos+Ranger》 -安装 Ranger Admin 插件 ----------------------- +## 安装 Ranger Admin 插件 ### 下载Ranger Admin插件 -> 官方下载地址https://download-openlookeng.osinfra.cn/ +> 官方下载地址https://download.openlookeng.io/ > > ![](./img/image3.png) > @@ -94,7 +95,7 @@ openLooKeng对接Ranger > > 需要修改ranger的用户名和密码和ranger的主机名 > -> curl -u admin:****** -X POST -H "Accept: application/json" -H +> curl -u admin:**\*\*** -X POST -H "Accept: application/json" -H > "Content-Type: application/json" -d > @service-defs/ranger-servicedef-openlookeng.json > http://master:6080/service/plugins/definitions @@ -114,12 +115,11 @@ openLooKeng对接Ranger ![](./img/image6.png) -安装openLooKeng插件 -------------------- +## 安装openLooKeng插件 ### 下载openLooKeng插件 -> 官方下载地址https://download-openlookeng.osinfra.cn/ +> 官方下载地址https://download.openlookeng.io/ > > ![](./img/image7.png) > @@ -136,15 +136,15 @@ tar -zxvf ranger-2.1.0-openlookeng-1.7.0-plugin.tar.gz -C > \# ranger admin 地址 > -> POLICY\_MGR\_URL=http://master:6080 +> POLICY_MGR_URL=http://master:6080 > > \# 这个随便取，回头在ranger admin中新建jdbc连接的时候需要填写这个 > -> REPOSITORY\_NAME=[]{#OLE_LINK3 .anchor}openlookengdev +> REPOSITORY_NAME=[]{#OLE_LINK3 .anchor}openlookengdev > > \# openLooKeng 安装目录 > -> COMPONENT\_INSTALL\_DIR\_NAME=/usr/local/openlookeng/hetu +> COMPONENT_INSTALL_DIR_NAME=/usr/local/openlookeng/hetu > > XAAUDIT.SOLR.ENABLE=false > @@ -184,11 +184,10 @@ openLooKeng 的 Ranger 插件目前支持 systemproperty、catalog、sessionproperty、schema、table 和 column 等资源的权限管理。 -添加 openLooKeng Service ------------------------- +## 添加 openLooKeng Service 1、打开 Admin -Ranger：http://***.***.***.***:6080/，找到「OPENLOOKENG」点击「+」添加 +Ranger：http://**_._**.**_._**:6080/，找到「OPENLOOKENG」点击「+」添加 Service。 ![](./img/image9.png) @@ -219,7 +218,7 @@ jdbc:lk://master:8080/hive 1. 安全openLooKeng集群： -jdbc:lk://cdh01:8443?SSL=true&SSLKeyStorePath=/opt/openlookeng/hetu-server-1.7.0/keystore.jks&SSLKeyStorePassword=****** +jdbc:lk://cdh01:8443?SSL=true&SSLKeyStorePath=/opt/openlookeng/hetu-server-1.7.0/keystore.jks&SSLKeyStorePassword=**\*\*** ![](./img/image11.png) @@ -230,8 +229,7 @@ jdbc:lk://cdh01:8443?SSL=true&SSLKeyStorePath=/opt/openlookeng/hetu-server-1.7.0 2. 第一次创建service不需要测试，直接点击Save，当openLooKeng plugin策略同步完成之后才能测试成功，当测试成功之后在使用ranger进行权限配置时才能获取到openLooKeng的元数据 -验证是否添加成功 ----------------- +## 验证是否添加成功 > 重启 openLooKeng，再打开 Ranger Admin Web > 页面，点击「Adult」->「Plugins」查看，出现如下表明 openLooKeng @@ -247,8 +245,7 @@ jdbc:lk://cdh01:8443?SSL=true&SSLKeyStorePath=/opt/openlookeng/hetu-server-1.7.0 ![](./img/image13.png) -验证权限控制 ------------- +## 验证权限控制 1、HTTP： @@ -272,19 +269,16 @@ jdbc:lk://cdh01:8443?SSL=true&SSLKeyStorePath=/opt/openlookeng/hetu-server-1.7.0 ![](./img/image17.png) -openLooKeng对接安全Ranger（Ranger开启了Kerberos） -================================================= +# openLooKeng对接安全Ranger（Ranger开启了Kerberos） -创建principal -------------- +## 创建principal > kadmin.local -q "addprinc -randkey openlookeng@EXAMPLE.COM" > > kadmin.local -q "addprinc -randkey > openlookeng/coordinator.example.com@EXAMPLE.COM" -生成keytab ----------- +## 生成keytab > kadmin -p admin/admin -q "ktadd -k ./lk.keytab > openlookeng@EXAMPLE.COM" @@ -292,13 +286,11 @@ openLooKeng对接安全Ranger（Ranger开启了Kerberos） > kadmin -p admin/admin -q "ktadd -k ./lk.keytab > openlookeng/coordinator.example.com@EXAMPLE.COM" -安装Kerberos Client -------------------- +## 安装Kerberos Client > yum install krb5-workstation krb5-libs krb5-auth-dialog -access-control.properties文件修改 ---------------------------------- +## access-control.properties文件修改 文件路径hetu-server-1.8.0/etc @@ -307,8 +299,7 @@ access-control.properties文件修改 ranger.principal=openlookeng\ ranger.keytab=/usr/local/soft/hetu-server-1.7.0/lk.keytab -修改openLooKeng Service ------------------------ +## 修改openLooKeng Service 增加policy.download.auth.users @@ -316,23 +307,19 @@ ranger.keytab=/usr/local/soft/hetu-server-1.7.0/lk.keytab 注意：此处的value使用4.3中ranger.principal -修改ranger-openlookeng-security.xml ------------------------------------- +## 修改ranger-openlookeng-security.xml 将ranger.plugin.openlookeng.policy.rest.url中的ip改成主机名 ![](./img/image19.png) -重启openLooKeng ---------------- +## 重启openLooKeng launcher restart -策略配置 -======== +# 策略配置 -策略配置流程 ------------- +## 策略配置流程 (1) 通过点击Add New Policy增加新的权限策略 @@ -352,11 +339,9 @@ launcher restart (4) 点击add完成策略增加 -权限使用说明 -============ +# 权限使用说明 -Systemproperty --------------- +## Systemproperty ### 权限列表 @@ -378,8 +363,7 @@ Alert:设置系统会话属性 ![](./img/image26.png) -Catalog -------- +## Catalog ### 权限列表 @@ -411,8 +395,7 @@ show：显示当前 catalog 或者指定 catalog 下的所有授权 schema。 ![](./img/image30.png) -Sessionproperty ---------------- +## Sessionproperty ### 权限列表 @@ -430,8 +413,7 @@ alter：设置 catalog 会话属性 (3) 点击save -Impersonateuser ---------------- +## Impersonateuser ### 权限列表 @@ -449,8 +431,7 @@ impersonate : Kerberos或LDAP认证用户模拟openLooKeng查询用户。 (2) 点击save -schema ------- +## schema ### 权限列表 @@ -486,8 +467,7 @@ schema ![](./img/image38.png) -Table ------ +## Table ### 权限列表 @@ -519,8 +499,7 @@ Table ![](./img/image41.png) -column ------- +## column ### 权限列表 @@ -543,29 +522,30 @@ column (1) 使用test用户登录openLooKeng -(2) 执行select \* from system.information\_schema.tables; +(2) 执行select \* from system.information_schema.tables; ![](./img/image45.png) -列掩码 ------- +## 列掩码 列掩码只适用于select操作，指定用户只能获取掩码后的数据。 openLooKeng目前支持8种掩码策略。 ### 掩码类型列表 - ---------------------------------- ------------------------------------------------------ - **掩码类型** **描述** - Redact 小写字母转化为x，大写字母转化为X，数字转化为0。 - Partial mask: show last 4 显示最后四个字符；其他转化为’X’。 - Partial mask: show first 4 显示前四个字符；其他转化为’X’。 - Hash 使用sha256得到的哈希值。 - Nullify 替换为NULL。 - Unmasked (retain original value) 不进行掩码。 - Date: show only year Date类型：只显示年份。 - Custom 自定义。 例子: cast(concat({col}, “test”) as {type}) - ---------------------------------- ------------------------------------------------------ +--- + +**掩码类型** **描述** +Redact 小写字母转化为x，大写字母转化为X，数字转化为0。 +Partial mask: show last 4 显示最后四个字符；其他转化为’X’。 +Partial mask: show first 4 显示前四个字符；其他转化为’X’。 +Hash 使用sha256得到的哈希值。 +Nullify 替换为NULL。 +Unmasked (retain original value) 不进行掩码。 +Date: show only year Date类型：只显示年份。 +Custom 自定义。 例子: cast(concat({col}, “test”) as {type}) + +--- ### 使用示例 @@ -585,8 +565,7 @@ openLooKeng目前支持8种掩码策略。 ![](./img/image48.png) -行过滤 ------- +## 行过滤 行过滤只适用于select操作，指定用户只能获取过滤后的数据。通过将自定义过滤表达式作为SQL中的where条件实现数据过滤 @@ -607,15 +586,13 @@ openLooKeng目前支持8种掩码策略。 (2) 使用test用户登录openLooKeng (3) 执行select \* from - mysql.bigdata.students;查询数据，发现只有age=22的数据 +mysql.bigdata.students;查询数据，发现只有age=22的数据 ![](./img/image51.png) -场景使用案例 -============ +# 场景使用案例 -Mysql Catalog权限控制 ---------------------- +## Mysql Catalog权限控制 ### 配置Mysql Catalog @@ -631,7 +608,7 @@ Mysql Catalog权限控制 > > connection-user=root > -> connection-password=****** +> connection-password=**\*\*** (1) 重启openLooKeng @@ -735,8 +712,7 @@ Mysql Catalog权限控制 ![](./img/image67.png) -Hive Catalog权限控制 --------------------- +## Hive Catalog权限控制 ### 配置Hive Catalog @@ -824,11 +800,9 @@ Hive Catalog权限控制 ![](./img/image80.png) -问题总结 -======== +# 问题总结 -在ranger里面不显示openLooKeng插件 ---------------------------------- +## 在ranger里面不显示openLooKeng插件 1. 问题描述 @@ -862,8 +836,7 @@ Ranger 服务类型定义的注册 ![](./img/image85.png) -Access Denied: Cannot select from columns \[schema\_name\] in table or view schemata ------------------------------------------------------------------------------------- +## Access Denied: Cannot select from columns \[schema_name\] in table or view schemata ![](./img/image86.png) @@ -882,8 +855,7 @@ jmx报错 注意：其它权限问题解决方法类似 - Error getting policies; Received NULL response!!. secureMode=true, user=\*\*\*@EXAMPLE.COM (auth:KERBEROS), serviceName=\*\*\* -------------------------------------------------------------------------------------------------------------------------------- +## Error getting policies; Received NULL response!!. secureMode=true, user=\*\*\*@EXAMPLE.COM (auth:KERBEROS), serviceName=\*\*\* openLooKeng中的日志 @@ -899,8 +871,7 @@ Ranger中的日志 access-control.properties中的ranger.principal和ranger中的policy.download.auth.users要保持一致 - No valid credentials provided (Mechanism level: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING\_UP\_SERVER)) ------------------------------------------------------------------------------------------------------------------------------------------------------------------- +## No valid credentials provided (Mechanism level: No valid credentials provided (Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVER)) 1. 问题描述：没有提供有效凭证， @@ -912,19 +883,19 @@ Ranger中的日志 ![](./img/image19.png) -修订记录 {#修订记录 .154} -======== +# 修订记录 {#修订记录 .154} - ------------ ------------------------------- - 发布日期 修订记录 - 2022-07-27 第一次正式发布 - 2022-08-30 修改插件获取方式为官方下载 - 2022-08-31 增加策略配置 - 2022-09-01 增加权限使用说明 - 2022-09-02 问题总结 - 2022-09-02 增加mysql catalog权限使用案例 - 2022-09-02 增加hive catalog权限使用案例 - ------------ ------------------------------- +--- -相关视频：[openLooKeng内核认证与鉴权流程](https://space.bilibili.com/627629884/channel/collectiondetail?sid=1061144) +发布日期 修订记录 +2022-07-27 第一次正式发布 +2022-08-30 修改插件获取方式为官方下载 +2022-08-31 增加策略配置 +2022-09-01 增加权限使用说明 +2022-09-02 问题总结 +2022-09-02 增加mysql catalog权限使用案例 +2022-09-02 增加hive catalog权限使用案例 +--- + +相关视频：[openLooKeng内核认证与鉴权流程](https://space.bilibili.com/627629884/channel/collectiondetail?sid=1061144) diff --git a/app/zh/information/blog/20230129-09/index.md b/app/zh/information/blog/20230129-09/index.md index d3e13c3..51a62ad 100644 --- a/app/zh/information/blog/20230129-09/index.md +++ b/app/zh/information/blog/20230129-09/index.md @@ -3,25 +3,23 @@ title: 'openLooKeng安全集群对接安全Nginx流程梳理' date: '2022-12-25' module: 'blog' customLayout: 'true' -tags: ['openLooKeng', 'nginx', 'SSL', '认证鉴权', '安全认证'] +tags: ['openLooKeng', 'nginx', 'SSL', '认证鉴权', '安全认证'] archives: '2022-12' author: 'tushengxia' description: 'openLooKeng安全集群对接安全Nginx流程梳理' --- -部署多个安全coordinator节点 -=========================== +# 部署多个安全coordinator节点 注意：多个coordinator需要使用同一个Kerberos，LDAP和Ranger -安装 Ranger Admin 插件 ----------------------- +## 安装 Ranger Admin 插件 注意：Ranger Admin 插件只需要在ranger所在的节点配置即可 ### 下载Ranger Admin插件 -> 官方下载地址https://download-openlookeng.osinfra.cn/ +> 官方下载地址https://download.openlookeng.io/ > > ![](./img/image3.png) > @@ -70,14 +68,13 @@ description: 'openLooKeng安全集群对接安全Nginx流程梳理' ![](./img/image6.png) -openLooKeng对接ranger ---------------------- +## openLooKeng对接ranger 注意：每一个coordinator节点都需要配置 ### 下载openLooKeng插件 -> 官方下载地址https://download-openlookeng.osinfra.cn/ +> 官方下载地址https://download.openlookeng.io/ > > ![](./img/image7.png) > @@ -94,15 +91,15 @@ tar -zxvf ranger-2.1.0-openlookeng-1.7.0-plugin.tar.gz -C > \# ranger admin 地址 > -> POLICY\_MGR\_URL=http://master:6080 +> POLICY_MGR_URL=http://master:6080 > > \# 这个随便取，回头在ranger admin中新建jdbc连接的时候需要填写这个 > -> REPOSITORY\_NAME=[]{#OLE_LINK3 .anchor}openlookengdev +> REPOSITORY_NAME=[]{#OLE_LINK3 .anchor}openlookengdev > > \# openLooKeng 安装目录 > -> COMPONENT\_INSTALL\_DIR\_NAME=/usr/local/openlookeng/hetu +> COMPONENT_INSTALL_DIR_NAME=/usr/local/openlookeng/hetu > > XAAUDIT.SOLR.ENABLE=false > @@ -130,8 +127,7 @@ tar -zxvf ranger-2.1.0-openlookeng-1.7.0-plugin.tar.gz -C > 重启 openLooKeng 服务：bin/launcher restart -openLooKeng对接LDAP+Kerberos ----------------------------- +## openLooKeng对接LDAP+Kerberos 注意：所有coordinator 都要配置 @@ -140,10 +136,10 @@ openLooKeng对接LDAP+Kerberos 注意：crt文件从LDAP节点获取 > keytool -import -keystore -> /usr/local/soft/jdk1.8.0\_171/jre/lib/security/cacerts -trustcacerts +> /usr/local/soft/jdk1.8.0_171/jre/lib/security/cacerts -trustcacerts > -alias ldapserver -file ldap.crt -密码：******, 注意：密码不可修改 +密码：**\*\***, 注意：密码不可修改 注意：仅在coordinator 操作 @@ -155,10 +151,10 @@ openLooKeng对接LDAP+Kerberos > keytool -genkeypair -validity 3650 -alias openlookeng -keyalg RSA > -dname "CN=\*.example.com,O=olk,OU=olk,L=olk,ST=olk,C=olk" -ext -> "SAN=IP:***.***.***.***,DNS:localhost,DNS:coordinator1.example.com,DNS:coordinator2.example.com,DNS:worker1.example.com,DNS:worker2.example.com" +> "SAN=IP:**_._**.**_._**,DNS:localhost,DNS:coordinator1.example.com,DNS:coordinator2.example.com,DNS:worker1.example.com,DNS:worker2.example.com" > -keystore keystore.jks -密码：****** +密码：**\*\*** ### 同步keystore.jks到所有节点 @@ -277,7 +273,7 @@ openLooKeng对接LDAP+Kerberos > \# 增加配置 > -> -Djavax.net.ssl.trustStore=/usr/local/soft/jdk1.8.0\_171/jre/lib/security/cacerts +> -Djavax.net.ssl.trustStore=/usr/local/soft/jdk1.8.0_171/jre/lib/security/cacerts > > -Djavax.net.ssl.trustStorePassword=changeit > @@ -293,7 +289,7 @@ openLooKeng对接LDAP+Kerberos > > password-authenticator.name=ldap > -> ldap.url=ldaps://***.***.***.***:636 +> ldap.url=ldaps://**_._**.**_._**:636 > > ldap.user-bind-pattern=uid=\${USER},ou=People,dc=chen,dc=com > @@ -333,7 +329,7 @@ openLooKeng对接LDAP+Kerberos > > internal-communication.https.keystore.key=<keystore password> -1. []{#_Toc1373921670 .anchor}worker节点jvm.properties文件配置 +1. []{#\_Toc1373921670 .anchor}worker节点jvm.properties文件配置 > \# 增加配置 > @@ -343,8 +339,7 @@ openLooKeng对接LDAP+Kerberos > > -Djava.security.krb5.conf=/etc/krb5.conf -配置认证用户映射 ----------------- +## 配置认证用户映射 注意：所有coordinator节点都需要配置 @@ -380,7 +375,7 @@ openLooKeng对接LDAP+Kerberos keytool -genkeypair -validity 3650 -alias openlookeng -keyalg RSA -dname "CN=\*.example.com,O=olk,OU=olk,L=olk,ST=olk,C=olk" -ext -"SAN=IP:***.***.***.***,DNS:localhost,DNS:coordinator1.example.com,DNS:coordinator2.example.com,DNS:worker1.example.com,DNS:worker2.example.com" +"SAN=IP:**_._**.**_._**,DNS:localhost,DNS:coordinator1.example.com,DNS:coordinator2.example.com,DNS:worker1.example.com,DNS:worker2.example.com" -keystore keystore.jks 如以以上示例所示：将keystore映射为olk用户（.\*O=(.+), OU=.\*） @@ -395,15 +390,13 @@ keytool -genkeypair -validity 3650 -alias openlookeng -keyalg RSA -dname > http-server.authentication.certificate.user-mapping.file=mapping.json -重启openLookeng和LDAP ---------------------- +## 重启openLookeng和LDAP > systemctl restart slapd > > launcher restart -验证 ----- +## 验证 测试所有coordinator节点可用性 @@ -425,11 +418,11 @@ https://coordinator.example.com:8443 > > --keystore-path keystore.jks \\ > -> --keystore-password ****** \\ +> --keystore-password **\*\*** \\ > > --truststore-path keystore.jks \\ > -> --truststore-password ****** \\ +> --truststore-password **\*\*** \\ > > --user olk \\ > @@ -451,13 +444,11 @@ https://coordinator.example.com:8443 > > --keystore-path keystore.jks \\ > -> --keystore-password ****** +> --keystore-password **\*\*** -部署具有高可用（HA）的openLooKeng -================================= +# 部署具有高可用（HA）的openLooKeng -配置协调节点和工作节点属性 --------------------------- +## 配置协调节点和工作节点属性 ### 在所有协调节点上的etc/config.properties中添加如下配置。 @@ -477,8 +468,7 @@ hetu.embedded-state-store.enabled: 协调节点启用嵌入式状态存储。 说明：建议在所有协调节点（或至少2个）上启用嵌入式状态存储，以确保节点/网络关闭时,服务可以保持高可用性。 -配置状态存储区 --------------- +## 配置状态存储区 注意：需要依赖hadoop集群 @@ -496,12 +486,12 @@ hetu.embedded-state-store.enabled: 协调节点启用嵌入式状态存储。 > > hazelcast.discovery.port=5701 > -> hazelcast.discovery.tcp-ip.seeds=***.***.***.***:5701,***.***.***.***:5701 +> hazelcast.discovery.tcp-ip.seeds=**_._**.**_._**:5701,**_._**.**_._**:5701 > > hazelcast.discovery.tcp-ip.profile=hdfs-config-default (1) 创建文件etc\\filesystem\\hdfs-config-default.properties - 并添加以下属性。 +并添加以下属性。 > fs.client.type=hdfs > @@ -523,7 +513,7 @@ hetu.embedded-state-store.enabled: 协调节点启用嵌入式状态存储。 > > hazelcast.discovery.mode=tcp-ip > -> hazelcast.discovery.tcp-ip.seeds=***.***.***.***:5701,***.***.***.***:5701 +> hazelcast.discovery.tcp-ip.seeds=**_._**.**_._**:5701,**_._**.**_._**:5701 > > hazelcast.discovery.tcp-ip.profile=hdfs-config-default @@ -540,62 +530,52 @@ hetu.embedded-state-store.enabled: 协调节点启用嵌入式状态存储。 > > fs.hdfs.impl.disable.cache=true -重启openLooKeng ---------------- +## 重启openLooKeng > launcher restart -测试 ----- +## 测试 分别访问多个coordinator节点测试是否可用 ![](./img/image11.png) -Nginx搭建 -========= +# Nginx搭建 -安装gcc-c++编译器 ------------------ +## 安装gcc-c++编译器 > yum install gcc-c++ > > yum install -y openssl openssl-devel -安装pcre包 ----------- +## 安装pcre包 > yum install -y pcre pcre-devel -安装zlib包 ----------- +## 安装zlib包 > yum install -y zlib zlib-devel -下载Nginx安装包 ---------------- +## 下载Nginx安装包 > wget https://nginx.org/download/nginx-1.19.9.tar.gz -解压并进入nginx目录 -------------------- +## 解压并进入nginx目录 > tar -zxvf nginx-1.19.9.tar.gz > > cd nginx-1.19.9 -编译安装 --------- +## 编译安装 > ./configure --prefix=/usr/local/soft/nginx -> --with-http\_stub\_status\_module --with-http\_ssl\_module +> --with-http_stub_status_module --with-http_ssl_module > > make > > make install -nginx常用指令 -------------- +## nginx常用指令 > /usr/local/soft/nginx/sbin/nginx -s reload \# 重新载入配置文件 > @@ -603,62 +583,51 @@ nginx常用指令 > > /usr/local/soft/nginx/sbin/nginx -s stop \# 停止 Nginx -Nginx开启Https -============== +# Nginx开启Https -安装OpenSSL ------------ +## 安装OpenSSL > yum install -y openssl openssl-devel -检查Nginx是否支持https\_ssl\_module ------------------------------------ +## 检查Nginx是否支持https_ssl_module > nginx -V -观察是否带有“–with-http\_ssl\_module” +观察是否带有“–with-http_ssl_module” 没有需要重新编译安装 -生成没有加密的私钥 ------------------- +## 生成没有加密的私钥 > openssl genrsa > nginx.key 2048 -根据私钥生成公钥 ----------------- +## 根据私钥生成公钥 > openssl req -new -x509 -key nginx.key > nginx.pem -生成加密私钥 ------------- +## 生成加密私钥 > openssl genrsa -des3 -out server.pass.key 2048 参数： genrsa：生成RSA私钥；-des3：des3算法；-out server.pass.key：生成的私钥文件名；2048：私钥长度 -去除私钥中的密码 ----------------- +## 去除私钥中的密码 > openssl rsa -in server.pass.key -out server.key -生成CSR（证书签名请求文件） ---------------------------- +## 生成CSR（证书签名请求文件） > openssl req -new -key server.key -out server.csr -生成自签名的SSL证书 -------------------- +## 生成自签名的SSL证书 > openssl x509 -req -days 1825 -in server.csr -signkey server.key -out > server.crt -Nginx对接openLooKeng -==================== +# Nginx对接openLooKeng -修改Nginx配置文件 ------------------ +## 修改Nginx配置文件 vim /usr/local/soft/nginx/conf/nginx.conf @@ -666,7 +635,7 @@ vim /usr/local/soft/nginx/conf/nginx.conf > > upstream backend { > -> ip\_hash; +> ip_hash; > > server coordinator.example.com:8443; > @@ -678,19 +647,19 @@ vim /usr/local/soft/nginx/conf/nginx.conf > > listen 4430 ssl; > -> server\_name ***.***.***.***; +> server_name **_._**.**_._**; > -> ssl\_certificate ssl/nginx.pem; +> ssl_certificate ssl/nginx.pem; > -> ssl\_certificate\_key ssl/nginx.key; +> ssl_certificate_key ssl/nginx.key; > -> ssl\_protocols SSLv3 TLSv1; +> ssl_protocols SSLv3 TLSv1; > > location / { > -> proxy\_pass https://backend; +> proxy_pass https://backend; > -> proxy\_set\_header Host ***.***.***.***:4430; +> proxy_set_header Host **_._**.**_._**:4430; > > } > @@ -698,30 +667,27 @@ vim /usr/local/soft/nginx/conf/nginx.conf > > } -说明：将nginx.pem和nginx.key文件放在nginx\_home/conf/ssl目录下 +说明：将nginx.pem和nginx.key文件放在nginx_home/conf/ssl目录下 -重启nginx ---------- +## 重启nginx > nginx -s reopen > > nginx -s reload -测试 ----- +## 测试 访问Nginx -https://***.***.***.***:4430 +https://**_._**.**_._**:4430 ![](./img/image12.png) -修订记录 -======== +# 修订记录 - ------------ ---------------- - 发布日期 修订记录 - 2022-09-20 第一次正式发布 - ------------ ---------------- +--- +发布日期 修订记录 +2022-09-20 第一次正式发布 +--- diff --git a/app/zh/information/news/2021-11-12/index.md b/app/zh/information/news/2021-11-12/index.md index 727c19b..f3201b2 100644 --- a/app/zh/information/news/2021-11-12/index.md +++ b/app/zh/information/news/2021-11-12/index.md @@ -43,7 +43,7 @@ OmniData 在大数据存算分离场景或大规模融合场景的适用性， OmniData 特性的引入，将进一步提升 openLooKeng 引擎性能。 OmniData Connector 更多详情请参考： - + OmniData 更多详情请参考： -- Gitee From c5aabc5c12b983f5c586bd7e482942968015fac0 Mon Sep 17 00:00:00 2001 From: ailoooong Date: Mon, 17 Feb 2025 16:32:57 +0800 Subject: [PATCH 2/2] fix: dockerfile fix --- Dockerfile | 8 ++++---- app/.vitepress/src/data/url-config/index.ts | 2 +- 2 files changed, 5 insertions(+), 5 deletions(-) diff --git a/Dockerfile b/Dockerfile index 02fbe29..bffadcd 100644 --- a/Dockerfile +++ b/Dockerfile @@ -1,4 +1,4 @@ -FROM node:18.14.1 as Builder +FROM swr.cn-north-4.myhuaweicloud.com/opensourceway/node:latest as Builder RUN mkdir -p /home/openlookeng/web WORKDIR /home/openlookeng/web @@ -8,9 +8,9 @@ RUN npm install pnpm -g RUN pnpm install RUN pnpm build -FROM swr.cn-north-4.myhuaweicloud.com/opensourceway/openeuler/nginx:1.24.0-22.03-lts-sp1 as NginxBuilder +FROM swr.cn-north-4.myhuaweicloud.com/opensourceway/openeuler/nginx:latest as NginxBuilder -FROM openeuler/openeuler:22.03-lts-sp1 +FROM swr.cn-north-4.myhuaweicloud.com/opensourceway/openeuler/base:latest ENV PATH /usr/share/nginx/sbin:$PATH ENV NGINX_CONFIG_FILE /etc/nginx/nginx.conf @@ -32,7 +32,7 @@ COPY --from=NginxBuilder /etc/nginx/mime.types /etc/nginx/mime.types COPY --from=Builder /home/openlookeng/web/app/.vitepress/dist /usr/share/nginx/www/ RUN yum update -y \ - && yum install -y findutils passwd shadow \ + && yum install -y findutils passwd shadow pcre-devel \ && find /usr/share/nginx/www -type d -print0| xargs -0 chmod 500 \ && find /usr/share/nginx/www -type f -print0| xargs -0 chmod 400 diff --git a/app/.vitepress/src/data/url-config/index.ts b/app/.vitepress/src/data/url-config/index.ts index 9126394..c69ffc8 100644 --- a/app/.vitepress/src/data/url-config/index.ts +++ b/app/.vitepress/src/data/url-config/index.ts @@ -16,7 +16,7 @@ const KUNPENG_LINK = 'https://www.hikunpeng.com/'; // hikunpeng const MULANOS_LINK = 'https://portal.mulanos.cn/'; // 木兰社区官网 const OBSVIDEO_LINK = 'https://openlookeng-website-beijing.obs.cn-north-4.myhuaweicloud.com/'; // Why openLooKeng视频存放obs地址 -const DAYASTAT_LINK = 'https://datastat-openlookeng.osinfra.cn/'; // 社区贡献看板 +const DAYASTAT_LINK = 'https://datastat.openlookeng.io/'; // 社区贡献看板 const SLACK_LINK = 'https://openlookeng.slack.com/'; // slack const APACHE_LINK = 'http://www.apache.org/'; // apache const DOCS_LINK = 'https://docs.openlookeng.io/'; // 社区文档官网 -- Gitee