大数据分析入门概述

大数据分析入门概述

本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。

后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。

SQL

SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、SQL Server等。它主要用于执行各种数据库操作，包括数据查询、数据操作、数据定义、数据访问控制和事务管理。以下是SQL的一些核心概念和功能：

  1. 数据查询：使用SELECT语句来检索数据库中的数据。

    SELECT column1, column2 FROM table_name;

  2. 数据操作：

    • INSERT：向表中插入新数据。
    • UPDATE：更新表中的数据。
    • DELETE：从表中删除数据。
    INSERT INTO table_name (column1, column2) VALUES (value1, value2);
UPDATE table_name SET column1 = value1 WHERE condition;
DELETE FROM table_name WHERE condition;

  3. 数据定义：

    • CREATE：创建新的数据库、表、视图或索引。
    • ALTER：修改现有数据库结构，如添加或删除列。
    • DROP：删除数据库、表、视图或索引。
    CREATE TABLE table_name (column1 datatype, column2 datatype);
ALTER TABLE table_name ADD column datatype;
DROP TABLE table_name;

  4. 数据访问控制：

    • GRANT：授予用户对数据库对象的特定权限。
    • REVOKE：撤销用户对数据库对象的权限。
    GRANT SELECT ON table_name TO user;
REVOKE SELECT ON table_name FROM user;

  5. 事务管理：

    • BEGIN 或 START TRANSACTION：开始一个新的事务。
    • COMMIT：提交当前事务，使之前的更改永久生效。
    • ROLLBACK：回滚当前事务，撤销之前的更改。
    BEGIN;
UPDATE accounts SET balance = balance - 100 WHERE id = 1;
UPDATE accounts SET balance = balance + 100 WHERE id = 2;
COMMIT;

  6. 连接：

    • JOIN：将两个或多个表连接在一起，基于一个共同的字段。
    SELECT customers.name, orders.total
FROM customers
JOIN orders ON customers.id = orders.customer_id;

  7. 子查询：

    • 嵌套在其他查询中的查询，可以作为条件或值使用。
    SELECT * FROM table_name WHERE column1 IN (SELECT column1 FROM other_table WHERE condition);

  8. 聚合函数：

    • COUNT、SUM、AVG、MIN、MAX：对一组值执行计算。
    SELECT COUNT(*), AVG(column1) FROM table_name WHERE condition;

  9. 分组和排序：

    • GROUP BY：将结果集分成多个组，每组具有相同的值。
    • ORDER BY：定义返回记录的排序方式。
    SELECT column1, SUM(column2) FROM table_name GROUP BY column1 ORDER BY SUM(column2) DESC;

  10. 视图：

    • 虚拟表，其内容由SQL查询定义。
    CREATE VIEW view_name AS
SELECT column1, column2 FROM table_name WHERE condition;

  11. 存储过程：

    • 一组为了执行特定任务而预编译的SQL语句。
    CREATE PROCEDURE procedure_name()
BEGIN
  -- SQL statements
END;

  12. 触发器：

    • 自动执行的SQL语句，当满足特定条件时触发。
    CREATE TRIGGER trigger_name BEFORE INSERT ON table_name
FOR EACH ROW
BEGIN
  -- SQL statements
END;

SQL是一种功能强大且灵活的工具，用于处理和分析存储在关系数据库中的数据。

  1. SQL分类：

DDL（Data Definition Language）：数据定义语言，用来定义表、列等；

​ 如：创建数据表…创建用户也属于DDL。

DML（Data Manipulation Language）：数据操作语言，用来定义数据库记录（数据）；

​ 如：添加数据，修改数据，删除数据

DQL（Data Query Language）：数据查询语言，用来查询记录（数据）。

​ 如：查询数据

DTL (Data Transaction Language):数据事务语言,用来操作事务。

如：开启事务，提交事务

DCL (Data Control Language):数据控制语言。用来操作用户和权限

如：授权。（GRANT：授予用户权限，如授予对表的查询、插入、修改等权限。

REVOKE：撤销用户已有的权限。）

Revoke from grant to

Linux

Linux是一个开源的操作系统内核，由Linus Torvalds在1991年首次发布。它遵循类Unix的设计哲学，支持多用户、多任务、多线程和网络功能。Linux内核是许多流行操作系统的核心，包括Ubuntu、Debian、Fedora、CentOS、Red Hat Enterprise Linux等。以下是Linux的一些核心概念和特性：

  1. 开源：Linux内核的源代码是公开的，任何人都可以查看、修改和分发。
  2. 多用户：Linux支持多用户同时使用系统，每个用户都有自己的账户和权限。
  3. 多任务：Linux可以同时运行多个程序，支持后台和前台任务。
  4. 多线程：Linux支持多线程编程，允许程序并行执行。
  5. 网络功能：Linux内置了强大的网络功能，支持各种网络协议。
  6. 安全性：Linux提供了多种安全机制，如SELinux、AppArmor等。
  7. 稳定性：Linux系统以其稳定性和可靠性而闻名。
  8. 灵活性：Linux提供了高度的可定制性，用户可以根据自己的需要配置系统。
  9. 命令行界面：Linux提供了强大的命令行界面（CLI），用户可以通过命令行执行各种操作。
  10. 图形用户界面：大多数Linux发行版都提供了图形用户界面（GUI），如GNOME、KDE Plasma、XFCE等。
  11. 软件包管理：Linux有成熟的软件包管理系统，如APT、YUM、DNF等，方便用户安装、更新和卸载软件。
  12. 文件系统：Linux支持多种文件系统，如ext4、XFS、Btrfs、NTFS等。
  13. 设备驱动程序：Linux有广泛的硬件支持，通过设备驱动程序与硬件交互。
  14. 进程管理：Linux提供了丰富的工具来管理进程，如ps、top、htop、kill等。
  15. 权限管理：Linux使用基于用户的权限管理系统，包括用户、组和权限。
  16. 脚本编程：Linux支持多种脚本语言，如Bash、Perl、Python等。
  17. 服务和守护进程：Linux可以运行各种服务和守护进程，如Web服务器、数据库服务器等。
  18. 日志管理：Linux提供了日志管理工具，如syslog、journald等，用于记录系统和应用程序的日志。
  19. 虚拟化：Linux支持虚拟化技术，可以作为虚拟机的宿主机或客户机。
  20. 容器技术：Linux支持容器技术，如Docker，用于隔离和部署应用程序。

以下是一些常用的Linux命令：

  • ls：列出目录内容
  • cd：改变当前目录
  • pwd：显示当前目录
  • mkdir：创建新目录
  • rmdir：删除空目录
  • rm：删除文件或目录
  • cp：复制文件或目录
  • mv：移动或重命名文件
  • chmod：改变文件权限
  • chown：改变文件所有者
  • useradd：添加新用户
  • usermod：修改用户信息
  • userdel：删除用户
  • groupadd：添加新组
  • groupmod：修改组信息
  • groupdel：删除组
  • passwd：修改用户密码
  • grep：搜索文本
  • find：查找文件
  • tar：打包和压缩文件
  • wget：下载文件
  • curl：传输数据
  • ssh：远程登录
  • scp：安全复制文件
  • vi或vim：文本编辑器
  • nano：文本编辑器
  • top：显示进程信息
  • htop：显示进程信息（增强版）
  • ps：显示当前进程
  • kill：终止进程
  • systemctl：管理系统服务

Python

Python是一种广泛使用的高级编程语言，它以其可读性强、简洁明了的语法和强大的功能而闻名。Python由Guido van Rossum创建，并在1991年首次发布。以下是Python的一些核心特性和概念：

  1. 解释型语言：Python代码在运行时会被解释器逐行执行，不需要编译成机器码。
  2. 动态类型：Python在运行时确定变量的类型，不需要事先声明变量的类型。
  3. 内存管理：Python有自动内存管理和垃圾回收机制。
  4. 可移植性：Python代码可以在多种操作系统上运行，如Windows、Linux、macOS等。
  5. 面向对象：Python支持面向对象编程，允许定义类和对象。
  6. 丰富的标准库：Python有一个庞大的标准库，提供了各种内置模块和函数，用于文件操作、系统调用、网络通信等。
  7. 广泛的第三方库：Python有一个活跃的社区，提供了大量的第三方库，如NumPy、Pandas、Django等。
  8. 交互式解释器：Python提供了一个交互式解释器，可以用于测试和快速原型开发。
  9. 代码可读性：Python的语法清晰，易于阅读和理解。
  10. 跨平台：Python代码可以在不同的操作系统和平台上运行，而不需要修改。
  11. 多范式编程：Python支持多种编程范式，包括面向对象、命令式、函数式和过程式编程。
  12. 异常处理：Python提供了强大的异常处理机制，可以捕获和处理程序中的错误。
  13. 装饰器：Python支持装饰器，这是一种特殊类型的函数，用于修改其他函数的行为。
  14. 生成器：Python提供了生成器，这是一种迭代器，可以惰性地生成值。
  15. 列表推导式：Python支持列表推导式，这是一种简洁的构建列表的方法。
  16. Lambda函数：Python支持匿名函数，也称为Lambda函数。
  17. 虚拟环境：Python支持虚拟环境，用于隔离项目依赖。
  18. 单元测试：Python内置了unittest模块，用于编写和运行单元测试。
  19. Web框架：Python有许多Web开发框架，如Django、Flask等。
  20. 科学计算：Python在科学计算和数据分析领域非常流行，有许多相关的库，如SciPy、NumPy、Pandas等。

以下是一些Python的基本语法示例：

  • 变量赋值：

    python

    x = 5
name = "Kimi"

  • 数据类型：

    python

    # 整数
num = 10
# 浮点数
float_num = 10.5
# 字符串
greeting = "Hello, World!"
# 列表
my_list = [1, 2, 3]
# 字典
my_dict = {"name": "Kimi", "age": 30}

  • 控制流：

    python

    if x > 0:
    print("Positive number")
elif x == 0:
    print("Zero")
else:
    print("Negative number")

for i in range(5):
    print(i)

while x < 10:
    x += 1

  • 函数定义：

    python

    def greet(name):
    print(f"Hello, {name}!")

greet("Kimi")

  • 类和对象：

    python

    class Dog:
    def __init__(self, name, age):
        self.name = name
        self.age = age

    def bark(self):
        print("Woof!")

my_dog = Dog("Buddy", 3)
my_dog.bark()

  • 错误和异常处理：

    python

    try:
    result = 10 / 0
except ZeroDivisionError:
    print("You can't divide by zero!")

  • 列表推导式：

    python

    squares = [x**2 for x in range(10)]

  • Lambda函数：

    python复制

    add = lambda x, y: x + y
print(add(5, 3))

BI

商业智能（Business Intelligence，简称BI）是一种数据分析过程，它通过数据仓库、查询报表、数据分析、数据挖掘、数据备份和恢复等组成部分，使企业中的各级决策者获得知识或洞察力（insight），从而做出对企业更有利的决策。

BI的核心价值和功能包括：

  1. 数据仓库：集成来自不同来源的数据，并为企业提供一个统一的、干净的、集成的数据源。
  2. 在线分析处理（OLAP）：提供多维数据分析，允许用户从多个角度审视数据。
  3. 数据挖掘：使用统计分析和机器学习技术来发现数据中的模式和趋势。
  4. 数据可视化：将数据以图形和图表的形式展现出来，提高数据的可读性和易理解性。
  5. 报告和仪表板：提供预定义的报告和动态仪表板，帮助用户监控关键业务指标。

BI的应用场景广泛，包括但不限于：

  • 销售分析：分析销售数据，预测销售趋势，优化销售策略。
  • 客户分析：理解客户行为，提升客户满意度和忠诚度。
  • 财务分析：监控财务状况，优化资金流，降低成本。
  • 供应链管理：优化库存管理，提高物流效率。

BI工具的发展： 随着技术的发展，BI工具也在不断进化。现代BI工具如Tableau、Power BI、Qlik等，提供了更直观的用户界面、自助服务分析、增强的数据分析能力和移动访问支持。例如，HelloFresh通过集中式数字营销报告来提高转化率，通过自动执行报告流程，每天为营销分析团队减轻10-20小时的工作量。

BI的未来趋势：

  1. AI增强：BI工具将越来越多地集成人工智能技术，以提供更深入的洞察和预测。
  2. 云服务：随着云计算的普及，BI即服务（BIaaS）将成为主流，提供更灵活的访问和扩展性。
  3. 嵌入式BI：BI功能将被嵌入到各种业务应用中，使分析更加贴近业务流程。
  4. 数据可视化和交互性：随着用户对数据的直观理解需求增加，数据可视化和交互性将成为BI工具的关键特性。

中国市场的BI发展： 中国商业智能市场正在迅速增长，预计到2026年市场规模将达到20.2亿元人民币。政策支持、技术进步和企业数字化转型需求是推动这一增长的主要因素。中国BI市场的主要竞争者包括帆软、微软、SAP等。

BI的挑战和机遇： 尽管BI提供了巨大的潜力，但在实施过程中也面临挑战，如数据质量、数据安全、用户接受度等。然而，随着企业对数据驱动决策的需求增加，BI的重要性也在不断提升，为企业提供竞争优势和增长机会

Hdfs & Hive

HDFS（Hadoop Distributed File System）

HDFS是Hadoop项目的核心组件，是一个分布式文件系统，专门设计用于处理存储在成百上千台服务器上的PB级数据。HDFS的设计具有高容错性，并且为了在低成本硬件上运行而优化。它提供高吞吐量的数据访问，非常适合于具有大型数据集的应用程序。

HDFS的架构：

  • NameNode：管理文件系统的命名空间和客户端对文件的访问。它维护文件系统的元数据，包括文件到数据块的映射以及数据块的副本存放位置。
  • DataNode：负责存储实际的数据块。DataNode与NameNode通信，执行数据块的创建、删除和复制操作。
  • SecondaryNameNode：辅助NameNode，定期合并编辑日志和文件系统映像，以防NameNode故障。

HDFS的优点：

  • 高容错性
  • 流式数据访问
  • 支持超大文件
  • 高数据吞吐量

HDFS的缺点：

  • 高延迟
  • 不适合小文件存取
  • 不适合并发写入

HDFS的读写流程：

  • 写操作：客户端将文件切分成多个数据块，依次上传到不同的DataNode上。
  • 读操作：客户端从NameNode获取数据块的位置信息，然后从DataNode上读取数据。
Hive

Hive是建立在Hadoop之上的数据仓库工具，它提供了类似于SQL的查询语言（HiveQL），使得用户可以使用SQL语句来查询和管理存储在HDFS上的大规模数据集。Hive将这些查询转化为MapReduce任务在Hadoop集群上执行。

Hive的架构：

  • 元数据存储：Hive的元数据通常存储在关系型数据库中，如MySQL或Derby。
  • Hive Server：处理客户端请求，执行HiveQL查询。
  • 驱动器：负责将HiveQL语句转化为MapReduce任务。

Hive的优点：

  • 易于使用：提供了SQL接口。
  • 兼容性：支持标准SQL。
  • 扩展性：支持用户自定义函数。
  • 与Hadoop生态系统的集成。

Hive的缺点：

  • 延迟高：不适合实时查询。
  • 表达能力有限：复杂的查询逻辑需要MapReduce支持。

Hive的应用场景：

  • 数据分析
  • 数据仓库
  • ETL（Extract, Transform, Load）

Hive和HDFS经常一起使用，Hive用于查询和分析存储在HDFS上的数据。而HBase则是另一种基于Hadoop的NoSQL数据库，适合于存储非结构化和半结构化数据，提供快速的随机读写能力

ETL

ETL（Extract, Transform, Load）是一种数据集成过程，用于将分散在不同来源的数据整合到一个中央存储库中，如数据仓库或数据湖。这个过程对于数据清洗、转换、增强、以及最终的分析和报告至关重要。

ETL的工作流程通常包括以下三个主要步骤：

  1. 提取（Extract）：从不同的数据源（如关系数据库、文件、Web服务、消息队列等）中提取数据。这些数据可能以结构化或非结构化的形式存在 。
  2. 转换（Transform）：对提取的数据进行清洗、转换和整合，以适应目标系统的数据结构和格式。这个过程可能包括数据清洗、数据规范化、数据合并、数据拆分、数据转换和数据聚合等操作 。
  3. 加载（Load）：将转换后的数据加载到目标系统中，如数据仓库、数据集市或关系数据库等 。

ETL的应用场景非常广泛，包括但不限于：

  • 数据仓库构建：从不同数据源提取数据，进行清洗、转换和加载，最终构建数据仓库 。
  • 数据集成：整合来自多个不同系统和部门的数据，形成一个完整的数据集 。
  • 数据清洗和转换：在数据抽取和加载的过程中对数据进行清洗和转换，提高数据准确性和可靠性 。
  • 数据迁移：将数据从一个系统迁移到另一个系统，确保数据的完整性和一致性 。
  • 数据分析和报表：对清洗和转换后的数据进行进一步的分析和挖掘，生成可视化的报表和图表 。

随着技术的发展，ETL也在逐渐演变。现代ETL工具更加复杂，能够处理更多类型的数据源和格式，并且与云技术紧密结合。例如，AWS提供了完全托管的ETL服务AWS Glue，它专为大数据和分析工作负载而设计，可以简化ETL过程，并与AWS生态系统集成 。

此外，随着数据量、速度和种类的增长，传统的ETL方法正面临挑战，如实时数据需求、非结构化数据挑战、云技术进步、可扩展性和灵活性、数据的多样性和复杂性等 。为了应对这些挑战，ETL的未来趋势包括数据集成与编排、ETL中的自动化和人工智能、实时ETL处理、云原生ETL、数据治理与安全，以及自助ETL等 。

在工具方面，市场上有许多优秀的ETL工具，包括但不限于IBM DataStage、Oracle Data Integrator、Talend、Informatica PowerCenter、Pentaho、AWS Glue、Azure Data Factory、Google Cloud Dataflow等，它们提供了丰富的功能来支持ETL过程 。

SQL优化

SQL优化是数据库管理中的一个重要环节，它可以显著提升查询效率和数据库性能。以下是SQL优化过程中的一些关键步骤和技巧：

  1. 分析查询性能：使用EXPLAIN或其他数据库提供的工具来分析查询的执行计划，找出性能瓶颈。
  2. 优化索引：
    • 确保索引列的选择能够很好地支持查询条件，遵循最左前缀法则 。
    • 避免过度索引，索引虽好，但不是越多越好，因为索引虽然可以加快查询速度，但会减慢更新速度，并且占用额外的磁盘空间 。
  3. 重写查询语句：
    • 避免使用SELECT *，只获取必要的列 。
    • 使用JOIN代替子查询，以减少数据库的查询次数 。
    • 使用IN代替OR来过滤多个值，这样通常能够利用索引 。
  4. 优化数据类型：
    • 选择最合适的数据类型，避免冗余和浪费，比如使用VARCHAR代替CHAR，使用更小的整数类型如SMALLINT或MEDIUMINT 。
  5. 使用临时表：
    • 对于复杂的查询，可以使用临时表存储中间结果，以简化查询并提高性能 。
  6. 避免函数和运算符：
    • 在WHERE子句中避免对列使用函数，因为这会导致索引失效 。
  7. 利用覆盖索引：
    • 尽可能使用覆盖索引，即索引中包含查询所需的所有列，这样可以避免回表查询，提高效率 。
  8. 优化分组和排序：
    • 当使用GROUP BY或ORDER BY时，确保对应的列上有索引，并且尽量使用索引的有序性 。
  9. 分页查询优化：
    • 对于分页查询，尤其是页数较大的情况，可以通过记住上一页的最大ID来避免深分页导致的性能问题 。
  10. 使用批处理：
    • 批量插入和更新可以减少数据库的I/O次数，从而提高性能 。
  11. 避免全表扫描：
    • 确保查询能够利用索引，避免不必要的全表扫描。
  12. 使用分区技术：
    • 对于大型表，可以使用分区技术来提高查询效率，例如按日期范围分区 。
  13. 监控和维护：
    • 定期监控查询性能，并根据实际情况调整索引和查询语句。
  14. 利用数据库特定的优化特性：
    • 比如MySQL的索引合并、索引下推等特性 。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/889385.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

003 Springboot操作RabbitMQ

003 Springboot操作RabbitMQ

Springboot整合RabbitMQ 文章目录 Springboot整合RabbitMQ1.pom依赖2.yml配置3.配置队列、交换机方式一&#xff1a;直接通过配置类配置bean方式二&#xff1a;消息监听通过注解配置 4.编写消息监听发送测试5.其他类型交换机配置1.FanoutExchange2.TopicExchange3.HeadersExcha…
阅读更多...
【AIGC】寻找ChatGPT最佳推理步骤：CoT思维链技术的探索与应用

【AIGC】寻找ChatGPT最佳推理步骤：CoT思维链技术的探索与应用

博客主页&#xff1a; [小ᶻZ࿆] 本文专栏: AIGC | ChatGPT 文章目录 &#x1f4af;前言&#x1f4af;CoT思维链概述&#x1f4af;CoT思维链在大型语言模型中的应用&#x1f4af;CoT思维链改变对模型推理能力的理解和改进方式多样化应用场景挑战与未来发展总结 &#x1f4a…
阅读更多...
力扣 前缀和

力扣 前缀和

找子数组的个数了解前缀和的基础。 前缀和大致理解为到达某个位置&#xff0c;前面几个数的总和&#xff0c;即s[i1]s[i]a[i1]&#xff0c;可以通过一次循环获得。然后几个前缀和作差&#xff0c;即可得到某个位置到某个位置的和&#xff0c;根据map的键值对进行更新次数。 题…
阅读更多...
【JavaEE】——回显服务器的实现

【JavaEE】——回显服务器的实现

阿华代码&#xff0c;不是逆风&#xff0c;就是我疯 你们的点赞收藏是我前进最大的动力&#xff01;&#xff01; 希望本文内容能够帮助到你&#xff01;&#xff01; 目录 一&#xff1a;引入 1&#xff1a;基本概念 二&#xff1a;UDP socket API使用 1&#xff1a;socke…
阅读更多...
高频股票期货ETF历史高频数据源

高频股票期货ETF历史高频数据源

【数据源】 银河金融数据库&#xff08;yinhedata.com&#xff09; 提供金融数据股票、美股、期货以及ETF等高频tick数据&#xff0c;分钟级别数据。 MACD背离是指MACD指标与价格走势之间发生的方向性差异&#xff0c;这通常被视为市场可能发生趋势反转的信号。以下是一个具体…
阅读更多...
petalinux 自动登陆 自动启动程序

petalinux 自动登陆 自动启动程序

PetaLinux 自动登陆 (1) cd 到项目工程目录下&#xff1b; (2) 运行命令&#xff1a;petalinux-config -c rootfs (3) 依次选择 Image Features -> serial-autologin-root 保存退出 创建APP petalinux-create apps --template install --name init-app --enable编辑文件 …
阅读更多...
【linux】冯诺依曼架构

【linux】冯诺依曼架构

&#x1f525;个人主页&#xff1a;Quitecoder &#x1f525;专栏&#xff1a;linux笔记仓 目录 01.冯诺依曼体系结构02.操作系统&#xff08;Operator System&#xff09;如何理解“管理”操作系统中实现“管理的先描述再组织” 03.系统调用与库函数系统调用库函数 01.冯诺依…
阅读更多...
Win10 IDEA连接虚拟机中的Hadoop（HDFS）

Win10 IDEA连接虚拟机中的Hadoop（HDFS）

获取虚拟机的ip 虚拟机终端输入 ip a关闭虚拟机防火墙 sudo ufw disable修改Hadoop的core-site.xml文件 将localhost修改为虚拟机局域网IP # 位置可能不一样&#xff0c;和Hadoop安装位置有关 cd /usr/local/hadoop/etc/hadoop vim core-site.xmlIDEA 连接 创建Maven项目…
阅读更多...
【图论】（二）图论基础与路径问题

【图论】（二）图论基础与路径问题

图论基础与路径问题 图的构造邻接矩阵邻接表 所有可达路径邻接矩阵存储邻接表存储 字符串接龙有向图的完全可达性 图的构造 这里仅对图论路径问题中图的构造做整理总结归纳&#xff0c;具体详细相关概念请参考代码随想录上的整理总结&#xff1a; 图论理论基础深度优先搜索理…
阅读更多...
【万字长文】Word2Vec计算详解（一）CBOW模型

【万字长文】Word2Vec计算详解（一）CBOW模型

【万字长文】Word2Vec计算详解&#xff08;一&#xff09;CBOW模型 写在前面 本文用于记录本人学习NLP过程中&#xff0c;学习Word2Vec部分时的详细过程&#xff0c;本文与本人写的其他文章一样&#xff0c;旨在给出Word2Vec模型中的详细计算过程&#xff0c;包括每个模块的计…
阅读更多...
jmeter学习（7）beanshell

jmeter学习（7）beanshell

beanshell preprocessor 发送请求前执行 beanshell postprocessor 发送请求前执行 获取请求相关信息 String body sampler.getArguments().getArgument(0).getValue(); String url sampler.getPath(); 获取响应报文 String responseprev.getResponseDataAsString(); 获…
阅读更多...
论文翻译 | Fairness-guided Few-shot Prompting for LargeLanguage Models

论文翻译 | Fairness-guided Few-shot Prompting for LargeLanguage Models

摘要 大型语言模型已经显示出令人惊讶的执行上下文学习的能力&#xff0c;也就是说&#xff0c;这些模型可以通过对由几个输入输出示例构建的提示进行条件反射&#xff0c;直接应用于解决大量下游任务。然而&#xff0c;先前的研究表明&#xff0c;由于训练示例、示例顺序和提示…
阅读更多...
熵权法计算评价指标权重——使用Excel VBA实现

熵权法计算评价指标权重——使用Excel VBA实现

[ 熵权法 ] 信息是系统有序程度的一个度量&#xff0c;熵是系统无序程度的一个度量&#xff1b;根据信息熵的定义&#xff0c;对于某项指标&#xff0c;可以用熵值来判断某个指标的离散程度&#xff0c;其信息熵值越小&#xff0c;指标的离散程度越大&#xff0c; 该指标对综合…
阅读更多...
科研绘图系列：R语言绘制SCI文章图2

科研绘图系列：R语言绘制SCI文章图2

文章目录 介绍加载R包导入数据图a图b图d系统信息介绍 文章提供了绘制图a，图b和图d的数据和代码 加载R包 library(ggplot2) library(dplyr) library(readxl) library(ggpmisc)导入数据 数据可从以下链接下载（画图所需要的所有数据）： 百度网盘下载链接: https://pan.baid…
阅读更多...
遍历有向图链路（DFS算法）- 优化版

遍历有向图链路（DFS算法）- 优化版

在上一节基础上&#xff0c;去除了节点的pre集合&#xff0c;只保留节点next的结合&#xff0c;对数据模型进行了优化&#xff0c;实现思想做了优化。 有向图示例&#xff1a; 基本思路 构建有向图数据模型校验有向图不能出现回路&#xff0c;即当前节点不能出现在历史链路中首…
阅读更多...
股指期货的杠杆是怎么体现和使用的？

股指期货的杠杆是怎么体现和使用的？

股指期货的杠杆效应是通过保证金交易实现的。投资者只需支付合约价值的一小部分作为保证金&#xff0c;即可控制整个合约的价值。例如&#xff0c;如果一个股指期货合约的价值为100,000元&#xff0c;而保证金比例为10%&#xff0c;那么投资者只需支付10,000元即可控制这个合约…
阅读更多...
SpringBoot教程（二十四） | SpringBoot实现分布式定时任务之Quartz（基础）

SpringBoot教程（二十四） | SpringBoot实现分布式定时任务之Quartz（基础）

SpringBoot教程&#xff08;二十四&#xff09; | SpringBoot实现分布式定时任务之Quartz&#xff08;基础&#xff09; 简介适用场景Quartz核心概念Quartz 存储方式Quartz 版本类型引入相关依赖开始集成方式一&#xff1a;内存方式(MEMORY)存储实现定时任务1. 定义任务类2. 定…
阅读更多...
从commit校验失效问题探究husky原理

从commit校验失效问题探究husky原理

一、背景 之前创建的项目&#xff0c;发现代码 commit 提交的时候没有了任何校验&#xff0c;具体表现&#xff1a; 一是 feat fix 等主题格式校验没有了二是代码 lint 不通过也能提交 尝试解决这个问题&#xff0c;并深入了解husky的实现原理&#xff0c;将相关的一些知识点…
阅读更多...
【Vue】Vue扫盲（三）计算属性和监听器

【Vue】Vue扫盲（三）计算属性和监听器

【Vue】Vue扫盲&#xff08;一&#xff09;事件标签、事件修饰符&#xff1a;click.prevent click.stop click.stop.prevent、按键修饰符、及常用指令 【Vue】Vue扫盲&#xff08;二&#xff09;指令&#xff1a;v-for 、v-if、v-else-if、v-else、v-show 文章目录 1、 计算属…
阅读更多...
用FPGA做一个全画幅无反相机

用FPGA做一个全画幅无反相机

做一个 FPGA 驱动的全画幅无反光镜数码相机是不是觉得很酷&#xff1f; 就是上图这样。 Sitina 一款开源 35 毫米全画幅 (3624 毫米) CCD 无反光镜可换镜头相机 (MILC)&#xff0c;这个项目最初的目标是打造一款数码相机&#xff0c;将 SLR [单镜头反光] 相机转换为 DSLR [数码…
阅读更多...
最新文章

Copyright @ 2022~2023