Markdown语法

一、什么是正则表达式？

正则表达式（Regular Expression，简称 regex）是一种用于描述、匹配和处理文本模式的强大工具。它由一系列字符和特殊符号组成，可以用来识别特定的字符串模式，就像是一个高度定制化的文本搜索和筛选器。

例如，想象你有一个巨大的文本文件，里面包含了各种各样的信息。你想要找到所有包含特定单词 “example” 的句子，或者找出所有以数字开头的行。这时候，正则表达式就可以大显身手了。

二、正则表达式的基本语法

字符匹配：
- 直接匹配单个字符：比如，正则表达式 a 会匹配文本中的任何一个 a 字符。
- 范围表示：[a-z] 可以匹配任何一个小写字母。例如，在文本 “hello world” 中，它可以匹配其中的 h、 e、 l、 o、 w、 r、 d。
- 否定范围：[^a-z] 表示匹配任何一个不是小写字母的字符。在文本 “123hello” 中，它可以匹配 1、 2、 3。
重复匹配：
- *：匹配前面的字符零次或多次。例如，a* 可以匹配空字符串、一个 a、两个 a（aa）、三个 a（aaa）等等。在文本 “aaaaa” 中，它会匹配整个字符串。
- +：匹配前面的字符一次或多次。a+ 在文本 “aaaaa” 中也会匹配整个字符串，但在空字符串中则不匹配。
- ?：匹配前面的字符零次或一次。例如，a? 可以匹配空字符串或者一个 a。在文本 “aaaaa” 中，它只会匹配第一个 a。
分组和捕获：
- 使用括号 () 可以将一组字符进行分组，以便进行更复杂的匹配。例如，(ab)+ 可以匹配 ab、 abab、 ababab 等。在文本 “ababab” 中，它会匹配整个字符串。
- 捕获功能：可以通过分组来捕获特定的部分，以便在后续的处理中使用。比如，(\d{2})-(\d{2})-(\d{4}) 可以用来捕获日期格式的字符串，如 “01-02-2023”，并将日、月、年分别捕获到不同的组中。
特殊字符：
- .：可以匹配任何单个字符，除了换行符。例如，a.b 可以匹配 “axb”、 “ayb”、 “azb” 等，但不能匹配 “axxb”。
- \d：匹配数字字符。在文本 “123hello” 中，\d+ 会匹配 “123”。
- \w：匹配单词字符（字母、数字和下划线）。在文本 “hello123_world” 中，\w+ 会匹配 “hello123_world”。
- \s：匹配空白字符，包括空格、制表符、换行符等。在文本 “hello world” 中，\w+\s+\w+ 会匹配整个字符串，因为 \w+ 匹配 “hello” 和 “world”，\s+ 匹配中间的空格。

三、实际应用场景

文本搜索和替换：
- 文本编辑器中的强大工具：在许多文本编辑器中，都支持使用正则表达式进行快速查找和替换。比如，你想要将一个文档中所有的 “http://” 开头的 URL 替换为 “https://”。可以使用正则表达式 http://.* 来匹配所有以 “http://” 开头的字符串，然后进行替换。
- 编程中的高效处理：在编程中，正则表达式可以用于处理大量的文本数据。例如，从一个巨大的日志文件中提取特定的信息。如果日志文件中包含了各种不同的信息，你想要找到所有包含特定错误代码的行，可以使用正则表达式来快速筛选出这些行。比如，ERROR\d{3} 可以匹配 “ERROR123”、 “ERROR456” 等错误代码。
数据验证：
- 验证用户输入：在用户输入表单中，正则表达式可以用来验证电子邮件地址、手机号码、密码等是否符合特定的格式要求。
  - 电子邮件地址验证：一个有效的电子邮件地址通常包含 @ 和 . 符号，并且符合特定的域名格式。可以使用正则表达式 \w+@\w+\.\w+ 来进行初步的验证，但这只是一个简单的示例，实际的电子邮件地址验证可能需要更复杂的正则表达式。
  - 手机号码验证：不同国家和地区的手机号码格式可能不同，但通常都有一定的规律。例如，中国的手机号码都是 11 位数字，可以使用正则表达式 ^1[3-9]\d{9}$ 来验证。
  - 密码强度验证：可以使用正则表达式来确保密码包含一定数量的字母、数字和特殊字符。例如，^(?=.*[a-zA-Z])(?=.*\d)(?=.*[!@#$%^&*])[a-zA-Z\d!@#$%^&*]{8,}$ 这个正则表达式要求密码至少包含一个字母、一个数字和一个特殊字符，并且长度至少为 8 位。
- 检查输入的日期是否符合特定的格式，如 YYYY-MM-DD。可以使用正则表达式 ^\d{4}-\d{2}-\d{2}$ 来验证。如果要更加严格地验证日期的合法性，还可以使用更复杂的正则表达式来确保年份、月份和日期的取值范围是合法的。
网页爬虫：
- 从网页中提取特定信息：
  - 除了提取链接，还可以提取图片的源地址，例如使用正则表达式 <img src=".*?">可以匹配所有的<img>标签，并获取其中的图片源地址。如果要进一步提取特定格式的图片地址，如只提取.jpg格式的图片，可以使用<img src=".*?\.jpg">。
- 网页内容的筛选和分析：
  - 假设要从网页中提取所有的段落内容且这些段落中包含特定关键词 “技术创新”，可以使用正则表达式(<p>.*?技术创新.*?</p>)。这样可以快速定位到与特定主题相关的内容。
  - 如果网页中有日期信息，且日期格式为 “YYYY 年 MM 月 DD 日”，可以使用正则表达式(\d{4}年\d{2}月\d{2}日)来提取这些日期。
- 自动化测试：
  - 比如测试一个电商网站的商品页面，验证商品名称是否符合特定格式，如商品名称必须以大写字母开头，后面跟若干字母和数字，可以使用正则表达式^[A-Z][a-zA-Z0-9]+$来验证提取出的商品名称。
日志分析：
- 提取关键信息：
  - 对于一个服务器日志，要提取所有响应状态码为 500 的日志条目，可以使用正则表达式.*?HTTP/[0-9]\.[0-9] 500.*?。
  - 如果要提取特定 IP 地址的访问记录，可以使用类似.*?\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}.*?的正则表达式，然后再进一步筛选出特定的 IP。
- 统计分析：
  - 要统计某个特定错误消息在日志中出现的次数，可以先使用正则表达式提取所有包含该错误消息的条目，然后统计条目数量。例如，错误消息为 “数据库连接失败”，可以使用.*?数据库连接失败.*?进行提取，再进行计数。
自然语言处理：
- 词法分析：
  - 要提取文本中的所有动词，可以使用正则表达式\w+(?=\s+[a-z]+ing\b|\s+[a-z]+ed\b|\s+[a-z]+s\b|\s+[a-z]+en\b|\bwill\s+\w+\b|\bcan\s+\w+\b|\bshould\s+\w+\b|\bmay\s+\w+\b)。这个正则表达式可以匹配各种时态和情态动词的基本形式。
  - 提取所有形容词，可以使用\w+(?=\s+[a-z]+er\b|\s+[a-z]+est\b|\bvery\s+\w+\b|\bquite\s+\w+\b|\brarely\s+\w+\b)来匹配不同程度的形容词。
- 文本清理：
  - 去除文本中的所有标点符号，可以使用[^a-zA-Z0-9\s]+进行匹配并替换为空字符串。
  - 去除多余的空格，可以使用\s+匹配连续的多个空格，然后替换为单个空格。
配置文件解析：
- 解析配置文件：
  - 假设一个配置文件中以 “key=value” 的形式存储配置信息，要提取所有的键值对，可以使用正则表达式(\w+)=([^=]+)。这样可以将配置文件中的键和值分别提取出来，方便进行进一步的处理。
  - 如果配置文件中的键和值都被引号包围，如 “key="value"”，可以使用"(\w+)"="([^"]+)"进行匹配。
- 验证配置文件的格式是否正确：
  - 例如，一个配置文件要求每个条目都是以字母开头，后面跟着一个等号和一个数字，如 “abc=123”，可以使用正则表达式^[a-zA-Z]\w*=\d+$进行验证。
数据转换：
- 格式转换：
  - 将手机号码格式从 “12345678901” 转换为 “(123) 456-7890”，可以使用正则表达式(\d{3})(\d{3})(\d{4})进行匹配，然后将其替换为 “($1) $2-$3”。
  - 如果要将日期格式从 “MM/DD/YYYY” 转换为 “YYYY-MM-DD”，可以使用(\d{2})/(\d{2})/(\d{4})进行匹配，然后替换为 “$3-$1-$2”。
- 将文本中的特定模式替换为另一种模式：
  - 假设要将文本中的所有 “foo-bar” 替换为 “baz-qux”，可以使用正则表达式foo-bar进行匹配，然后替换为 “baz-qux”。
编程语言中的应用：
- 代码重构：
  - 要将所有变量名中的 “oldName” 替换为 “newName”，可以使用正则表达式\b(oldName)\b进行匹配，然后替换为 “newName”。这个正则表达式确保只匹配完整的变量名，而不会误匹配其他包含 “oldName” 的字符串。
  - 如果要将某种编程模式，如 “if (condition) {... }” 转换为 “if (condition) return; else {... }”，可以使用正则表达式if\s*$(.*?)$\s*{\s*.*?\s*}进行匹配，然后替换为 “if ($1) return; else {... }”。
- 语法高亮：
  - 在许多文本编辑器和集成开发环境中，语法高亮功能使用正则表达式来识别不同的编程语言元素。例如，对于 Java 语言，可以使用正则表达式\bpublic\b|\bprivate\b|\bprotected\b来匹配访问修饰符，然后给予不同的颜色显示。对于字符串常量，可以使用"(.*?)"|'(.*?)'进行匹配并高亮显示。对于注释，可以使用//.*?$|/\*.*?\*/来匹配单行和多行注释并以特定颜色显示。

四、常用的正则表达式工具

在线正则表达式测试工具：
- Regex101：一个功能强大的在线正则表达式测试工具，支持多种正则表达式引擎（如 PCRE、JavaScript、Python 等）。你可以在其中输入正则表达式和测试字符串，实时查看匹配结果和解释。
  - 示例：在 Regex101 中输入正则表达式 \d+ 和测试字符串 “There are 123 apples”，你会看到数字 “123” 被成功匹配。
- RegExr：另一个流行的在线正则表达式测试工具，提供了丰富的文档和示例，帮助用户理解和构建正则表达式。
  - 示例：在 RegExr 中输入正则表达式 \b\w{5}\b 和测试字符串 “Hello world, this is a regex test”，你会看到单词 “Hello” 和 “world” 被匹配。
文本编辑器和 IDE 插件：
- Visual Studio Code：VS Code 提供了内置的正则表达式支持，可以在查找和替换功能中使用正则表达式。此外，还有许多插件（如 Regex Previewer）可以帮助你实时预览正则表达式的匹配结果。
  - 示例：在 VS Code 中使用正则表达式 \bERROR\d{3}\b 查找日志文件中的错误代码。
- Sublime Text：Sublime Text 也支持正则表达式查找和替换，并且有许多插件（如 RegReplace）可以增强正则表达式的功能。
  - 示例：在 Sublime Text 中使用正则表达式 \d{4}-\d{2}-\d{2} 查找日期格式的字符串。
命令行工具：
- grep：一个强大的命令行工具，用于在文件中搜索文本。grep 支持使用正则表达式进行复杂的文本匹配。
  - 示例：使用命令 grep -E '\bERROR\d{3}\b' logfile.txt 在日志文件中查找错误代码。
- sed：一个流行的流编辑器，可以使用正则表达式对文本进行查找和替换。
  - 示例：使用命令 sed -E 's/(\d{4})-(\d{2})-(\d{2})/\3-\2-\1/' dates.txt 将日期格式从 “YYYY-MM-DD” 转换为 “DD-MM-YYYY”。
编程语言库：
- Python：Python 的 re 模块提供了强大的正则表达式支持，可以用于文本匹配、查找和替换。
  - 示例：使用 Python 代码 re.findall(r'\b\w{5}\b', 'Hello world, this is a regex test') 查找所有长度为 5 的单词。
- JavaScript：JavaScript 内置了正则表达式支持，可以在字符串方法中使用正则表达式进行匹配和替换。
  - 示例：使用 JavaScript 代码 'There are 123 apples'.match(/\d+/) 查找字符串中的数字。

五、语法附录

根据Regex101网站提供的语法，汇总语法如下：

元字符表

元字符	描述
`.`	匹配除换行符以外的任意字符。
`\w`	匹配字母、数字、下划线。等价于`[A-Za-z0-9_]`。
`\W`	匹配非字母、数字、下划线。等价于`[^A-Za-z0-9_]`。
`\s`	匹配空白字符，包括空格、制表符、换行符等。
`\S`	匹配非空白字符。
`\d`	匹配数字。等价于`[0-9]`。
`\D`	匹配非数字。等价于`[^0-9]`。
`\b`	匹配单词边界。
`\B`	匹配非单词边界。
`^`	匹配字符串的开始。
`$`	匹配字符串的结束。
`[]`	匹配方括号内的任意一个字符。
`[^]`	匹配不在方括号内的任意一个字符。
`()`	分组，用于提取匹配的子串。
`\	`	或，匹配两个或多个分支中的一个。
`?`	匹配前面的字符零次或一次。
`*`	匹配前面的字符零次或多次。
`+`	匹配前面的字符一次或多次。
`{n}`	匹配前面的字符恰好 n 次。
`{n,}`	匹配前面的字符至少 n 次。
`{n,m}`	匹配前面的字符至少 n 次，至多 m 次。
`(?=)`	正向预查，匹配满足条件的位置。
`(?!)`	负向预查，匹配不满足条件的位置。
`(?<=)`	正向回顾后发断言，匹配满足条件的位置。
`(?<!)`	负向回顾后发断言，匹配不满足条件的位置。
`\1`	反向引用，引用第一个分组的内容。
`\2`	反向引用，引用第二个分组的内容。
`\3`	反向引用，引用第三个分组的内容。
`/pattern/g`	全局匹配。
`/pattern/i`	不区分大小写匹配。
`/pattern/m`	多行匹配。
`/pattern/s`	单行匹配。
`/pattern/u`	匹配 Unicode 字符。
`/pattern/y`	粘性匹配。

举例

匹配数字：\d+
形如：123、456、789
匹配邮箱地址：\w+@\w+\.\w+
形如： [email protected]
匹配手机号码：^1[3-9]\d{9}$
形如：13912345678、18812345678
匹配日期：^\d{4}-\d{2}-\d{2}$
形如：2023-01-02、2023-12-31
匹配 IP 地址：\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}
形如：192.168.0.1、10.0.0.1
匹配 URL：https?://.*
形如：http://example.com、https://www.example.com
匹配 HTML 标签：<[^>]+>
形如：<p>、<div>、<a href="https://www.example.com">
匹配中文字符：[\u4e00-\u9fa5]+
形如：你好、世界
匹配特定格式的字符串：^[A-Z][a-zA-Z0-9]+$
形如：Hello、World123
匹配特定错误消息：.*?数据库连接失败.*?
形如：数据库连接失败，请检查配置、数据库连接失败，请联系管理员
匹配动词：\w+(?=\s+[a-z]+ing\b|\s+[a-z]+ed\b|\s+[a-z]+s\b|\s+[a-z]+en\b|\bwill\s+\w+\b|\bcan\s+\w+\b|\bshould\s+\w+\b|\bmay\s+\w+\b)
形如：running、walked、goes
匹配形容词：\w+(?=\s+[a-z]+er\b|\s+[a-z]+est\b|\bvery\s+\w+\b|\bquite\s+\w+\b|\brarely\s+\w+\b)
形如：faster、fastest、very fast
匹配配置文件键值对：(\w+)=([^=]+)
形如：key=value、name=John
全局匹配：/pattern/g
形如：/abc/g 匹配所有的 abc 出现。
不区分大小写匹配：/pattern/i
形如：/abc/i 匹配 abc、ABC、Abc 等。
多行匹配：/pattern/m
形如：/^abc/m 匹配每行开头的 abc。
单行匹配：/pattern/s
形如：/a.b/s 匹配包括换行符在内的任意字符。
匹配 Unicode 字符：/pattern/u
形如：/\u4e00/u 匹配中文字符 一。
粘性匹配：/pattern/y
形如：/abc/y 仅匹配从当前位置开始的 abc。